針對(duì)這一技術(shù)趨勢(shì)，Arm近日在中國(guó)市場(chǎng)發(fā)布了面向視覺應(yīng)用設(shè)備的全新Arm?智能視覺參考設(shè)計(jì)。該參考設(shè)計(jì)首次將Arm現(xiàn)有子系統(tǒng)IP與第三方IP進(jìn)行整合，旨在幫助中國(guó)客戶加快視覺應(yīng)用設(shè)備的開發(fā)，并廣泛應(yīng)用于家庭與辦公室安全、智能零售結(jié)算系統(tǒng)、工業(yè)自動(dòng)化等各種場(chǎng)景。Arm 物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健介紹，“由于中國(guó)視覺市場(chǎng)在世界上的領(lǐng)先地位以及創(chuàng)新活躍度，Arm 智能視覺參考設(shè)計(jì)將服務(wù)于中國(guó)市場(chǎng)。”

隨著視覺應(yīng)用設(shè)備需求持續(xù)增長(zhǎng)，客戶希望能夠?qū)⒆约旱腎P集成到解決方案中，以獲得更大的靈活性，實(shí)現(xiàn)產(chǎn)品差異化并集成更廣泛的功能。作為面向中國(guó)市場(chǎng)為主的參考設(shè)計(jì)，Arm智能視覺參考設(shè)計(jì)將Arm與安謀科技市場(chǎng)領(lǐng)先的IP相結(jié)合，提升設(shè)備處理能力，增強(qiáng)機(jī)器學(xué)習(xí)能力，并加速開發(fā)進(jìn)程。馬健指出，“Arm計(jì)算的不同細(xì)分的表現(xiàn)都不同凡響，更在智能攝像頭市場(chǎng)以 9 成以上的市占率獨(dú)占鰲頭。在視覺成為邊緣設(shè)備普世能力的未來(lái)，中國(guó)更是引領(lǐng)視覺技術(shù)發(fā)展的中堅(jiān)市場(chǎng)，創(chuàng)新活躍度高漲，競(jìng)爭(zhēng)激烈。中國(guó)客戶促使我們以新的方式更好的支持他們的差異化創(chuàng)新。Arm在中國(guó)市場(chǎng)發(fā)布 Arm 智能視覺參考設(shè)計(jì)，為視覺芯片及系統(tǒng)設(shè)計(jì)奠定堅(jiān)實(shí)可靠的基礎(chǔ)，并支持靈活配置，為客戶降本增效，使視覺軟硬件聯(lián)合創(chuàng)新成為可能，加速系統(tǒng)開發(fā)進(jìn)程。與此同時(shí)，我們開始組建Arm智能視覺合作伙伴計(jì)劃，和芯片設(shè)計(jì)、軟件、算法、系統(tǒng)集成等伙伴攜手，進(jìn)一步加速視覺系統(tǒng)的開發(fā)，該計(jì)劃已經(jīng)吸引了10余家伙伴的加入，我們歡迎更多生態(tài)伙伴加入 Arm 智能視覺生態(tài)。”

馬健介紹，此次發(fā)布的Arm智能視覺參考設(shè)計(jì)的硬件部分包括 CPU、ISP、NPU 和 VPU 處理器選項(xiàng)以及將這些元件粘合在一起的子系統(tǒng) IP，首次將Arm的IP與安謀科技的 IP 合在一起，并由安謀科技預(yù)先集成和預(yù)先驗(yàn)證。

Arm Corstone?-1000：該組件整合了Cortex-A和Cortex-M處理器，內(nèi)置安全性，能夠在受限的功耗范圍內(nèi)為不同應(yīng)用提供高效和高性能。

Arm Corstone-300：這是一個(gè)低功耗子系統(tǒng)，可用于機(jī)器學(xué)習(xí)工作負(fù)載，實(shí)現(xiàn)"永遠(yuǎn)在線"的功能。

Arm Mali?-C55圖像信號(hào)處理器(ISP)：該ISP在芯片面積極小的情況下提供可配置、高能效和高性能的圖像質(zhì)量。

與此同時(shí)，來(lái)自安謀科技的第三方IP提供了更多視頻和機(jī)器學(xué)習(xí)能力的選擇。

"玲瓏"V5視頻處理器：該處理器支持緊湊、多格式(如H.264、H.265)且高效的視頻編解碼處理。

"周易"NPU：該NPU在廣泛的機(jī)器學(xué)習(xí)應(yīng)用中提供高達(dá)4TOPS的性能，并支持TensorFlow、Caffe、ONNX、PyTorch等行業(yè)主流AI框架。

 在此次Arm和安謀科技的合作中，該智能視覺參考設(shè)計(jì)采用了安謀科技自研 VPU 和 NPU。“玲瓏” VPU 作為編解碼融合、靈活可配、可編程的多核視頻處理器，不斷在編碼標(biāo)準(zhǔn)、編碼質(zhì)量、PPA（功耗、性能、面積）等各個(gè)方面進(jìn)行提升，并保持與 Arm 架構(gòu)以及多媒體生態(tài)的兼容，安謀科技目前已經(jīng)完成了兩代VPU產(chǎn)品的研發(fā)，增加了 AVS2 和 AV1 的格式，滿足行業(yè)對(duì)標(biāo)準(zhǔn)的需求。除了增加格式之外，V5、V7 的 HEVC 編碼質(zhì)量提升了 15%，對(duì)比 V5、V7，全新一代視頻處理器“玲瓏”V6、V8 的 H.264 編碼質(zhì)量提升了 10%，現(xiàn)已經(jīng)全面達(dá)到并高于行業(yè)客戶對(duì)編碼質(zhì)量的要求。安謀科技智能物聯(lián)及汽車業(yè)務(wù)線負(fù)責(zé)人趙永超介紹，“面對(duì)多樣化的產(chǎn)品需求，“玲瓏”VPU 不斷增強(qiáng)圖像的前后處理能力，增加了按任意比例縮放優(yōu)化的后處理，增加了 OSD 的前處理和 YUV 到 RGB 的后處理等?！傲岘嚒?VPU 軟件可編程，因此，在硬件量產(chǎn)后仍然可以進(jìn)行優(yōu)化和迭代，并根據(jù)客戶的需求進(jìn)行升級(jí)。由于 AFBC (Arm Frame Buffer Compression, Arm系統(tǒng)層面上的無(wú)損壓縮) 的支持，“玲瓏” VPU 可以降低 35% 的帶寬。綜上，“玲瓏”VPU 可以為合作伙伴提供靈活的組合和選擇?！?/p>

此外，生態(tài)伙伴可以通過Arm虛擬硬件(Arm Virtual Hardware, AVH)獲取Arm智能視覺參考設(shè)計(jì)的虛擬模型，幫助軟件開發(fā)者在芯片完備之前就開始開發(fā)和優(yōu)化代碼。

智能視覺技術(shù)對(duì)智慧家居、智慧城市、零售和智能制造等領(lǐng)域的應(yīng)用日益廣泛。在智能家居領(lǐng)域，除了安全監(jiān)控、智能門禁和個(gè)性化的家庭環(huán)境體驗(yàn)外，在中國(guó)人口老齡化的情況下，關(guān)系到千家萬(wàn)戶的用例是通過攝像頭監(jiān)測(cè)老年人的日常生活，睡眠質(zhì)量等，并及時(shí)報(bào)警或提醒看護(hù)人員。在智慧城市方面，中國(guó)在將視覺技術(shù)應(yīng)用于城市安全監(jiān)控和智能交通管理方面都處于世界領(lǐng)先地位，智能視覺技術(shù)還可以應(yīng)用于智能化的垃圾處理和回收，達(dá)到綠色環(huán)保的目的。在零售方面，通過智能攝像頭和視覺分析技術(shù)，可以進(jìn)行人流統(tǒng)計(jì)和行為分析，有助于優(yōu)化商店布局，推廣策略和服務(wù)響應(yīng)，提升顧客體驗(yàn)和銷售效益。在智能制造領(lǐng)域，智能視覺在監(jiān)測(cè)和質(zhì)量控制、自動(dòng)化導(dǎo)航和定位、工藝控制和輔助操作等方面都具有廣泛的應(yīng)用，可以提高生產(chǎn)線的效率、質(zhì)量和安全性，為制造業(yè)帶來(lái)了更高的競(jìng)爭(zhēng)力和生產(chǎn)效益。

智能視覺參考設(shè)計(jì)的目標(biāo)受眾通常是邊緣 AI 領(lǐng)域公司的初創(chuàng)公司、跨界創(chuàng)新公司或者是希望進(jìn)行垂直整合的系統(tǒng)公司。由于種種原因，這些公司并不擁有涵蓋所有芯片架構(gòu)前端、后端設(shè)計(jì)師的龐大團(tuán)隊(duì)，他們?cè)谝曈X領(lǐng)域的第一顆芯片通常要借力于芯片設(shè)計(jì)公司，通過這項(xiàng)生態(tài)計(jì)劃，我們希望使芯片設(shè)計(jì)服務(wù)伙伴們能夠訪問并熟悉 Arm 的參考設(shè)計(jì)，并在參考設(shè)計(jì)的基礎(chǔ)上快速流片，助力客戶推出滿足 SystemReady 和 PSA 安全標(biāo)準(zhǔn)的芯片。

馬健提到，Arm 智能視覺參考設(shè)計(jì)包含了云原生的開源視覺軟件堆棧，但是該軟件棧距離面向不同視覺市場(chǎng)的量產(chǎn)軟件還存在著差距，這就需要智能視覺軟件開發(fā)經(jīng)驗(yàn)的合作伙伴來(lái)幫助客戶適配不同的應(yīng)用場(chǎng)景，為不同的 OEM 定制軟件，并進(jìn)行整合、測(cè)試和調(diào)優(yōu)，達(dá)到量產(chǎn)水平。