單顆 SoC 支持 1 至 340 億參數(shù)的多模態(tài)大模型（Multi-Modal LLM）推理，實(shí)現(xiàn)前端低功耗生成式 AI。

Ambarella (下稱“安霸”，專注 AI 視覺感知的半導(dǎo)體公司）于當(dāng)天宣布，在 2024 國(guó)際消費(fèi)電子展（CES）期間，展出在其新款 N1 系列 SoC 上運(yùn)行多模態(tài)大模型（Multi-Modal LLM），其每次推理的功耗顯著低于當(dāng)前市場(chǎng)的通用 GPU 解決方案。生成式 AI 是為了處理大規(guī)模數(shù)據(jù)集而最早應(yīng)用于服務(wù)器上的變革性技術(shù)，而安霸的目標(biāo)是將生成式 AI 部署于終端設(shè)備和本地硬件上，從而將其廣泛應(yīng)用于視頻安防分析、機(jī)器人以及眾多工業(yè)領(lǐng)域。

安霸將在中高端 SoC 上提供已優(yōu)化的生成式 AI 處理。這些 AI SoC 包含了功耗低于 5 瓦的 CV72 芯片，以及最新的可應(yīng)用于服務(wù)器端，功耗低于 50 瓦的 N1 芯片。與 GPU 及其他 AI 加速器相比，安霸提供了完整的 SoC 解決方案，每生成一個(gè) token 的能效比最高可提高 3 倍，并可快捷、低成本地部署在終端產(chǎn)品中。

安霸首席技術(shù)官兼聯(lián)合創(chuàng)始人Les Kohn 表示：“生成式 AI 在我們的目標(biāo)市場(chǎng)上實(shí)現(xiàn)了突破，之前無法想象的功能得以實(shí)現(xiàn)。使用我們的 N1 系列 SoC 來進(jìn)行多模態(tài)大模型推理，將使所有的前端設(shè)備變得更智能，更低功耗，和更低成本?！?/p>

市場(chǎng)研究公司 Omdia 高級(jí)計(jì)算首席分析師 Alexander Harrowell 表示：“在未來 18 個(gè)月內(nèi)，幾乎所有設(shè)備前端應(yīng)用都將被生成式 AI 增強(qiáng)。把生成式 AI 的計(jì)算轉(zhuǎn)移到設(shè)備前端的要點(diǎn)，就在于每瓦的 AI 性能，以及它與前端生態(tài)系統(tǒng)其余部分的集成，而不僅僅是原始數(shù)據(jù)的吞吐量。”

所有安霸的 AI SoC 均可搭配全新的 Cooper? 開發(fā)平臺(tái)。此外，為了縮短客戶新產(chǎn)品上市的時(shí)間，安霸已預(yù)先移植和優(yōu)化了 Llama-2 等流行的大語言模型。其在 N1 芯片上運(yùn)行的大語言和視覺助手 LLava 模型，可對(duì)多達(dá) 32 個(gè)攝像頭同時(shí)進(jìn)行多模態(tài)視覺分析。這些經(jīng)過預(yù)訓(xùn)練和調(diào)優(yōu)的模型可從 Cooper Model Garden 下載。

在現(xiàn)實(shí)世界的眾多應(yīng)用里，除了語言，視覺輸入也是一種關(guān)鍵模式。安霸 SoC 的特有架構(gòu)非常適合以超低功耗同時(shí)運(yùn)行視頻處理和 AI 計(jì)算。安霸的 AI SoC 并不是單一的 AI 加速器，它不僅能夠高效處理多模態(tài)大模型，還能同時(shí)執(zhí)行各種系統(tǒng)功能。

生成式 AI 將成為計(jì)算機(jī)視覺處理中跨越式的新技術(shù)，它可將上下文學(xué)習(xí)和場(chǎng)景理解應(yīng)用于各種設(shè)備，從而涵蓋安防設(shè)施、自主機(jī)器人以及眾多工業(yè)應(yīng)用?；诎舶?AI 芯片的設(shè)備端通過運(yùn)行大語言模型和多模態(tài)處理可實(shí)現(xiàn)以下功能：安防視頻的上下文智能搜索、通過自然語言命令控制的機(jī)器人、以及多才多藝的AI助手，比如代碼、文本和圖像的生成等。 

這些依賴攝像頭和自然語言理解的系統(tǒng)，大部分將受益于設(shè)備前端的生成式 AI 處理，其處理速度得以提高，隱私保護(hù)得到加強(qiáng)，并且總成本也會(huì)降低。安霸解決方案支持的本地處理也非常適合垂直領(lǐng)域大語言模型，這些大語言模型通常需要針對(duì)每個(gè)具體應(yīng)用場(chǎng)景進(jìn)行調(diào)整；而傳統(tǒng)的集中式服務(wù)器方案則是使用更大、功耗更高的大語言模型來滿足不同用例的要求。

基于安霸最初為自動(dòng)駕駛開發(fā)的 CV3-HD 架構(gòu)，N1 系列 SoC 對(duì)總算力資源進(jìn)行了針對(duì)性的優(yōu)化，從而以超極低功耗運(yùn)行多模態(tài)大模型。例如，N1 SoC 在單流模式下以低于 50 瓦的功耗運(yùn)行 Llama2-13B，每秒可推理 25 個(gè) token。N1 解決方案自帶移植好的大模型，使系統(tǒng)整合更容易，因此它可快速幫助 OEM 廠商部署生成式 AI，特別是要求低功耗的各種應(yīng)用，比如自帶本地應(yīng)用的 AI 智能盒子、送貨機(jī)器人等，不一而足。

本周，安霸將在 CES 展會(huì)期間持續(xù)演示 N1 SoC 及其多模態(tài)大模型功能。