隨著圍繞生成式人工智能的炒作對(duì)數(shù)據(jù)中心強(qiáng)大芯片產(chǎn)生了新的需求，隨著組織計(jì)劃在需要邊緣人工智能處理能力的物聯(lián)網(wǎng)部署上花費(fèi)更多資金，對(duì)更小、更高效芯片的需求仍然強(qiáng)勁。

研究公司 Gartner 表示，邊緣基礎(chǔ)設(shè)施和端點(diǎn)設(shè)備中基于人工智能的應(yīng)用程序的使用增加是其估計(jì)今年人工智能芯片收入將增長 20.9% 至 534 億美元的重要推動(dòng)因素。預(yù)計(jì) 2024 年銷售額將進(jìn)一步增長 25.6%，達(dá)到 671 億美元。

對(duì)于大量聯(lián)網(wǎng)的物聯(lián)網(wǎng)設(shè)備，在邊緣處理人工智能工作負(fù)載比云端更好，除了可以大幅削減數(shù)據(jù)傳輸和處理成本并確保數(shù)據(jù)隱私和安全之外，還可以提供近乎實(shí)時(shí)的推理和響應(yīng)時(shí)間，高級(jí)員工全球咨詢公司德勤最近在《華爾街日?qǐng)?bào)》發(fā)表的一篇文章中寫道?！竿ㄟ^將云的可擴(kuò)展和彈性計(jì)算能力分布在更靠近設(shè)備和用戶在物理世界中生成和使用數(shù)據(jù)的地方，5G、邊緣計(jì)算和計(jì)算機(jī)視覺等領(lǐng)先技術(shù)可以使企業(yè)跨運(yùn)營站點(diǎn)實(shí)現(xiàn)應(yīng)用程序現(xiàn)代化并有助于提高客戶體驗(yàn)、運(yùn)營效率和生產(chǎn)力?！?/span>

以下是來自半導(dǎo)體領(lǐng)域領(lǐng)先和新興供應(yīng)商的五種用于邊緣 AI 應(yīng)用的炫酷芯片解決方案：AMD、Axelera AI、英特爾、Nvidia 和 SiMa.ai。

AMD

AMD 正在通過 Versal AI Edge 片上系統(tǒng)抓住邊緣 AI 機(jī)遇，該系統(tǒng)旨在為自動(dòng)駕駛汽車、醫(yī)療保健系統(tǒng)、工廠和飛機(jī)的實(shí)時(shí)系統(tǒng)提供與 GPU 相比具有競(jìng)爭(zhēng)力的每瓦性能。

該芯片由三個(gè)主要部分組成：標(biāo)量引擎，包括兩個(gè)雙核 Arm 處理器，用于運(yùn)行 Linux 級(jí)應(yīng)用程序和安全關(guān)鍵代碼；具有確定性和并行性的適應(yīng)性引擎，用于處理來自傳感器的數(shù)據(jù)；以及可以運(yùn)行通用程序的智能引擎。邊緣工作負(fù)載，例如人工智能推理、圖像處理和運(yùn)動(dòng)控制。

開發(fā)人員可以使用 AMD 的 Vitis 統(tǒng)一軟件平臺(tái)來利用 Versal AI Edge 芯片，該平臺(tái)附帶開源庫、模型庫、用于在所有 AMD 芯片架構(gòu)上開發(fā)應(yīng)用程序的單一編程模型以及視頻分析軟件開發(fā)套件。

Axelera AI

Axelera AI 通過新穎的芯片架構(gòu)實(shí)現(xiàn)邊緣人工智能應(yīng)用，該架構(gòu)利用了初創(chuàng)公司專有的內(nèi)存計(jì)算和 RISC-V 控制數(shù)據(jù)流技術(shù)。

通過使用內(nèi)存計(jì)算，Axelera 可以將 Metis AIPU 上 SRAM 內(nèi)存的每個(gè)存儲(chǔ)單元視為一個(gè)計(jì)算元素，從而減少在不同位置之間移動(dòng)數(shù)據(jù)的需要，并從根本上增加每個(gè)計(jì)算周期的操作數(shù)量。AIPU 有兩種外形尺寸：具有單個(gè) MIPU 的 M.2 加速器模塊和具有一個(gè)或四個(gè) MIPU 的 PCIe 加速器卡。

AIPU 可以提供每核每秒超過 50 兆兆次運(yùn)算、每瓦 15 TOP 以及相當(dāng)于單精度浮點(diǎn)格式（也稱為 FP32）的推理模型精度。

開發(fā)人員可以使用初創(chuàng)公司 Voyager 軟件開發(fā)套件來利用 Axcelera 的 Metis AIPU，該套件附帶運(yùn)行邊緣 AI 應(yīng)用程序所需的多個(gè)組件，例如運(yùn)行時(shí)、推理服務(wù)器、編譯器和優(yōu)化軟件。

英特爾

英特爾通過各種芯片支持邊緣人工智能應(yīng)用，這要?dú)w功于其 OpenVINO 軟件工具包，該工具包優(yōu)化了深度學(xué)習(xí)模型以在 CPU 和 GPU 上運(yùn)行。

OpenVINO 支持的處理器包括 Intel Celeron 6305E CPU，它具有兩個(gè)內(nèi)核、1.8 GHz 的基本頻率和 15 瓦功率范圍內(nèi)的集成顯卡。

僅使用 Celeron 的集成顯卡，該芯片在 yolo_v8n 模型中就可以達(dá)到每秒 111.95 幀的速度，用于使用 8 位數(shù)字格式進(jìn)行物體檢測(cè)和圖像分類。

開發(fā)人員可以利用 OpenVINO 將賽揚(yáng) 6305E 和其他英特爾處理器用于邊緣 AI 應(yīng)用，OpenVINO 可以自動(dòng)為給定任務(wù)選擇最佳處理器，并在多個(gè)處理器之間分配推理工作負(fù)載。

英偉達(dá)

Nvidia 為邊緣 AI 用例提供了多種芯片解決方案，其中包括 Jetson Orin Nano 系列，該系列在信用卡大小的片上系統(tǒng)中每秒執(zhí)行高達(dá) 40 兆次運(yùn)算 (TOPS)。

Jetson Orin Nano 的尺寸為 69.6 毫米寬、45 毫米高，采用 Ampere 架構(gòu) GPU，具有 1,024 個(gè) CUDA 核心和 32 個(gè) Tensor 核心，加上 6 核 Arm Cortex-A78E CPU 和 8GB LPDDR5 內(nèi)存。這僅需要 7 瓦至 15 瓦的功率范圍。

除了提供 40 TOPS 的 AI 推理性能外，該芯片還可以支持每 1 到 2 個(gè) CPU 核心最多兩個(gè)以 30 幀/秒、4K 分辨率運(yùn)行的視頻編碼流。在視頻解碼方面，該芯片可支持每秒 1 路 60 幀的 4K 視頻流、2 路 30 幀的 4K 視頻流、5 路 60 幀的 1080p 流以及 11 路 30 幀的 1080p 流。

開發(fā)人員可以使用 Nvidia 的 Jetson 軟件堆棧來利用 Jetson Orin Nano 芯片，其中包括用于 AI 推理的 TensorRT 和 cuDNN 等軟件庫、容器運(yùn)行時(shí)、Linux 內(nèi)核以及用于構(gòu)建 GPU 加速應(yīng)用程序的 CUDA 工具包。

SiMa.a

SiMa.ai 專注于通過其以軟件為中心的專用 MLSoC 芯片為邊緣提供高效節(jié)能的機(jī)器學(xué)習(xí)芯片解決方案。

MLSoC 配備了用于機(jī)器學(xué)習(xí)加速器的專用處理器和高性能應(yīng)用處理器以及用于圖像預(yù)處理和后處理的計(jì)算機(jī)視覺處理器。

這些元件使 MLSoC 能夠?yàn)闄C(jī)器學(xué)習(xí)提供高達(dá) 50 兆兆次操作 (TOPS) 和每瓦 10 TOPS，在 4K 分辨率下視頻編碼高達(dá)每秒 30 幀，在 4K 分辨率下高達(dá)每秒 60 幀。視頻解碼分辨率和計(jì)算機(jī)視覺每秒高達(dá) 600 次 16 位千兆位運(yùn)算。

開發(fā)人員可以使用 SiMa.ai 的 Palette 低代碼集成開發(fā)環(huán)境來利用 MLSoC，該環(huán)境能夠編譯和評(píng)估任何機(jī)器學(xué)習(xí)模型以及在芯片上部署和管理應(yīng)用程序。