Flex Logix 公司今天宣布其InferX X1 芯片可開始出貨。該芯片是AI邊緣系統(tǒng)領(lǐng)域迄今為止性能最高的芯片之一。InferX X1可對目標(biāo)檢測與識別等各類神經(jīng)網(wǎng)絡(luò)模型進(jìn)行加速，其應(yīng)用范圍包括機(jī)器人、工業(yè)自動化、醫(yī)學(xué)成像、基因測序、銀行安全、零售分析、自動駕駛、航天工程等等。與目前業(yè)內(nèi)領(lǐng)先的AI邊緣推理解決方案相比，InferX X1 在處理 YOLOv3 目標(biāo)檢測識別模型時的性能提高了 30% ，在處理其他多個用戶模型時的性能提高了10倍。

相比于其他各類目標(biāo)檢測與識別的神經(jīng)網(wǎng)絡(luò)模型，YOLOv3的準(zhǔn)確率是比較高的。因此，許多機(jī)器人、銀行安全及零售分析領(lǐng)域的客戶都計(jì)劃在產(chǎn)品中使用 YOLOv3。還有一些客戶根據(jù)自己的應(yīng)用需求，開發(fā)了一系列AI模型，希望可以在較低成本下獲得更高的吞吐量。Flex Logix 對這些客戶模型進(jìn)行了基準(zhǔn)測試?；鶞?zhǔn)測試的結(jié)果顯示，InferX X1 不僅可以完全滿足用戶在吞吐量方面的要求，并且價格更低。Flex Logix 將于近期開始向早期客戶出貨樣品芯片，并計(jì)劃于明年一季度向更廣大客戶群體提供樣品芯片。批量生產(chǎn)的芯片將于2021年下半年開始全面出貨。

InferX X1芯片面積為54mm²， 僅為1美分硬幣的1/5大小，更是遠(yuǎn)遠(yuǎn)小于其它同類產(chǎn)品。InferX X1 芯片的批量價格僅有目前行業(yè)領(lǐng)軍產(chǎn)品的1/10左右。這是高質(zhì)量、高性能的AI推理產(chǎn)品第一次真正走向普羅大眾。原本昂貴的AI推理將不再遙不可及。

InferX X1 配套的軟件使其非常易于用戶使用。其中的InferX Compiler可以將TensorFlow Lite 或者 ONNX 的模型直接轉(zhuǎn)換為可以在InferX X1上運(yùn)行的程序。

“對于已有邊緣推理系統(tǒng)的用戶來說，他們需要更高性價比的AI推理解決方案。只有這樣，他們才能真正將神經(jīng)網(wǎng)絡(luò)模型全面應(yīng)用在其批量化產(chǎn)品中。InferX X1 恰好滿足了這類用戶的需求。相比于目前行業(yè)的領(lǐng)軍產(chǎn)品，InferX X1 可以為用戶帶來數(shù)十倍甚至上百倍的性價比提升?！?Flex Logix 的創(chuàng)始人CEO Geoff Tate 在受訪時這樣表示。

Gforce Marketing公司的首席營銷主任及SemiWiki雜志的撰稿人Mike Gianfagna先生認(rèn)為：“Flex Logix此次推出的技術(shù)將為整個AI市場帶來革命性的變化。InferX X1將顯著拓寬現(xiàn)有的AI應(yīng)用市場，將AI推理帶入更為廣闊的市場領(lǐng)域。其它推理解決方案在性價比方面目前很難與Flex Logix相匹敵。因此，這次發(fā)布的InferX X1將顛覆當(dāng)前的AI市場格局。我們相信Flex Logix在未來會呈現(xiàn)指數(shù)級別的飛速成長?！?/p>

TIRIAS Research的首席分析官 Kevin Krewell表示：“TIRIAS Research相信，在數(shù)據(jù)中心內(nèi)部和以外的各類應(yīng)用場景中，針對機(jī)器學(xué)習(xí)模型的大規(guī)模部署才剛剛開始。我們是否可以在廣闊的工業(yè)領(lǐng)域中大規(guī)模布局AI推理應(yīng)用的關(guān)鍵性因素就在于芯片解決方案的功耗和成本效率。我們相信，F(xiàn)lex Logix推出的 InferX X1加速器和PCIe板將帶給我們更高的能效比和性價比?！?/p>

基于多項(xiàng)Flex Logix 的專有技術(shù)，InferX X1 采用了一種全新的架構(gòu)，可以在較小面積內(nèi)實(shí)現(xiàn)較高的吞吐量。其中，F(xiàn)lex Logix 專利的 XFLX可編程互聯(lián)網(wǎng)絡(luò)架構(gòu)，也被應(yīng)用于嵌入式FPGA技術(shù)，并在過去數(shù)年中被國內(nèi)外多家知名公司所使用。其中包括 Dialog半導(dǎo)體、波音、桑迪亞國家實(shí)驗(yàn)室、以及大唐電信旗下的辰芯科技。除了 XFLX以外，InferX X1還用到了可重配置張量處理器。它由64個一維的張量處理器構(gòu)成，可通過重新配置來高效地支持各種神經(jīng)網(wǎng)絡(luò)模型的運(yùn)算。由于重配置的時間只有幾個微秒，所以神經(jīng)網(wǎng)絡(luò)模型的每一層都可以擁有經(jīng)過優(yōu)化的數(shù)據(jù)路徑。

InferX X1的批量生產(chǎn)芯片和配套軟件將于2021年第二季度開始全面出貨。用戶樣品及早期軟件工具則計(jì)劃于2021年第一季度開始對用戶進(jìn)行供貨。目前，F(xiàn)lex Logix 可以向符合以下條件的先期用戶提供樣品芯片和軟件，并進(jìn)行基準(zhǔn)測試支持。這些條件包括：需要有現(xiàn)成的基于 TensorFlow Lite 或者 ONNX 的神經(jīng)網(wǎng)絡(luò)模型，并有可在2021年進(jìn)行批量生產(chǎn)的產(chǎn)品項(xiàng)目。相關(guān)的具體技術(shù)指標(biāo)及價格指引也都將對這些用戶提前提供。

具體技術(shù)指標(biāo)

• 高達(dá)70% MAC 利用率，可使較小面積和較低成本處理高清圖像和較大模型。

• 一維張量處理器（1D TPU）即一維脈動陣列

o  64B 輸入張量
o  64 INT8 MACs
o  32 BF16 MACs
o  64Bx256B權(quán)重矩陣
o  一維脈動陣列每64個時鐘周期可完成4096次乘加運(yùn)算。

• 每顆X1芯片中的可重配置張量處理器由64個一維張量處理器（1D TPU）組成

o  可以將多個TPU配置成串聯(lián)或者并聯(lián)結(jié)構(gòu)，以實(shí)現(xiàn)多種不同的張量運(yùn)算。這種靈活性可以很有效地支持不斷衍生的諸如3D卷積等新型運(yùn)算，并保持較高性能。
o  可編程互聯(lián)網(wǎng)絡(luò)架構(gòu)可以很好地解決SRAM與TPU間的數(shù)據(jù)通路的競爭問題，達(dá)到非常高的數(shù)據(jù)交互速度。

• eFPGA可編程邏輯可用于實(shí)現(xiàn)包括控制TPU運(yùn)行的高性能狀態(tài)機(jī)，以及各種運(yùn)算符的控制邏輯

• 神經(jīng)網(wǎng)絡(luò)模型中的每一層都可被專門進(jìn)行重配置；每一次重配置只需要幾微秒的時間。

• 在處理當(dāng)前層級的同時，下一層神經(jīng)網(wǎng)絡(luò)模型的配置及權(quán)重可在后臺從DRAM中被加載；這可以極大減少由DRAM帶寬限制所帶來的計(jì)算的停頓。

• Layer fusion功能可通過將一個以上的配置文件進(jìn)行合并來降低DRAM延時。

• 僅使用較少的內(nèi)存資源以降低成本：LPDDR4x DRAM, 總共14MB SRAM

• x4 PCIe Gen 3 or Gen 4 可提供芯片與主機(jī)間的高速通信。

• 在16nm制程下芯片面積為54 mm²

• 倒裝BGA封裝尺寸為21 x 21 mm