作者/深鑒科技ASIC副總裁 陳忠民

　　算法、數(shù)據(jù)和算力并稱為新AI時代三大驅(qū)動力。如何在追求更好性能的同時實(shí)現(xiàn)低功耗、低延遲和低成本，逐漸成為擺在所有AI從業(yè)者面前的艱巨挑戰(zhàn)之一。

　　很多硬件平臺都展示了自身所具備的強(qiáng)大算力，然而當(dāng)用戶在真正運(yùn)行一個應(yīng)用時，卻發(fā)現(xiàn)在讀取數(shù)據(jù)時會產(chǎn)生比較明顯的卡頓現(xiàn)象。這表明，即便用戶在掌握大量數(shù)據(jù)的前提下，依然不能將AI運(yùn)算單元填滿，從而導(dǎo)致計(jì)算硬件的計(jì)算效力低下。以谷歌第一代TPU為例，其平均硬件乘法陣列使用率只有28%，這意味著72%的硬件在大部分時間內(nèi)是沒有任何事情可以做的。　　另外，如果將完成16位整數(shù)加法能量消耗定義為1，那么將32比特的數(shù)據(jù)從DDR內(nèi)存?zhèn)鬏數(shù)叫酒?，就將花費(fèi)1萬倍的能量消耗。因此，過大的訪問帶寬增加了數(shù)據(jù)的復(fù)用性，導(dǎo)致AI芯片功耗高居不下。

　　而要提升計(jì)算效率、降低功耗，總結(jié)起來有三條路徑：首先，優(yōu)化計(jì)算引擎，增加計(jì)算并行度;其次，優(yōu)化訪存系統(tǒng);第三，利用神經(jīng)網(wǎng)絡(luò)稀疏性，實(shí)現(xiàn)軟硬件協(xié)同設(shè)計(jì)。這樣的產(chǎn)品規(guī)劃路線能走得通的一個關(guān)鍵因素，就在于用戶在未來的ASIC芯片和之前的FPGA模組上使用的是同樣的編程和軟件開發(fā)環(huán)境，能實(shí)現(xiàn)在應(yīng)用上的無縫切換。

DPU “聽濤”系列 SoC

　　深鑒科技正式發(fā)布基于自主研發(fā)的人工智能處理器核心DPU 的“聽濤”系列 SoC。該DPU屬于完全卷積神經(jīng)網(wǎng)絡(luò)IP，支持傳統(tǒng)的1X1和3X3卷積層，能夠?qū)崿F(xiàn)高效的目標(biāo)識別和加速。在該架構(gòu)基礎(chǔ)之上，深鑒科技做出了第一代5X5 FPGA產(chǎn)品，并在攝像頭市場實(shí)現(xiàn)了批量出貨。

　　DPU計(jì)算核心采用全流水設(shè)計(jì)結(jié)構(gòu)設(shè)計(jì)，內(nèi)部集成了大量的卷積運(yùn)算器、加法器、非線性Pulling/ReLu之類的運(yùn)算算子，在確保每一個運(yùn)算單元都能夠被充分的調(diào)動起來的前提下，可同時支持不同動態(tài)精度的量化方法。像VGG16比較重的應(yīng)用中，深鑒科技DPU的運(yùn)算器利用率可以達(dá)到85%，對主流算法可以達(dá)到50%以上，功耗方面則低出競爭對手一個數(shù)量級。

　　相比Zynq 7020每瓦230 GOPS的算力、ZU9 2.7 TOPS的峰值算力，將于年中交付的“聽濤”SoC產(chǎn)品的預(yù)期功耗約為3 W，峰值算力4 TOPS，考慮到網(wǎng)絡(luò)壓縮部分，這個數(shù)字應(yīng)該再擴(kuò)大5~10倍。