奕斯偉發(fā)布最強(qiáng)RISC-V AI SoC:八核CPU+雙核NPU,算力達(dá)40TOPS!
8月19日,“第四屆滴水湖中國(guó)RISC-V產(chǎn)業(yè)論壇”正式在上海臨港滴水湖洲際酒店召開(kāi)。北京奕斯偉計(jì)算技術(shù)股份有限公司智能計(jì)算事業(yè)部交付中心中心長(zhǎng)路向峰先生推介了全球首款搭載64位RISC-V亂序執(zhí)行CPU及自研高性能NPU的雙DIE互聯(lián)AI SoC EIC7702X,算力高達(dá)40TOPS!
近年來(lái),在中美科技戰(zhàn)、國(guó)產(chǎn)芯片自主可控的大背景之下,開(kāi)源RISC-V架構(gòu)的在中國(guó)獲得了蓬勃發(fā)展,一大批的國(guó)產(chǎn)芯片設(shè)計(jì)廠商都有在做基于RISC-V架構(gòu)的自研芯片。而隨著自去年以來(lái)AI大模型的快速發(fā)展,也開(kāi)始有不少?gòu)S商發(fā)力基于RISC-V架構(gòu)AI SoC。
北京奕斯偉科技集團(tuán)有限公司是一家集成電路領(lǐng)域產(chǎn)品和服務(wù)提供商,核心業(yè)務(wù)包括芯片與方案、硅材料、生態(tài)鏈開(kāi)發(fā)等板塊。其中,從事芯片與方案業(yè)務(wù)的奕斯偉計(jì)算公司是一家以RISC-V為基礎(chǔ)的新一代計(jì)算架構(gòu)芯片與方案提供商,目前也推出了一系列基于RISC-V架構(gòu)的AI SoC。
據(jù)介紹,目前奕斯偉智能計(jì)算事業(yè)部已經(jīng)推出了多款基于RISC-V架構(gòu)高性能AI SoC,其中EIC7700X是全球首款搭載64位RISC-V亂序執(zhí)行CPU及自研高性能NPU的AI SoC,基于四核的SiFive P550 RISC-V CPU內(nèi)核,支持64位亂序執(zhí)行能力,它的DMIPS跑分可以達(dá)到8.57分,這個(gè)是要超過(guò)競(jìng)品A76的指標(biāo),并且其還集成了NPU內(nèi)核,AI算力約20TOPS,能夠支持在端側(cè)加速生成式AI大模型。
而EIC7702X則是在EIC7700X基礎(chǔ)上進(jìn)行了雙DIE互聯(lián)封裝,即擁有了8核SiFive P550 RISC-V CPU內(nèi)核,和雙核NPU內(nèi)核,實(shí)現(xiàn)了EIC7700X兩倍的性能,進(jìn)一步提升了CPU及AI性能,AI算力高達(dá)40TOPS,是全球基于RISC-V架構(gòu)性能最高的AI SoC,可以滿(mǎn)足各類(lèi)AI智能設(shè)備、AI PC、AI加速卡等產(chǎn)品的需求。
根據(jù)路向峰公布的測(cè)試數(shù)據(jù)來(lái)看,EIC7700X和EIC7702X都可以支持運(yùn)行Llama 2 70億參數(shù)大模型,EIC7700X可以實(shí)現(xiàn)每秒8個(gè)Token的生成,EIC7702X可以實(shí)現(xiàn)每秒16個(gè)Token的生成。
“我們這個(gè)芯片在自研的時(shí)候也是創(chuàng)新性的引入了很多指令優(yōu)化,涉及到數(shù)據(jù)流的優(yōu)化,所以不光是它的整個(gè)性能好,它的利用率也是得到了極大的優(yōu)化。它內(nèi)部支持的數(shù)據(jù)精度包含F(xiàn)P16,這對(duì)于精度要求比較高的場(chǎng)合是非常合適的。這個(gè)芯片內(nèi)部支持了LPDDR4/4X/6等不同的接口,EIC7700X達(dá)到32GB,EIC7702X達(dá)到了64GB,分別是64-Bit和128-bit。這個(gè)也是特別適用于大模型,它們對(duì)于整個(gè)參數(shù)數(shù)量大、帶寬吞吐量要求較高的特點(diǎn)。除了NPU的這些優(yōu)勢(shì)之外,這個(gè)芯片內(nèi)部集成了豐富的視頻編解碼,3D的GPU及豐富的外設(shè)。芯片整體的功耗也是非常低的,在桌面應(yīng)用下只有2.6瓦的功耗。”路向峰進(jìn)一步解釋道。
△在25路1080P的解碼加上回放的場(chǎng)景,EIC7700X的功耗是2.83W,覆蓋了桌面、辦公及媒體播放。右邊的三列實(shí)際上在上面的業(yè)務(wù)基礎(chǔ)之上,還添加了NPU推理的性能,這個(gè)可以當(dāng)作一個(gè)AI PC典型應(yīng)用的場(chǎng)景,它的功耗也控制在6-7W,這樣就使得它適用于電池供電或者是一些無(wú)風(fēng)扇設(shè)計(jì)的一些被動(dòng)散熱的場(chǎng)合。
路向峰表示:“我們這個(gè)產(chǎn)品因?yàn)閮?nèi)部的CPU算力非常高,所以也是適用于邊緣側(cè)的一些AI應(yīng)用,像筆記本電腦或者是平板這樣的一類(lèi)產(chǎn)品。這個(gè)核心原因:一方面是,EIC7702X內(nèi)部的高性能CPU;第二方面是,EIC7702X內(nèi)部有2個(gè)GPU,可以為游戲等一些對(duì)GPU要求較高的場(chǎng)景(3D渲染)提供支持。EIC7702X有2路輸出,因此可以適用于筆記本一路接內(nèi)置屏、第二路解外置屏。還有CV類(lèi)算法與大語(yǔ)言模型,這些也是為對(duì)應(yīng)的場(chǎng)景提供了較有力的軟件層面的適配和支持。EIC7700X/EIC7702X出色AI性能和能效表現(xiàn),則主要得益于兩方面的工作:一是,硬件上NPU內(nèi)部的設(shè)計(jì)優(yōu)化。二是,采用的編譯器框架能夠根據(jù)網(wǎng)絡(luò)模型特點(diǎn)自動(dòng)適配N(xiāo)PU,使得內(nèi)部的數(shù)據(jù)流盡量達(dá)到最優(yōu)化。采用了這些優(yōu)化之后,現(xiàn)在芯片支持的整個(gè)編譯器的框架包含了TensorFlow、PyTorch等多種框架?!?/p>
在論壇的展示區(qū)域,奕斯偉也展示了基于EIC7702X方案的AI PC產(chǎn)品,支持Linux系統(tǒng)。此外,EIC7702X還可用作AI加速卡,EIC7702X通過(guò)內(nèi)部的Switch互聯(lián),做到一個(gè)板子上往外通過(guò)PCIE接口提供出來(lái),用戶(hù)在主機(jī)就可以調(diào)用實(shí)現(xiàn)軟件功能
據(jù)路向峰透露,EIC7702X即將在今年8月初已經(jīng)正式量產(chǎn),目前已經(jīng)獲得了一些客戶(hù)的采用,預(yù)計(jì)很快將會(huì)上市。
編輯:芯智訊-浪客劍
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀點(diǎn),如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。