Xilinx用reVISION向視覺(jué)學(xué)習(xí)亮劍
在人工智能、機(jī)器學(xué)習(xí)興起的今天,All Programmable技術(shù)和器件廠(chǎng)商Xilinx也帶來(lái)了爆品,發(fā)布了全新的reVISION堆棧,劍指視覺(jué)導(dǎo)向的機(jī)器學(xué)習(xí)應(yīng)用。該解決方案無(wú)需額外花費(fèi),搭載Xilinx的Zynq和處理器平臺(tái)即可加速設(shè)計(jì)。可以看到,通過(guò)“芯片+軟件堆?!?/span>的策略,Xilinx把競(jìng)爭(zhēng)矛頭直指圖形芯片廠(chǎng)商——英偉達(dá)的Tegra GPU和ADAS廠(chǎng)商Mobileye等。
三問(wèn)reVISION
筆者十分感興趣,reVISION堆棧功能強(qiáng)大,所定位的視覺(jué)導(dǎo)向機(jī)器學(xué)習(xí)市場(chǎng)也看上去很有潛力,但是客戶(hù)是否會(huì)先用Xilinx芯片,如果大批量采用時(shí),客戶(hù)會(huì)不會(huì)在此基礎(chǔ)上自己設(shè)計(jì)ASIC芯片?Xilinx戰(zhàn)略與營(yíng)銷(xiāo)高級(jí)副總裁Steve Glaser稱(chēng),不必有此顧慮。不錯(cuò),現(xiàn)在確實(shí)是有幾家初創(chuàng)企業(yè)在開(kāi)發(fā)專(zhuān)門(mén)的只是用于機(jī)器學(xué)習(xí)的芯片,但是挑戰(zhàn)是客戶(hù)不僅僅要集成機(jī)器學(xué)習(xí),還有計(jì)算機(jī)視覺(jué)、傳感器融合等。所以,Xilinx并不認(rèn)為會(huì)有其他人要或者可以自己開(kāi)發(fā)這么一整套獨(dú)特的性能組合,因?yàn)檫@個(gè)可能要花費(fèi)幾億美元才能推出第一片芯片,而且從各種規(guī)格的確定/落實(shí)到第一個(gè)樣片誕生可能需要長(zhǎng)達(dá)三年以上的時(shí)間。此外在這三年過(guò)程中還會(huì)有一個(gè)挑戰(zhàn):那就是神經(jīng)網(wǎng)絡(luò)、算法和傳感器都在不斷演化,客戶(hù)辛辛苦苦投入這么多打造出來(lái)一個(gè)硬件的時(shí)候,可能已經(jīng)無(wú)法滿(mǎn)足新技術(shù)的應(yīng)用要求了。Steve 表示,唯一看到一個(gè)最終用戶(hù)的設(shè)計(jì),就是ASIC解決方案在云方面的應(yīng)用,那就是谷歌的TPU,是非常專(zhuān)門(mén)的機(jī)器學(xué)習(xí)推斷的應(yīng)用。但是即使是谷歌,也很難趕上變化的速度,因?yàn)樗且粋€(gè)固定的硬件。
ADAS是自動(dòng)駕駛的階段之一。在ADAS方面,Xilinx最大的競(jìng)爭(zhēng)對(duì)手是Mobileye,“最近我們已經(jīng)在這方面戰(zhàn)勝它了。”Steve分析道,Mobileye提供一種“交鑰匙”的解決方案,采用的方法是類(lèi)似的軟件算法再加上芯片。“我們從客戶(hù)那里也了解到,如果客戶(hù)使用的是Mobileye,就無(wú)法實(shí)現(xiàn)差異化。但是如果是用賽靈思技術(shù),他們就能夠?qū)崿F(xiàn)巨大的差異化的解決方案。所以,現(xiàn)在市場(chǎng)上排名前25%的企業(yè),都是以差異化占據(jù)鰲頭的企業(yè),而他們使用的都是Xilinx的產(chǎn)品。雖然Mobileye的市場(chǎng)份額有50%~ 60%,但是這些企業(yè)都不屬于追求差異化設(shè)計(jì)的企業(yè)。”
Xilinx的SoC里含有FPGA,通常FPGA較貴,是嗎?
實(shí)際上,ZynqSoC是一個(gè)高度集成的解決方案。現(xiàn)在已經(jīng)實(shí)現(xiàn)了更低的定價(jià),而且推出了更低端的單核產(chǎn)品;同時(shí)也推出了高端的4核、7核異構(gòu)芯片,所以價(jià)格有從10美元直到幾十美元的組合??梢?jiàn),在量方面,Xilinx已經(jīng)建立了一個(gè)非常強(qiáng)大的成本優(yōu)化的產(chǎn)品組合,能夠提供非常好的量化的性?xún)r(jià)比。當(dāng)然,也不會(huì)達(dá)到消費(fèi)級(jí)(例如上千萬(wàn)、億級(jí))的這么高的量。
reVIOSN如何滿(mǎn)足機(jī)器學(xué)習(xí)?
具體地,分析一下機(jī)器學(xué)習(xí),如圖1??v軸是行業(yè)應(yīng)用,是電子領(lǐng)域高度成長(zhǎng)性的應(yīng)用;橫軸是應(yīng)用的端,看是否靠近云。有些應(yīng)用是三者兼顧,既在終端又在云。
圖1 機(jī)器學(xué)習(xí)領(lǐng)域
4個(gè)月前(2016年11月),Xilinx曾推出了可重配置加速堆棧,面向最右側(cè)的云應(yīng)用。此次是reVISION堆棧,主要針對(duì)左側(cè)應(yīng)用。
當(dāng)前客戶(hù)有從左向右轉(zhuǎn)型的需求:不僅是左邊的簡(jiǎn)單的傳感器,還有右側(cè)的機(jī)器學(xué)習(xí)的需求。例如,左邊的應(yīng)用都是非常簡(jiǎn)單的傳感器的配置,通常是各種各樣的攝像頭,然后加上核心的技術(shù)——計(jì)算機(jī)視覺(jué)處理技術(shù)來(lái)識(shí)別整個(gè)框架環(huán)境中的物體。但是現(xiàn)在慢慢轉(zhuǎn)向右邊的應(yīng)用轉(zhuǎn)變,右邊的應(yīng)用會(huì)越來(lái)越使用各種不同類(lèi)型的傳感器技術(shù),然后再加上圖像傳感器,還要和機(jī)器學(xué)習(xí)實(shí)現(xiàn)智能的融合。比如說(shuō),我們過(guò)去是在工廠(chǎng)里有機(jī)器,右側(cè)使用各種傳感器,還要進(jìn)行計(jì)算和融合。我們過(guò)去工廠(chǎng)里的機(jī)器人是在籠子里來(lái)完成它們的工作,但是現(xiàn)在已經(jīng)有了新一代的協(xié)作機(jī)器人,它們與人肩并肩工作,而且它們是可以移動(dòng)的。同樣,在ADAS里包含有前視汽車(chē)攝像頭,但是現(xiàn)在為了要支持自動(dòng)駕駛汽車(chē)的發(fā)展,攝像頭也是多種多樣,會(huì)有不同的傳感器,比如長(zhǎng)程和短程的雷達(dá)、激光雷達(dá)、超聲波技術(shù)等各式各樣不同類(lèi)型的傳感器。而且還有機(jī)器學(xué)習(xí)的融合,使得這些車(chē)輛在行駛時(shí)能夠做出自己的決策。
從嵌入式視覺(jué)到自主系統(tǒng),主要有三個(gè)應(yīng)用的使命/要求。1.希望智能性及系統(tǒng)及時(shí)響應(yīng),例如行人在車(chē)前快速通過(guò)。2.希望升級(jí)到最新的算法和傳感器的靈活性,因?yàn)?/span>神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的算法都在改變,而且傳感器的類(lèi)型和組合也在變化,客戶(hù)希望能立即升級(jí)。3.萬(wàn)物互聯(lián),需要隨時(shí)與其他機(jī)器和云保持連接。
Xilinx的SoC處理器和reVISION堆棧等能夠滿(mǎn)足以上三個(gè)方面的需求。
目前,已有幾百家客戶(hù)正在用Xilinx的芯片在開(kāi)發(fā)自主系統(tǒng),他們擁有很強(qiáng)的硬件知識(shí),也投入了很多精力和時(shí)間,但reVISION最重要的優(yōu)勢(shì)是可取消采用芯片的障礙,使沒(méi)有硬件專(zhuān)業(yè)知識(shí)的用戶(hù)也可以來(lái)應(yīng)用,因此可支持圖1左邊及一些混合芯片。
因此,reVISION堆棧(圖1左側(cè)和中部)和可重配置加速堆棧(圖1右側(cè)和中部),再加上此前使用Xilinx器件做安全控制系統(tǒng)等部分(圖1左側(cè))?,F(xiàn)在Xilinx已經(jīng)能夠支持機(jī)器學(xué)習(xí)中從端到云絕大多數(shù)的應(yīng)用。
reVISION可完成80%的設(shè)計(jì)工作
reVISION堆棧與傳統(tǒng)開(kāi)發(fā)方法的比較如圖2??v軸是開(kāi)發(fā)時(shí)間,橫軸是開(kāi)發(fā)方法。過(guò)去RTL使設(shè)計(jì)大大加速。大約在六年以前,Xilinx推出了新的提高效率的工具——基于RTL的硬件設(shè)計(jì)的工作流程,使得整個(gè)過(guò)程能夠大大加速。現(xiàn)在已經(jīng)有幾百家客戶(hù)在使用這樣的工作流程來(lái)處理計(jì)算機(jī)視覺(jué)。據(jù)Xilinx所知,其中有40多家企業(yè)已經(jīng)在用Xilinx的器件進(jìn)行機(jī)器學(xué)習(xí)方面的開(kāi)發(fā)。
圖2 Xilinx機(jī)器學(xué)習(xí)相關(guān)的開(kāi)發(fā)工具演進(jìn)
不過(guò)采用這樣的方法,開(kāi)發(fā)所投入和精力還是相對(duì)比較大的,但是這種付出還是使他們獲得了很大的優(yōu)勢(shì)。為了提升效率,大約在一年半之前,Xilinx推出了首個(gè)軟件定義的編程環(huán)境——SDSoC,基于Xilinx的Zynq SoC芯片,主要是嵌入式的應(yīng)用?,F(xiàn)在Xilinx已經(jīng)有1100多名付費(fèi)的用戶(hù),他們支付相關(guān)的許可費(fèi),其中有半數(shù)都是專(zhuān)注于視覺(jué)方面的應(yīng)用。
但是,這雖然提高了效率,還沒(méi)有達(dá)到Xilinx或者客戶(hù)所希望的目標(biāo),客戶(hù)希望能夠有符合行業(yè)標(biāo)準(zhǔn)的庫(kù)和框架,幫助客戶(hù)繼續(xù)壓縮開(kāi)發(fā)時(shí)間。所以,此次推出的reVISION堆棧,可以使開(kāi)發(fā)時(shí)間可以大大縮短。
所以過(guò)去Xilinx提供芯片及20%的開(kāi)發(fā)工作,但現(xiàn)在可以完成80%工作。
低時(shí)延優(yōu)勢(shì)
根據(jù)英偉達(dá) TX1的公開(kāi)資料,Xilinx測(cè)算其reVISION方案在計(jì)算機(jī)視覺(jué)領(lǐng)域的優(yōu)勢(shì)達(dá)40倍以上,時(shí)延只有1/5。為什么低時(shí)延能夠?qū)崿F(xiàn)快速響應(yīng)的系統(tǒng)非常的重要?假設(shè)一輛小轎車(chē)跟在一輛小貨車(chē)后面,這個(gè)小貨車(chē)突然進(jìn)行緊急停車(chē)。后面的小轎車(chē)的時(shí)速是65英里,英偉達(dá)TX1方案的響應(yīng)時(shí)間是49~320ms,而reVISION只有2.7ms!
為何Xilinx能實(shí)現(xiàn)響應(yīng)速度很快?典型的嵌入式GPU和典型的SoC比較中可見(jiàn)(圖3),在這樣的情景之下,傳感器的數(shù)據(jù)需要外部存儲(chǔ),之后在處理的步驟中,也需要不斷地去訪(fǎng)問(wèn)外部存儲(chǔ)。如果是Xilinx的Zynq器件,客戶(hù)能夠簡(jiǎn)化獲得直接的數(shù)據(jù)流(圖4右),直接經(jīng)過(guò)傳感器、傳感器的處理,還有機(jī)器學(xué)習(xí),一直到控制。這就會(huì)對(duì)響應(yīng)的時(shí)間造成很大的影響,除此以外,還會(huì)影響到可預(yù)見(jiàn)性,也就是客戶(hù)所說(shuō)的決定性,他們希望整個(gè)過(guò)程是可以預(yù)見(jiàn)的,可以確定的,并且響應(yīng)速度要很快。所以Xilinx能夠提供非??焖俚臎Q定性的響應(yīng),而Xilinx的同類(lèi)競(jìng)爭(zhēng)產(chǎn)品的相應(yīng)速度要慢很多,而且是不可預(yù)見(jiàn)的。
圖3 Xilinx的Zynq在時(shí)延方面與GPU等的比較
可配置性
reVISION的另一項(xiàng)非常獨(dú)特的功能,就是硬件和軟件的可重配置性和可編程性:既支持硬件,也支持軟件的可重配置和可以編程。對(duì)于下一代的機(jī)器學(xué)習(xí)來(lái)說(shuō),這種可重配置性至關(guān)重要。
機(jī)器學(xué)習(xí)盡管在1958年就出現(xiàn)了,但過(guò)去兩年里機(jī)器學(xué)習(xí)所取得的進(jìn)步等于之前45年取得的所有成果之和——不僅出現(xiàn)了新的神經(jīng)網(wǎng)絡(luò)和算法,而且對(duì)于這些嵌入系統(tǒng)更加有效的實(shí)施也有了新的方案。
例如,在一些實(shí)施方案當(dāng)中,之前最先進(jìn)的是浮點(diǎn)方案,這個(gè)方案對(duì)訓(xùn)練來(lái)說(shuō)是非常合適的,但是在推斷方面,因?yàn)橥茢嘁艿匠杀竞凸臉O大的限制,浮點(diǎn)就不那么合適。所以這種實(shí)施方案也在不斷的演進(jìn),從8位下降到4位,甚至最后到1位,所有的一切都是在一個(gè)神經(jīng)網(wǎng)絡(luò)里進(jìn)行,只不過(guò)這個(gè)神經(jīng)網(wǎng)絡(luò)分成不同的層次,每個(gè)層次對(duì)應(yīng)不同的精度。所以,可重配置性是非常關(guān)鍵的,只有具有可重配置性,才能夠持續(xù)的升級(jí)到最新最好的機(jī)器學(xué)習(xí)的技術(shù)。但是可重配置性對(duì)于升級(jí)到新的傳感器技術(shù),并且支持不同的傳感器配置也很重要。
滿(mǎn)足傳感器融合需要
另外,傳感器類(lèi)型和配置出現(xiàn)了爆炸,業(yè)界稱(chēng)之為傳感器融合。此外,人工智能和機(jī)器學(xué)習(xí)的不斷擴(kuò)展驅(qū)動(dòng)了這種傳感器融合的趨勢(shì),所以也需要可重配置性來(lái)跟上這些變化的步伐。
總之,reVISION消除了向廣泛視覺(jué)導(dǎo)向機(jī)器學(xué)習(xí)應(yīng)用擴(kuò)展的障礙,擴(kuò)大了機(jī)器學(xué)習(xí)應(yīng)用從端到云的開(kāi)發(fā)和部署。
小結(jié)及感想
筆者猜想,reVISION是reality vision(真實(shí)視覺(jué))的合成詞。人工智能包含多個(gè)部分,Xilinx選擇了視覺(jué)導(dǎo)向的機(jī)器學(xué)習(xí)這一分支。然而,僅僅SoC芯片是不夠的,Xilinx在軟實(shí)力方面下了很大功夫——包括此次推出的reVISION堆棧,以及此前的可重配置加速堆棧等,使其方案覆蓋了整個(gè)物聯(lián)網(wǎng)的視覺(jué)學(xué)習(xí)領(lǐng)域(圖1)。
可見(jiàn),Xilinx不僅在芯片設(shè)計(jì)和先進(jìn)制程工藝方面走在前列,也十分重視軟件的作用(注:筆者猜想這與現(xiàn)任CEO及部分核心領(lǐng)導(dǎo)團(tuán)隊(duì)成員來(lái)自EDA軟件公司Cadence有關(guān))。幾年前,該公司的一位資深VP曾透露其軟件人員數(shù)量已經(jīng)超過(guò)了硬件人員,應(yīng)該說(shuō),那時(shí)Xilinx已經(jīng)是名副其實(shí)的軟件公司了。但是Xilinx也意識(shí)到軟件需要在硬件的基石上實(shí)現(xiàn),因此今天看,Xilinx強(qiáng)大的軟件商業(yè)策略是其芯片向視覺(jué)學(xué)習(xí)領(lǐng)域發(fā)展的強(qiáng)大推進(jìn)器。
不是嗎?ARM SoC引擎有一大波,可謂宿將與新生代云集,各有各的背景和高招。作為從FPGA跨界進(jìn)入ARM SoC市場(chǎng)的后來(lái)者,如何避免同質(zhì)化,超越競(jìng)爭(zhēng)對(duì)手,確實(shí)需要智慧。依托強(qiáng)大的定向軟件助力,Xilinx這一招走得很妙!
評(píng)論