作者/Jeff VanWashenova CEVA 汽車市場營銷主管

　　引言

　　高級(jí)輔助駕駛系統(tǒng)(ADAS)可提供解決方案，用以滿足駕乘人員對(duì)道路安全及出行體驗(yàn)的更高要求。諸如車道偏離警告、自動(dòng)剎車及泊車輔助等系統(tǒng)廣泛應(yīng)用于當(dāng)前的車型，甚至是功能更為強(qiáng)大的車道保持、塞車輔助及自適應(yīng)巡航控制等系統(tǒng)的配套使用也讓未來的全自動(dòng)駕駛車輛成為現(xiàn)實(shí)。

　　如今，車輛的很多系統(tǒng)使用的都是機(jī)器視覺。機(jī)器視覺采用傳統(tǒng)信號(hào)處理技術(shù)來檢測識(shí)別物體。對(duì)于正熱衷于進(jìn)一步提高拓展ADAS功能的汽車制造業(yè)而言，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)開辟了令人興奮的研究途徑。為了實(shí)現(xiàn)從諸如高速公路全程自動(dòng)駕駛儀的短時(shí)輔助模式到專職無人駕駛旅行的自動(dòng)駕駛，汽車制造業(yè)一直在尋求讓響應(yīng)速度更快、識(shí)別準(zhǔn)確度更高的方法，而深度學(xué)習(xí)技術(shù)無疑為其指明了道路。

　　以知名品牌為首的汽車制造業(yè)正在深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)上進(jìn)行投資，并向先進(jìn)的計(jì)算企業(yè)、硅谷等技術(shù)引擎及學(xué)術(shù)界看齊。在中國，百度一直在此技術(shù)上保持領(lǐng)先。百度計(jì)劃在 2019 年將全自動(dòng)汽車投入商用，并加大全自動(dòng)汽車的批量生產(chǎn)力度，使其在 2021 年可廣泛投入使用。汽車制造業(yè)及技術(shù)領(lǐng)軍者之間的密切合作是嵌入式系統(tǒng)神經(jīng)網(wǎng)絡(luò)發(fā)展的催化劑。這類神經(jīng)網(wǎng)絡(luò)需要滿足汽車應(yīng)用環(huán)境對(duì)系統(tǒng)大小、成本及功耗的要求。

　　1輕型嵌入式神經(jīng)網(wǎng)絡(luò)

　　卷積式神經(jīng)網(wǎng)絡(luò)(CNN)的應(yīng)用可分為三個(gè)階段：訓(xùn)練、轉(zhuǎn)化及CNN在生產(chǎn)就緒解決方案中的執(zhí)行。要想獲得一個(gè)高性價(jià)比、針對(duì)大規(guī)模車輛應(yīng)用的高效結(jié)果，必須在每階段使用最為有利的系統(tǒng)。

　　訓(xùn)練往往在線下通過基于CPU的系統(tǒng)、圖形處理器(GPU)或現(xiàn)場可編程門陣列(FPGA)來完成。由于計(jì)算功能強(qiáng)大且設(shè)計(jì)人員對(duì)其很熟悉，這些是用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的最為理想的系統(tǒng)。

　　在訓(xùn)練階段，開發(fā)商利用諸如Caffe(Convolution Architecture For Feature Extraction，卷積神經(jīng)網(wǎng)絡(luò)架構(gòu))等的框架對(duì)CNN進(jìn)行訓(xùn)練及優(yōu)化。參考圖像數(shù)據(jù)庫用于確定網(wǎng)絡(luò)中神經(jīng)元的最佳權(quán)重參數(shù)。訓(xùn)練結(jié)束即可采用傳統(tǒng)方法在CPU、GPU或FPGA上生成網(wǎng)絡(luò)及原型，尤其是執(zhí)行浮點(diǎn)運(yùn)算以確保最高的精確度。

　　作為一種車載使用解決方案，這種方法有一些明顯的缺點(diǎn)。運(yùn)算效率低及成本高使其無法在大批量量產(chǎn)系統(tǒng)中使用。

　　CEVA已經(jīng)推出了另一種解決方案。這種解決方案可降低浮點(diǎn)運(yùn)算的工作負(fù)荷，并在汽車應(yīng)用可接受的功耗水平上獲得實(shí)時(shí)的處理性能表現(xiàn)。隨著全自動(dòng)駕駛所需的計(jì)算技術(shù)的進(jìn)一步發(fā)展，對(duì)關(guān)鍵功能進(jìn)行加速的策略才能保證這些系統(tǒng)得到廣泛應(yīng)用。

　　利用被稱為CDNN的框架對(duì)網(wǎng)絡(luò)生成策略進(jìn)行改進(jìn)。經(jīng)過改進(jìn)的策略采用在高功耗浮點(diǎn)計(jì)算平臺(tái)上(利用諸如Caffe的傳統(tǒng)網(wǎng)絡(luò)生成器)開發(fā)的受訓(xùn)網(wǎng)絡(luò)結(jié)構(gòu)和權(quán)重，并將其轉(zhuǎn)化為基于定點(diǎn)運(yùn)算，結(jié)構(gòu)緊湊的輕型的定制網(wǎng)絡(luò)模型。接下來，此模型會(huì)在一個(gè)基于專門優(yōu)化的成像和視覺DSP芯片的低功耗嵌入式平臺(tái)上運(yùn)行。圖1顯示了輕型嵌入式神經(jīng)網(wǎng)絡(luò)的生成過程。與原始網(wǎng)絡(luò)相比，這種技術(shù)可在當(dāng)今量產(chǎn)型車輛的有限功率預(yù)算下帶來高性能的神經(jīng)處理表現(xiàn)，而圖像識(shí)別精確度降低不到 1%。

　　圖1 CDNN將通過傳統(tǒng)方法生成的網(wǎng)絡(luò)權(quán)重轉(zhuǎn)化為一個(gè)定點(diǎn)網(wǎng)絡(luò)

　　英文解釋：

　　Network structure 網(wǎng)絡(luò)架構(gòu)

　　Image database 圖像數(shù)據(jù)庫

　　Training stage(offline) 訓(xùn)練階段(離線)

　　Network weights 網(wǎng)絡(luò)權(quán)值

　　Floating-point Network+weight 浮點(diǎn) 網(wǎng)絡(luò)+權(quán)重

　　CEVA Network generator CEVA網(wǎng)絡(luò)生成器

　　Fixed-point customized network+weights 定點(diǎn)定制 網(wǎng)絡(luò)+權(quán)重

　　Detection stage(real-time)檢測階段(實(shí)時(shí))

　　一個(gè)由低功耗嵌入式平臺(tái)托管的輸入大小為224x224，卷積過濾器分別為11x11、5x5及3x3的24層卷積神經(jīng)網(wǎng)絡(luò)，其性能表現(xiàn)幾乎是一個(gè)在典型的GPU/CPU綜合處理引擎上運(yùn)行的類似CNN的三倍，盡管其所需的內(nèi)存帶寬只是后者的五分之一， 且功耗大幅降低。

　　2下一代深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)

　　汽車制造業(yè)進(jìn)入神經(jīng)網(wǎng)絡(luò)領(lǐng)域所習(xí)得的經(jīng)驗(yàn)不斷推動(dòng)技術(shù)的發(fā)展，并因此開發(fā)出了更先進(jìn)的網(wǎng)絡(luò)架構(gòu)及更復(fù)雜的拓?fù)洌缑考?jí)多層拓?fù)?、多?多出及全卷積網(wǎng)絡(luò)。新推出的重要網(wǎng)絡(luò)類型不僅可用來識(shí)別物體，也可用來識(shí)別場景，從而提供用以解決汽車領(lǐng)域應(yīng)用程序(如自動(dòng)駕駛功能)所需的圖像分割。當(dāng)然，中國40家左右的汽車制造商并不會(huì)在此道路上踽踽獨(dú)行。他們會(huì)與百度等技術(shù)公司進(jìn)行密切合作。技術(shù)公司是這些網(wǎng)絡(luò)和架構(gòu)發(fā)展的核心。CNN網(wǎng)絡(luò)生成器功能的完善也為新的網(wǎng)絡(luò)架構(gòu)和拓?fù)涮峁┝酥С?，如SegNet、GoogLeNet、ResNet等其它網(wǎng)絡(luò)結(jié)構(gòu)以及高級(jí)網(wǎng)絡(luò)層(圖2)。此外，一鍵啟用也讓預(yù)訓(xùn)網(wǎng)絡(luò)轉(zhuǎn)換成優(yōu)化的實(shí)時(shí)網(wǎng)絡(luò)執(zhí)行更為便捷。為確保給常用的網(wǎng)絡(luò)生成器提供支持，CDNN框架與Caffe、TensorFlow(谷歌的機(jī)器學(xué)習(xí)軟件庫)都有合作。

　　圖 2網(wǎng)絡(luò)生成器的發(fā)展為新網(wǎng)絡(luò)層及更深的架構(gòu)提供了支持

　　英文解釋：

　　Typical CNN layer 典型的CNN架構(gòu)

　　Input 輸入

　　Convolutional stage:affine transform 卷積階段：仿射變換

　　Detector stage:nonlinearity 檢測階段：非線性

　　Pooling stage 統(tǒng)籌階段

　　Normalization stage(optional)正規(guī)化階段(可選)

　　Output：feature map 輸出：特征映射

　　由于最新推出的嵌入式處理平臺(tái)在可擴(kuò)展性及靈活性上都有了很大改進(jìn)，因此嵌入式部署也可以利用這些改進(jìn)來完善自身。由于深度學(xué)習(xí)領(lǐng)域的發(fā)展越來越多樣化，因此擁有一個(gè)不僅能滿足當(dāng)今處理需求，也具有適應(yīng)未來的技術(shù)創(chuàng)新的靈活架構(gòu)非常重要。

　　3鋪好路

　　第一批神經(jīng)網(wǎng)絡(luò)應(yīng)用程序?qū)Ｗ⒂谝曈X處理，以支持諸如自動(dòng)行人、交通信號(hào)或道路特征識(shí)別等功能。由于這些系統(tǒng)的性能不斷改進(jìn)，例如處理越來越大的來自高分辨率相機(jī)的數(shù)據(jù)集，因此神經(jīng)網(wǎng)絡(luò)也有望在未來的汽車中發(fā)揮更大的作用。這些作用將包括承擔(dān)系統(tǒng)中其它復(fù)雜的信號(hào)處理任務(wù)，例如雷達(dá)模塊及語音識(shí)別系統(tǒng)。

　　隨著神經(jīng)網(wǎng)絡(luò)首次應(yīng)用于車載自動(dòng)駕駛系統(tǒng)，(據(jù)報(bào)道，某些國家將在2019-2020年型的新車輛中使用神經(jīng)網(wǎng)絡(luò)，)對(duì)同時(shí)兼具安全性及可靠性的系統(tǒng)的需求會(huì)越來越大。中國政府計(jì)劃在2021至2025年推出自動(dòng)駕駛車輛。要讓此類系統(tǒng)具備可讓客戶使用的條件，汽車制造商必須同時(shí)確保其符合相關(guān)的安全標(biāo)準(zhǔn)，如ISO 26262功能安全性。這需要硬件、軟件及系統(tǒng)的綜合發(fā)展。

　　由于這些系統(tǒng)變得越來越復(fù)雜，因此確保系統(tǒng)可靠安全且能滿足處理需求也成為汽車制造商所面臨的越來越大的挑戰(zhàn)。

　　4結(jié)論

　　機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)將沿著一條挑戰(zhàn)高效處理性能的發(fā)展道路繼續(xù)闊步前進(jìn)。先進(jìn)的神經(jīng)網(wǎng)絡(luò)架構(gòu)已經(jīng)顯現(xiàn)出優(yōu)于人類的識(shí)別精確性。用于生成網(wǎng)絡(luò)的最新框架，如 CDNN2，正在推動(dòng)輕型、低功耗嵌入式神經(jīng)網(wǎng)絡(luò)的發(fā)展。這種神經(jīng)網(wǎng)絡(luò)將使目前的高級(jí)輔助駕駛系統(tǒng)具有較高的精確性及實(shí)時(shí)處理能力。

　　深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)在量產(chǎn)型車輛上的首次使用將限于基本的視覺識(shí)別系統(tǒng)，但最終會(huì)在未來為自動(dòng)化程度越來越高的車輛提供支持，幫助其應(yīng)對(duì)眾多的復(fù)雜信號(hào)處理的挑戰(zhàn)。