雙目系統(tǒng)的缺點(diǎn)在于：計(jì)算量非常大，對(duì)計(jì)算單元的性能要求非常高，這使得產(chǎn)品化、小型化的難度較大。所以在芯片或FPGA上解決雙目的計(jì)算問題難度比較大。

國際上使用雙目的研究機(jī)構(gòu)或廠商，絕大多數(shù)是使用服務(wù)器來進(jìn)行圖像處理與計(jì)算的;也有部分將算法進(jìn)行簡(jiǎn)化后，使用FPGA進(jìn)行處理，但雙目配準(zhǔn)的效果又收到較大程度影響，存在很多噪點(diǎn)與空洞，這對(duì)后續(xù)的計(jì)算不利，存在安全風(fēng)險(xiǎn)。

目前，中科慧眼技術(shù)團(tuán)隊(duì)實(shí)現(xiàn)了在芯片中對(duì)雙目的高速計(jì)算，算法一方面要保證無噪點(diǎn)、空洞的干擾，另一方面要反映出細(xì)小障礙物的存在，在這個(gè)前提下將芯片計(jì)算效率提升至15fps。

上圖為實(shí)際場(chǎng)景與計(jì)算得到的距離的對(duì)應(yīng)關(guān)系(不同飽和度顏色代表不同距離，從暖色調(diào)至冷色調(diào)為距離由近及遠(yuǎn))。從右圖可以看出，距離計(jì)算的二維圖像中，噪點(diǎn)與空洞被很好的抑制。色調(diào)(距離)的過渡是平滑過渡，沒有跳變。

中科慧眼的雙目方案和國際上其他方案對(duì)相同高速公路實(shí)測(cè)對(duì)比結(jié)果如下圖所示：

雙目攝像頭的計(jì)算原理：

上圖中的人和椰子樹，人在前，椰子樹在后，最下方是雙目相機(jī)中的成像?？梢钥闯鲇覀?cè)相機(jī)成像中人在樹的左側(cè)，左側(cè)相機(jī)成像中人在樹的右側(cè)，這是因?yàn)殡p目的角度不一樣。再通過對(duì)比兩幅圖像就可以知道樹的視差小而人的視差大，因?yàn)闃涞木嚯x遠(yuǎn)，人的距離近。這就是雙目三角測(cè)距的原理。

離攝像頭遠(yuǎn)的物體在雙目圖像中的disparity小，離攝像頭遠(yuǎn)近的物體disparity大。如果距離無限遠(yuǎn)，雙目幾乎是沒有差別的。所以國際上大多數(shù)雙目系統(tǒng)的基線距離是十幾厘米，和人眼的距離是相近的。雙目系統(tǒng)可以實(shí)時(shí)把拍攝到的內(nèi)容轉(zhuǎn)化成距離。ADAS一個(gè)很重要的作用是碰撞預(yù)警。碰撞預(yù)警需要關(guān)注距離的變化，需要估計(jì)即將碰撞的時(shí)間。有了距離測(cè)量，才會(huì)有距離變化，有距離變化才會(huì)有碰撞時(shí)間的估計(jì)，最后才會(huì)有預(yù)警。

算法這里只講概念，國際上有兩種主流算法。一個(gè)叫ELAS，一個(gè)叫SGBM。這兩個(gè)算法是公開的。

我們的雙目方案相比傳統(tǒng)的算法具有如下優(yōu)勢(shì)：

一是效率，在芯片上的效率達(dá)到15fps，在FPGA+ARM架構(gòu)上的效率可以達(dá)到40fps。

二是效果，就是對(duì)于小障礙物的識(shí)別。既要做到?jīng)]有雜點(diǎn)和空洞，又要表現(xiàn)細(xì)節(jié)。否則小的障礙物，比如一條橫著的欄桿就無法識(shí)別，增加駕駛的風(fēng)險(xiǎn)。下面的圖表現(xiàn)的是小物體和行人的探測(cè)上中科慧眼雙目方案與國際上其他算法的對(duì)比。

(Our為中科慧眼算法效果、其它為國際流行傳統(tǒng)方法的處理效果)

四、大規(guī)模產(chǎn)品化自動(dòng)駕駛路還很長

國際上有Google，豐田等公司研制的無人駕駛汽車進(jìn)行了大量的路測(cè)，在國際上具有較大的影響力。他們使用的是“全副武裝”的雷達(dá)陣列+攝像頭的模式，是一種側(cè)重于技術(shù)積累、品牌傳播、前瞻性研究的方式。計(jì)算核心使用的是位于車輛后備箱中的計(jì)算機(jī)陣列或服務(wù)器。僅僅車頂上方的velodyne多線激光雷達(dá)就高達(dá)數(shù)十萬元。而這種方式去實(shí)現(xiàn)無人駕駛無論從成本、體積、便捷性等方面考量，都尚不具備大規(guī)模普及與推廣的條件。國內(nèi)也有很多十余家團(tuán)隊(duì)目前在做本地化的自動(dòng)駕駛系統(tǒng)研發(fā)，像中科慧眼的雙目產(chǎn)品樣機(jī)已經(jīng)完成，正在進(jìn)行大規(guī)模路測(cè)。從產(chǎn)品理論技術(shù)原型走到真正被用戶接受的產(chǎn)品，恐怕要有很長的路要走。