事件導(dǎo)向CMOS圖像傳感器將用于LiDAR
據(jù)麥姆斯咨詢報道,在快速發(fā)展的工廠自動化、物聯(lián)網(wǎng)和自動駕駛車輛市場上,CMOS圖像傳感器似乎扮演的角色不再是人類消費品,而是讓機器獲取數(shù)據(jù)并讓其理解世界的傳感器。
本文引用地址:http://cafeforensic.com/article/201803/377018.htm法國著名市場研究和技術(shù)分析機構(gòu)Yole的MEMS & 成像部活動負責(zé)人Pierre Cambou這樣評論道:“CMOS圖像傳感器的傳感功能將逐漸超過本身的成像功能,”并大膽預(yù)測“到2030年,一半的CMOS圖像傳感器將服務(wù)于感知領(lǐng)域。”
總部位于法國巴黎的Prophesee SA(原Chronocam)公司以革命領(lǐng)跑者自居。作為先進的神經(jīng)視覺系統(tǒng)設(shè)計公司,提出了一種基于事件的方法進行傳感和處理。Prophesee的仿生視覺技術(shù)一直被認為與傳統(tǒng)機器視覺有實質(zhì)性的差異,處于危險的“超前期”。但Prophesee聯(lián)合創(chuàng)始人兼首席執(zhí)行官Luca Verre告訴我們:“不久的將來,這種想法將被證實是錯誤的。”
Prophesee聯(lián)合創(chuàng)始人兼首席執(zhí)行官Luca Verre
在與Luca Verre面對面采訪中,我們了解到Prophesee已獲得B+輪融資(在過去三年中,Prophesee已募得4000萬美元的資金)。Prophesee已與一家大型消費電子公司(未透露具體名字)簽訂了合作協(xié)議。最重要的是,Prophesee正在積極地把神經(jīng)視覺系統(tǒng)從通常的技術(shù)概念中跳出,變成開發(fā)商的參考系統(tǒng)。
Prophesee的第一款參考設(shè)計用在VGA分辨率應(yīng)用,由Prophesee提供基于異步時間的圖像傳感器(Asynchronous Time-Based Image Sensor,以下簡稱ATIS)芯片和軟件算法。ASIC將由以色列的代工合作伙伴(我們猜測很有可能是Tower Jazz)制造。
Prophesee暫時不愿提供ASIC和參考設(shè)計規(guī)范的詳細說明。計劃在未來幾周內(nèi)會正式發(fā)布該產(chǎn)品。盡管如此,參考設(shè)計能為系統(tǒng)設(shè)計者提供見證和經(jīng)歷ATIS在數(shù)據(jù)傳感領(lǐng)域作用的機會,且已被事實證明,這家初創(chuàng)公司算得上完成了一個里程碑。ATIS的特點是瞬時清晰度高、數(shù)據(jù)率低、動態(tài)范圍高、功耗低。
攝像頭= 瓶頸
機器視覺系統(tǒng)的制造者,不管是智能工廠、物聯(lián)網(wǎng),還是自動駕駛車輛都已經(jīng)關(guān)注到基于事件的方法,這是由Prophesee的聯(lián)合創(chuàng)始人Ryad Benosman和Christoph Posch大力推行的。
可以捕捉傳統(tǒng)相機獲取的所有詳細視覺信息,Verre認為“攝像頭成為技術(shù)瓶頸”。毫無疑問,攝像頭是最強大的傳感裝置。然而,對于自動化系統(tǒng)、監(jiān)控攝像機或高度自動化的車輛的視覺數(shù)據(jù),攝像頭的處理速度可能會減慢。
但談及自動駕駛,Verre認為車輛內(nèi)部的中央處理系統(tǒng)被來自攝像頭、激光雷達、雷達及其它視覺來源的數(shù)據(jù)所“轟炸”。管理這類過載的關(guān)鍵是如何最好地減少來自傳感器的原始數(shù)據(jù)量。傳感器只能捕捉數(shù)據(jù),會帶來額外的無用視覺信息。
Prophesee曾向采訪記者解釋說,Prophesee的事件導(dǎo)向(event-driven)視覺傳感器的靈感來自生物學(xué)。這種看法源于聯(lián)合創(chuàng)始人對人類眼睛和大腦工作的研究。Prophesee的創(chuàng)始人之一Ryad Benosman告訴我們,人類的眼睛和大腦“不會基于一連串幀來記錄視覺信息”。生物比你想象的更復(fù)雜,“人類會捕捉到時空變化里感興趣的東西,并把這些信息有效地傳送到大腦”。這也是Prophesee的ATIS的主要作用。
總之,Prophesee的ATIS提供了基于框架的圖像傳感無法完成的一切功能。在另一個聯(lián)合創(chuàng)始人Christoph Posch看來,“基于幀的方法會導(dǎo)致冗余的記錄數(shù)據(jù),從而引發(fā)高功耗。”他說,“這樣的后果是低效的數(shù)據(jù)率和膨脹的存儲量?;趲囊曨l,以每秒30幀或60幀甚至更高的速率運行,會導(dǎo)致捕獲的圖像發(fā)生畸變。”
用于激光雷達(LiDAR)的事件導(dǎo)向方法
Verre向我們透露Prophesee正在探索采用事件導(dǎo)向(event-driven)方法用于其它傳感器如激光雷達、雷達的可能性。Verre假設(shè):“如果我們可以引導(dǎo)激光雷達只捕捉到其相關(guān)和必須的數(shù)據(jù),會不會很吸引人?”如果能做到這一點,不僅可以加快數(shù)據(jù)采集,還可以減少需要處理的數(shù)據(jù)量。
Phrophesee目前正在評估這個想法,Verre說公司在得到結(jié)論前需要幾個月時間評估。但他補充說:“我們很有信心,我們能成功”。當被我們問及拓展事件導(dǎo)向方法到其它傳感器的新思路時,Yole的分析師Cambou認為“基于事件的攝像頭與激光雷達的優(yōu)勢結(jié)合(提供‘Z’信息),是一件非常有趣的事情。”
需要指出的是,傳統(tǒng)激光雷達的問題是與典型的高端工業(yè)相機相比分辨率較低,受限于分辨率。Cambou認為事件導(dǎo)向的方法可以改善激光雷達性能,尤其是在事件快速接近,如行人突然出現(xiàn)在自動駕駛車輛前面時。缺點是激光雷達硬件必須做相應(yīng)的改變,顯然,對Phrophesee來說,需要一家激光雷達企業(yè)的強有力的支持,來促成這種新方法。
Cambou說,“當然,這始終是技術(shù)型初創(chuàng)企業(yè)面臨的問題。”他指出,Mobileye需要如沃爾沃和特斯拉這類領(lǐng)先汽車廠商(在技術(shù)將成為主流,需要越來越被廣泛地被接受);Movidius(已被英特爾收購),需要道瓊斯指數(shù)為成功鋪平道路。“Prophesee將需要一個強有力的合作伙伴來促進解決方案被大量采用。”Cambou說。
Cambou補充道:“考慮到機器人汽車領(lǐng)域的市場驅(qū)動因素(安全第一,技術(shù)驅(qū)動,非成本第一),這應(yīng)該是可能的。”雖然Cambou表達了他對巨頭(如谷歌)依靠技術(shù)型初創(chuàng)公司的擔憂,他也表示這么小的市場用量不會帶來太大的麻煩。
評論