1   幾種3D深度感知技術(shù)比較

3D深度感知主要有3個(gè)技術(shù)方向：雙目立體，結(jié)構(gòu)光，飛行時(shí)間（ToF），結(jié)構(gòu)光起步比較早，但是技術(shù)的局限性較大，而雙目立體的發(fā)展速度較快，勢頭迅猛。

從物理原理上，雙目立體和結(jié)構(gòu)光二者都用了三角測距，但是雙目立體是依靠自然的紅外反射在攝像頭上產(chǎn)生特征點(diǎn)，來計(jì)算對象物深度的數(shù)據(jù)。結(jié)構(gòu)光需要有一個(gè)發(fā)射光的發(fā)射源，帶編碼的光到了對象物體再反射回來來計(jì)算這個(gè)深度。結(jié)構(gòu)光的弱點(diǎn)是在室外時(shí)，結(jié)構(gòu)光發(fā)射帶編碼的光經(jīng)常受到環(huán)境的干擾；而雙目立體不容易受到室外光的干擾，因此室內(nèi)室外都可以用。所以結(jié)構(gòu)光只能在室內(nèi)使用而且距離比較近；而雙目立體具有明顯優(yōu)勢。

2   雙目立體將是3D機(jī)器視覺等高精尖領(lǐng)域的主角

盡管結(jié)構(gòu)光或ToF有它們各自的技術(shù)優(yōu)勢和特點(diǎn)，例如成本、近距離，但是隨著機(jī)器視覺、AI的不斷發(fā)展，最終會(huì)要求更高的精度、處理速度/刷新率、分辨率等，例如機(jī)器人、VR/AR等應(yīng)用，較適合雙目立體，因?yàn)殡p目立體的優(yōu)勢在于能夠提供更高的精度和更快的處理速度。

因此，如果把3D機(jī)器視覺比喻為一場演出，ToF、結(jié)構(gòu)光只是暖場的，真正的主角和演出將由雙目立體來主導(dǎo)。不過，未來會(huì)是二者或三者融合的方案。當(dāng)然融合也是有主有輔，雙目立體會(huì)占最主要的角色，可以配合結(jié)構(gòu)光和/或ToF、激光測距等，以實(shí)現(xiàn)更完善的解決方案。

哪些領(lǐng)域有望最先用到雙目立體技術(shù)？銀牛微電子公司看好4個(gè)技術(shù)應(yīng)用方向：①避障和自主導(dǎo)航，例如無人機(jī)、消毒機(jī)器人、送餐機(jī)器人、巡檢機(jī)器人，包括部分的安防機(jī)器人，還有自動(dòng)駕駛范疇內(nèi)的老年代步車。② 3D掃描重建，例如用于醫(yī)學(xué)、醫(yī)美，口腔牙齒建模為矯正帶來劃時(shí)代的變革。③人臉識(shí)別。人臉識(shí)別不僅僅是比對照片進(jìn)行人臉的識(shí)別，更重要的是今后在金融支付/刷臉支付場合用于防偽。④盡管目前雙目立體在中國的應(yīng)用主要集中于定位，但是將來會(huì)有一些非常巧妙而非常難做的勞動(dòng)機(jī)器人出現(xiàn)，例如歐美有客戶用雙目模組做自動(dòng)摘葡萄、摘桃子，有一些國外公司與中國客戶接觸做自動(dòng)采茶，這需要精準(zhǔn)識(shí)別茶葉，再用剪刀準(zhǔn)確控制和剪切下來。

3   銀牛3D芯片及模組登陸中國市場

從感知到計(jì)算，再到系統(tǒng)一體化，是每個(gè)機(jī)器視覺必須要具備的環(huán)節(jié)。實(shí)際上，機(jī)器視覺不僅是你看到了什么，其次還要明白你的機(jī)器視覺需要達(dá)到什么目的？機(jī)器要理解這個(gè)世界，因此機(jī)器要有分析能力，即要有強(qiáng)大的計(jì)算能力；之后，還要進(jìn)行判斷、決策、執(zhí)行，因此需要系統(tǒng)的整體設(shè)計(jì)?？梢姡兄?、計(jì)算、系統(tǒng)都是缺一不可的。如何獲得這樣一攬子的解決方案？

近日，3D芯片的引領(lǐng)者Inuitive的母公司——銀牛微電子宣布，面向機(jī)器人行業(yè)重磅推出旗下全新產(chǎn)品“3D機(jī)器視覺模組C158”。該產(chǎn)品基于銀牛（Inuitive）NU4000芯片設(shè)計(jì)，高度集成3D深度感知、高精度姿態(tài)跟蹤、SLAM（實(shí)時(shí)定位建圖）引擎與強(qiáng)大的AI算力于一體，可為業(yè)界提供從實(shí)時(shí)3D感知、計(jì)算到系統(tǒng)一體化的解決方案。

C158具備業(yè)內(nèi)領(lǐng)先的深度感知能力，深度分辨率可達(dá)1280 x 800 @60fps，感知距離達(dá)到6m，深度感知精度誤差僅為1%，滿足了對3D深度性能有高要求的應(yīng)用。在AI性能方面，該產(chǎn)品擁有2 TOPs的AI運(yùn)算能力和靈活配置，不但能有效地支撐從感知到運(yùn)算的各種需求，還能減少主控芯片 / 系統(tǒng)的負(fù)擔(dān)，提高實(shí)時(shí)性。

在功耗方面，C158僅以0.5 W即可實(shí)現(xiàn)5~6 TOPS算力，可輕松滿足設(shè)備端功耗要求，并且產(chǎn)品內(nèi)置的通用型ARM核，支持系統(tǒng)的獨(dú)立性，使系統(tǒng)可以同時(shí)兼顧協(xié)處理器和主控系統(tǒng)，為設(shè)計(jì)提供極大的靈活性。

圖 C158模組：從感知到計(jì)算到系統(tǒng)一體化的解決方案

那么，市場上已有一些雙目先驅(qū)，相比他們，銀牛/Inuitive的特色是什么？為此，電子產(chǎn)品世界記者采訪了銀牛微電子領(lǐng)導(dǎo)：董事長兼CEO 曲冠誠、聯(lián)合創(chuàng)始人兼首席戰(zhàn)略官白逸、聯(lián)合創(chuàng)始人兼副總裁何火高。

從左至右：銀牛微電子聯(lián)合創(chuàng)始人兼首席戰(zhàn)略官白逸，董事長兼CEO曲冠誠，聯(lián)合創(chuàng)始人兼副總裁何火高

4   銀牛與Inuitive的關(guān)系 

銀牛是2020年為并購Inuitive而成立的。Inuitive在以色列已經(jīng)有近10年的歷史，是世界上第1家把雙目、SLAM功能（實(shí)時(shí)定位與建圖）技術(shù)、深度學(xué)習(xí)功能集成于芯片里的企業(yè)，這個(gè)芯片就是NU4000。

Inuitive具有豐富的設(shè)計(jì)經(jīng)驗(yàn)，所有人員的從業(yè)經(jīng)歷平均超過25年，涉及到8個(gè)頂尖學(xué)科，例如光學(xué)、計(jì)算機(jī)視覺、嵌入式系統(tǒng)等，僅僅光學(xué)的儲(chǔ)備能力，在中國都很難找到相匹配的團(tuán)隊(duì)。眾所周知，全球第1個(gè)3D結(jié)構(gòu)光芯片技術(shù)是以色列PrimeSense公司推出的，后來該公司被蘋果公司并購，蘋果于2017年推出了具有支付安全級(jí)的人臉識(shí)別結(jié)構(gòu)光手機(jī)iPhone X。后來PrimeSense的CTO、項(xiàng)目負(fù)責(zé)人加入了Inuitive。

2020年，銀牛微電子并購了Inuitive?？梢姡y牛為并購而成立，站在了巨人肩膀上。

并購后，銀牛在Inuitive國際客戶驗(yàn)證的基礎(chǔ)上，進(jìn)一步根據(jù)中國客戶的需求來調(diào)優(yōu)產(chǎn)品，發(fā)布了新模組C158。其中“C”代表“China”，代表滿足中國客戶的需求。

 銀牛的戰(zhàn)略定位是成為雙目視覺領(lǐng)域的異構(gòu)平臺(tái)解決方案提供商。為此，銀牛推出芯片和模組等底層技術(shù)，在此基礎(chǔ)之上再加上各種應(yīng)用算法，以滿足不同行業(yè)的需求。

2022年銀?？春萌齻€(gè)行業(yè)能夠落地：①輔助駕駛（低速的），②各類的機(jī)器人，讓機(jī)器人更像人，增強(qiáng)跟人的交互，③ AR/VR。下一步，銀牛還看好醫(yī)療等方面的應(yīng)用。

市場上還有一些廠商做類似產(chǎn)品，例如英特爾RealSense是雙目的先驅(qū)，多年來并購了很多公司，有十幾年的儲(chǔ)備，在機(jī)器人行業(yè)頗有建樹。銀牛認(rèn)為和友商不是競爭的關(guān)系，目前在3D市場興起的時(shí)候，參與的開發(fā)者越多越好。

在此領(lǐng)域，銀牛提供差異化的產(chǎn)品。首先銀牛不認(rèn)為自己是一家單純的AI通用芯片或3D感知芯片供應(yīng)商，銀牛要做人工智能3D計(jì)算時(shí)代IoT和邊緣端完整的異構(gòu)計(jì)算平臺(tái)，以及在這個(gè)平臺(tái)之上的生態(tài)系統(tǒng)，這就是銀牛的芯片不僅僅能提供3D感知，還有AI、DSP、音視頻處理等功能的原因。

5   技術(shù)挑戰(zhàn)是如何攻克的？

5.1集成了AI等功能，如何降低功耗？

銀牛會(huì)持續(xù)在工藝節(jié)點(diǎn)上不斷追求更高。NU4000是12nm工藝制程，未來該系列產(chǎn)品還會(huì)不斷的升級(jí)迭代，從現(xiàn)在到2023年的時(shí)間，工藝會(huì)從12nm前進(jìn)到7nm甚至5nm。

從芯片設(shè)計(jì)角度，低功耗是創(chuàng)始人的特色，從創(chuàng)始人第一天開始設(shè)計(jì)芯片就考慮到的，芯片歷來都是功耗最低的，他在設(shè)計(jì)里把運(yùn)行起來的過程，包括從原子層怎么消耗做得非常透徹，這是Inuitive的核心競爭力。為了做到這種程度，很多廠商做3D是在開源上改，而Inuitive是用自己的IP，都是從根兒上重新設(shè)計(jì)。

圖 Inuitive的創(chuàng)始人及聯(lián)合創(chuàng)始人

5.2視覺SLAM對比激光SLAM的優(yōu)勢

二者各有優(yōu)勢，是相互補(bǔ)充的關(guān)系，尤其視覺SLAM成本各方面有非常大的優(yōu)勢。

銀牛微電子聯(lián)合創(chuàng)始人兼副總裁何火高判斷，視覺SLAM和激光SLAM可能是一種融合狀態(tài)，會(huì)采用激光SLAM+視覺SLAM。如果是融合方案，就能把自主導(dǎo)航應(yīng)用場景做得更完整。

Inuitive在芯片上做的是視覺SLAM加速的引擎，能夠讓客戶更有效地把他們的SLAM移植到Inuitive芯片上，以實(shí)現(xiàn)想要的功能。

5.3 未來允許第三方廠商直接用芯片設(shè)計(jì)模組嗎？

銀牛也有芯片客戶，至于選擇哪種，會(huì)是一種商業(yè)的考量。

3D機(jī)器視覺是剛剛起步的技術(shù)，從目前生態(tài)的成熟度、解決方案成熟度、參與度來看，還遠(yuǎn)遠(yuǎn)無法到拿一個(gè)芯片可以直接用起來的程度。而且和其他芯片不同的是：3D感知異構(gòu)計(jì)算平臺(tái)因?yàn)橛?D感知部分，它不僅僅是電的問題，還是跨學(xué)科的系統(tǒng)工程，從對光學(xué)系統(tǒng)的了解，對視覺算法，到后面一整套的從生產(chǎn)制造到標(biāo)定，要求都是非常高的。因此，目前從客戶和生態(tài)成熟度來講，去使用芯片的難度非常高，必須要把這些問題包裝在起來，才能賦能整個(gè)3D機(jī)器視覺生態(tài)里的客戶以更低的門檻、更低的成本加快研發(fā)和應(yīng)用的落地。

例如三維空間數(shù)學(xué)，盡管很多人都在做，把三維空間數(shù)學(xué)添加在應(yīng)用里的門檻就很高。有了深度圖給你，有三維空間，而且每個(gè)場景的應(yīng)用都不一樣，把這個(gè)應(yīng)用起來門檻是非常高的。

5.4 未來支持結(jié)構(gòu)光和ToF嗎?

銀牛微電子董事長兼CEO曲冠誠稱，目前我們可以支持結(jié)構(gòu)光，也支持雙目立體，，但是我們更看好雙目未來的發(fā)展。我們認(rèn)為結(jié)構(gòu)光的技術(shù)門檻不是很高，現(xiàn)在雙目的市場需求呈爆發(fā)式增長。雙目有著天然的優(yōu)勢，因?yàn)槿说难劬褪亲钭匀坏?、感知世界最好的工具，加上我們AI的能力，把眼睛和大腦結(jié)合在一起，讓整個(gè)機(jī)器能夠更好地感知、理解以及執(zhí)行任務(wù)。。

實(shí)際上，NU4000現(xiàn)在就可以支持結(jié)構(gòu)光，同時(shí)也支持部分ToF（注：不是全支持TOF，因?yàn)門OF有很多種）。最終的解決方案發(fā)展會(huì)是融合的方案，融合也是有主有輔，即使是融合方案，雙目會(huì)是占最主要的角色，比如配合結(jié)構(gòu)光，或者是TOF，或者是激光測距等等去做更完善的解決方案。我們也是有充足的準(zhǔn)備，首先我們的芯片支持結(jié)構(gòu)光，目前TOF也是可以支持，只不過因?yàn)槟壳翱吹绞袌鲂枨?，我們相信雙目有它最大的價(jià)值，而且它是更持久、更有生命力的技術(shù)。