圖像傳感器推動嵌入式視覺技術(shù)發(fā)展

新的成像應用正在蓬勃發(fā)展，從工業(yè)4.0中的協(xié)作機器人，到無人機 消防或用于農(nóng)業(yè)，再到生物特征面部識別，以及家庭中的護理點手  持醫(yī)療設(shè)備。這些新應用場景出現(xiàn)的一個關(guān)鍵因素是，嵌入式視覺  比以往任何時候都更普及。嵌入式視覺不是一個新概念；它只是定  義了一個系統(tǒng)，其中包括一個視覺設(shè)置，該設(shè)置在沒有外部計算機  的情況下控制和處理數(shù)據(jù)。它已廣泛應用于工業(yè)質(zhì)量控制，為人熟悉的例子比如“智能相機”。

近年源于消費類市場經(jīng)濟適用硬件器件的開發(fā)，相較于以往使用電 腦的方案，這些器件大幅度減小了材料清單(BOM)成本和產(chǎn)品體  積。舉個例子，小型系統(tǒng)集成商或OEM現(xiàn)在能夠小批量采購諸如  NVIDIA Jetson的單板機或模塊系統(tǒng)；而較大型的OEM則可以直接 獲得如高通驍龍(Qualcomm Snapdragon)的圖像信號處理器。 在軟件級方面，市面軟件庫能夠加快專用視覺系統(tǒng)的開發(fā)速度，減 小配置難度，即便是針對小批量生產(chǎn)。

第二個推動嵌入式視覺系統(tǒng)發(fā)展的變化是機器學習的出現(xiàn)，它使實 驗室中的神經(jīng)網(wǎng)絡能夠接受培訓，然后直接上傳到處理器中，以便 它能夠自動識別特征，并實時做出決定。

能夠提供適用于嵌入式視覺系統(tǒng)的解決方案，對于面向這些高增   長應用的成像企業(yè)來說至關(guān)重要。圖像傳感器由于能夠直接影響嵌 入式視覺系統(tǒng)的效能和設(shè)計，因而在大規(guī)模引進中有重要角色，而  它的主要推動因素可概括為：更小尺寸、重量、功耗和成本，英語簡 稱為“SWaP-C”(decreasing Size, Weight, Power and Cost).

01 降低成本至關(guān)重要

嵌入式視覺新應用的加速推動器是滿足市場需求的價格，而視覺系 統(tǒng)成本正是實現(xiàn)這要求的一個主要制肘。

■ 節(jié)省光學成本

減小視覺模塊成本的第一個途徑是縮小產(chǎn)品尺寸， 原因有兩個：首先是圖像傳感器的像素尺寸愈小，晶圓便可以制造更多的芯片；另一方面?zhèn)鞲衅骺梢允褂酶「统杀镜墓鈱W組件，二者都能夠降 低固有成本。例如Teledyne e2v的 Emerald 5M傳感器把像素尺寸減小至2.8 μm，讓S口(M12) 鏡頭能夠用于五百萬像素全局快門傳感器上，帶來直接的成本節(jié)省──入門級的M12鏡頭的價格約 為10美元，而較大尺寸的C口或F口鏡頭成本是其10到20倍。所以減小尺寸是降低嵌入式視覺系統(tǒng)成本的有效方法。

對于圖像傳感器制造商來說，這種降低的光學成本對設(shè)計有另一個 影響，因為一般來說，光學成本越低，傳感器的入射角越不理想。因此，低成本光學需要在像素上方設(shè)計特定的位移微透鏡，這樣它就 可以補償扭曲，并聚焦來自廣角的光線。

■ 高成本效益的傳感器接口

除了光學優(yōu)化，傳感器接口的選擇也間接影響視覺系統(tǒng)的成本。MIPI CSI-2接口是實現(xiàn)節(jié)約成本的合適選擇（它最初是由MIPI聯(lián)盟為移動行業(yè)開發(fā)的）。它已被大多數(shù)ISP廣泛采用，并已開始在工業(yè)市場采用，因為它提供了一個從NXP、NVIDIA、高通公 司、Rockchip、Intel以及其他公司的低成本的片上系統(tǒng)（SOC）或 模塊上系統(tǒng)（SOM）的輕便集成。設(shè)計一種具有MIPI CSI-2傳感  器接口的CMOS圖像傳感器，無需任何轉(zhuǎn)接橋，直接將圖像傳感器 的數(shù)據(jù)傳輸?shù)角度胧较到y(tǒng)的主機SOC或SOM，從而節(jié)省了成本和 PCB空間，當然，在基于多傳感器的嵌入式系統(tǒng)（如360度全景系統(tǒng)）中，這一優(yōu)勢更為突出。

不過這些好處受到一些限制。目前在機器視覺行業(yè)中廣泛使用的MIPI CSI-2 D-PHY標準依賴于高成本效益的扁平排線，其缺點是連接距離限制為20厘米，這在傳感器離主處理器較遠的遠程云臺設(shè)置中可能不是最佳選擇，在交通監(jiān)控或環(huán)視應用中經(jīng)常是這樣的。延長連接距離的解決方案之一，是在MIPI傳感器板和主機處理器之間放置額外的中繼器板，但這是以犧牲小型化為代價的。還有其他解決方案，不是來自移動行業(yè)，而是來自汽車行業(yè)：即所謂的FPD-Link III和MIPI CSI-2 A-PHY標準支持同軸或差分對線，允許連接距離達15米。

■ 降低開發(fā)成本

在投資新產(chǎn)品時，不斷上升的開發(fā)成本往往是一個挑戰(zhàn)；它可能會在一次性投入成本(NRE)上花費數(shù)百萬美元，并給上市時間帶來壓力。對于嵌入式視覺，這種壓力變得更大，因為模塊化（即產(chǎn)品能  否切換使用多種圖像傳感器）是集成商的重要考慮。幸運的是，一次性開發(fā)成本是可以控制的，具體方法是在傳感器之間提供一定程度的交叉兼容性，例如，通過定義合并/共享相同的像素結(jié)構(gòu)以獲得穩(wěn)定的光電性能，通過相同的光學中心來共享單個前端結(jié)構(gòu)，以及兼容的PCB組件 (方法是尺寸兼容或針腳兼容)，從而加快評估、集成和供應鏈，如圖1所示。

圖1：圖像傳感器平臺可經(jīng)設(shè)計提供針腳兼容(圖左)或尺寸兼容(圖 右)以實現(xiàn)專有PCB布局設(shè)計

如今，隨著所謂的模塊和板級解決方案的廣泛發(fā)布，嵌入式視覺系 統(tǒng)的開發(fā)速度更快，價格也更實惠。這些一站式產(chǎn)品通常包括一個 可隨時集成的傳感器板，它有時還包括一個預處理芯片、一個機械正面和/或一個鏡頭接口。這些解決方案通過高度優(yōu)化的尺寸和標  準化的連接器為應用帶來好處，使其能夠直接連接到現(xiàn)成的處理板，如NVIDIA Jetson或NXP i.MX ones，而不需要設(shè)計或制造中間的轉(zhuǎn)接板。

通過消除PCB設(shè)計和制造的需要，這些模塊或板級 解決方案不僅簡化并加快了硬件開發(fā)，而且還大大縮短了軟件開發(fā)時間，因為它們大部分時間都是與Video4Linux驅(qū)動程序一起提供的。因此，原始設(shè)備制造商和視覺系統(tǒng)制造商可以跳過使圖像傳感 器與主處理器通信的數(shù)周開發(fā)時間，從而專注于其與眾不同的軟件 和整體系統(tǒng)設(shè)計。光學模組，如Teledyne e2v提供的模組，通過將 鏡頭集成在模組內(nèi)，提供從光學到驅(qū)動器直至傳感器板的完整封  裝，并省去與鏡頭組裝和測試相關(guān)的任務，進一步推動了一站式方  案方面的發(fā)展。

圖2：新模組（右側(cè)）允許通過排線直接連接到現(xiàn)成的處理板 （左側(cè)），而無需設(shè)計任何其他轉(zhuǎn)接板。

02 提高自主性能效

由于外接計算機妨礙了便攜式應用，由微型電池供電的設(shè)備是受益于嵌入式視覺的明顯的應用實例。為了降低系統(tǒng)的能耗，圖像傳感 器現(xiàn)在包含了多種功能，使系統(tǒng)設(shè)計者能夠節(jié)省能耗。

從傳感器的角度來看，有多種方法可以在不降低采集幀率的情況下 降低視覺系統(tǒng)的功耗。最簡單的方法是通過盡可能長時間使用待機 或閑置模式，在系統(tǒng)層面最小化傳感器本身的動態(tài)操作，從而降低  傳感器本身的功耗。待機模式通過關(guān)閉仿真電路，把傳感器的功耗 降低到工作模式的10%以下。而閑置模式則可把功耗減半，并且能  夠讓傳感器在數(shù)微秒內(nèi)重新啟動獲取圖像。

另一個節(jié)能方法是采用更先進的光刻節(jié)點技術(shù)來設(shè)計傳感器。技術(shù) 節(jié)點越小，切換晶體管所需的電壓越低，這就降低了動態(tài)功耗，因  為功耗與電壓平方成正比：P_dynamic∝C×V2。所以十年前使用180    nm技術(shù)生產(chǎn)的像素不單把晶體管縮小到110 nm，同時也把數(shù)字電 路的電壓從1.8V降到1.2V。下一世代的傳感器將使用65nm技術(shù)節(jié) 點，使得嵌入式視覺應用更節(jié)能。

最后一點是，通過選擇合適的圖像傳感器，可以在某些條件下降低 LED燈的能耗。有一些系統(tǒng)必須使用主動照明，例如三維地圖的生 成、動作停頓、或是單純使用順序脈沖指定波長來提高反差。在這  些情形下，減低圖像傳感器在低亮度環(huán)境下的噪聲便能實現(xiàn)更低的 功耗。減小了傳感器噪聲，工程人員便可確定減小電流強度，還是  減小集成進嵌入式視覺系統(tǒng)的LED燈數(shù)目。在其他情況下，當圖像  捕獲和LED閃爍由外部事件觸發(fā)時，選擇適當?shù)膫鞲衅髯x出結(jié)構(gòu)可 以顯著節(jié)省電能。當使用傳統(tǒng)卷簾快門傳感器時，幀全曝光時LED燈必需全開，而全局快門傳感器則允許只在幀的某部份開動LED    燈。所以在使用像素內(nèi)相關(guān)雙采樣(CDS)時，以全局快門傳感器替 代卷簾快門傳感器就可以節(jié)省照明成本，同時仍保持與顯微鏡中  使用的CCD傳感器一樣低的噪聲。

03 片上功能為視覺系統(tǒng)的程序設(shè)計鋪平了道路

嵌入式視覺的一些拓展概念，引導我們對圖像傳感器進行全面定  制，以3D堆疊的方式集成所有處理功能（芯片上的系統(tǒng)）以實現(xiàn)優(yōu) 化性能和功耗。不過，開發(fā)這一類產(chǎn)品的成本十分高昂，能夠達到  這一集成水平的全定制傳感器從長遠來說并非完全不可能，而現(xiàn)在 我們正處于一個過渡階段，包含將某些功能直接嵌入到傳感器，以 降低計算負載和加快處理時間。

例如在條形碼閱讀應用，Teledyne e2v公司已擁有專利技術(shù)，將包 含一個專有條形碼識別算法的嵌入式功能加進傳感器芯片，這算  法可以找出每一幀幅內(nèi)的條形碼位置，讓圖像信號處理器只需聚  焦于這些范圍，提高數(shù)據(jù)處理效率

圖3. Teledyne e2v SNAPPY五百萬像素芯片自動識別條形碼位置

另一個減少處理負載和優(yōu)化“良好”數(shù)據(jù)的功能是Teledyne e2v 的專利快速曝光模式，該模式使傳感器能夠自動校正曝光時間，以避免照明條件變化時出現(xiàn)飽和。這項功能優(yōu)化了處理時間，因為它適應了單幀中光照的波動，而且這種快速反應最大限度地減少了處理器需要處理的“壞”圖像的數(shù)量。

這些功能通常是特定的，需要很好地理解客戶的應用程序。只要對應用程序有足夠的了解，就可以設(shè)計多種其他片上功能來優(yōu)化嵌入 式視覺系統(tǒng)。

04 減小重量和尺寸以減少應用空間

嵌入式視覺系統(tǒng)的另一主要要求是能夠配合狹小空間，或是重量 要小，以便于手持式設(shè)備延長產(chǎn)品的工作時間。這  就是現(xiàn)在大部份嵌入式視覺系統(tǒng)使用只有1MP到5MP的低分辨率小靶面?zhèn)鞲衅鞯脑颉?/p>

減小像素芯片的尺寸只是減小圖像傳感器封裝尺寸和重量的第一步?，F(xiàn)在的65 nm工藝讓我們能夠把全局快門像素尺寸減小至2.5μm而不損光電性能。這種生產(chǎn)工藝使得諸如全高清全局快門CMOS 圖像傳感器能夠配合移動端市場要求小于1/3英寸的規(guī)格。

減小傳感器重量和占位面積的另一主要技術(shù)是縮小封裝尺寸。晶圓級封裝在過去數(shù)年在市場迅速成長，在移動設(shè)備、汽車和醫(yī)療應用中特 別明顯。相較用工業(yè)市場常用的傳統(tǒng)陶瓷 (CLGA) 封裝，晶圓級扇出封裝和芯片級封裝能夠?qū)崿F(xiàn)更高密度連接，因而是嵌入式系統(tǒng) 圖像傳感器輕量化小型化的出色解決方案。就Teledyne e2v 的200萬像素傳感器而言，晶圓級封裝與較小的像素尺寸相結(jié)合，僅在五年內(nèi)就能縮小至四分之一。

圖4：自2016年以來，隨著封裝技術(shù)改進和像素尺寸縮小，圖像傳 感器尺寸的典型演變

展望未來，我們預期新的技術(shù)能進一步實現(xiàn)，嵌入式視覺系統(tǒng)所需的更小傳感器尺寸

三維堆棧是讓半導體器件生產(chǎn)的創(chuàng)新技術(shù)，它的原理是在不同晶圓 上制造各種電路芯片，然后利用銅對銅連接和過硅穿孔(Through  Silicon Vias，簡稱TSV)技術(shù)進行堆棧和互聯(lián)。三維堆棧因為是多 層重迭芯片，允許器件實現(xiàn)比傳統(tǒng)傳感器更小的封裝尺寸。在三維  堆疊圖像傳感器中，讀出和處理模塊可以移動到像素陣列和行解碼器 的下方。這樣，傳感器的占位尺寸因縮小的讀出和處理模塊而減小，并且可以在傳感器中加入更多處理資源以減小圖像信號處理器的 載荷。

圖5：三維芯片堆疊技術(shù)能夠使像素陣列、仿真和數(shù)字電路重疊， 甚至增加額外的特定應用處理層，同時減小傳感器面積

不過，要讓三維堆棧技術(shù)在圖像傳感器市場獲得廣泛應用，現(xiàn)在還 面對著一些挑戰(zhàn)。首先這是一個新興的技術(shù)，其次是它的成本較高，因為需要附加的工藝步驟，使得芯片成本比使用傳統(tǒng)技術(shù)的芯 片高三倍以上。因此三維堆疊將主要是高性能或非常小封裝尺寸的 嵌入式視覺系統(tǒng)的選擇。

總結(jié)而言，嵌入式視覺系統(tǒng)可以歸納為一種“輕量”視覺技術(shù)，可以用于包括OEM、系統(tǒng)集成商和標準相機廠商等不同類型企業(yè)?！扒度胧?“是一個可用于不同應用的概括性描述，因而不能開 出列表說明它的特征。不過優(yōu)化嵌入式視覺系統(tǒng)有幾個適用法則，就是一般而言，市場推動力并非來自超級快的速度或超高的靈敏 度，而是尺寸、重量、功耗和成本。圖像傳感器是這些條件的主要推手，所以需要小心選擇合適的圖像傳感器，以便于優(yōu)化嵌入式視覺系統(tǒng)的總體性能。

合適的圖像傳感器能為嵌入式設(shè)計人員帶來更多靈活性，不僅節(jié)省材料清單成本，還可減小照明和光學組件的占位面積。但比圖像傳感器更重要的是，成像模塊形式的拿到即可快速應用的板級解決方案的出現(xiàn)，為進一步優(yōu)化尺寸、重量、功耗和成本鋪平了道路，并通過來自消費市場的成本可接受的經(jīng)過深度學習優(yōu)化的圖像信號處理器，大幅降低開發(fā)成本和時間，而不增加額外的復雜性。