影像是如何生成的？

在使用普通的傳統(tǒng)相機時，光學系統(tǒng)把捕捉到的光打在膠卷上，隨后人們就可以通過一個化學過程對其進行曝光和沖洗。而在使用數碼相機或攝影手機時，光仍然要通過由多個單元鏡頭和一個鏡桶組成的光學系統(tǒng)，不同的是，現在光是打在由行和列組成的數字傳感器陣列上，這一陣列由幾百萬個微小像素組成。例如，1280 1024像素的傳感器為1.3 mp（百萬像素） 傳感器。圖1為帶有三個單元鏡頭的定焦攝像手機示例。

當光打在像素陣列上之前，它要通過彩色濾光片，確保只有紅、綠或藍色光到達每個像素上。光打在每個像素上，首先生成一個模擬信號，該模擬信號再通過模數轉換器（adc）轉變?yōu)閿底中盘?。這一數字信號然后被發(fā)送到稱之為成像管道（image pipe 或i-pipe）的地方。成像管道由一系列過濾處理器組成，經過過濾處理器處理后會使影像信號看起來更加逼真。

成像管道可調節(jié)白平衡和顏色，并用“捕獲方式”改變圖片所帶的某些異常情況，例如：鏡頭陰影、影像幾何變形、偏離鏡頭中心時圖片清晰度下降以及數字傳感器噪聲。處理器或成像管道也可以壓縮影像，使用jpeg格式生成可以快速寫入存儲介質的影像，這一壓縮影像文件較小，但很精確。臨時存儲區(qū)也稱為緩沖區(qū)，圖片在被壓縮以實現最終存儲之前保存在緩沖區(qū)里。攝像手機中使用的基本功能模塊有鏡頭、圖像傳感器、post processing、存儲器等。

光線預處理

紅外線濾鏡的作用是擋住超過780nm的紅外線并使光譜的可見光部分通過，從而確保傳感器僅聚焦于肉眼所看到的事物，并優(yōu)化色彩整合。這就好像在音響設備中，對大于22 khz的聲音不做處理一樣，因為人們根本聽不到這些聲音，所以音響組件根本不需要對這些會降低效率或使可聽到的聲音失真的超量信息進行處理。如果不以這種方式將紅外線擋住，這些紅外線會使影像變得模糊不清，并會降低鏡頭所形成影像的清晰度。紅外濾鏡分為吸收型和反射型兩種。

在這個過程中，還使用了顯微透鏡對昏暗的光線進行預處理，使光線以盡可能垂直的方向準確折射成像。顯微透鏡可以增強像素的光學靈敏度，通常位于色彩濾鏡陣列（cfa）之上。

色彩濾鏡陣列——bayer濾鏡

光電二極管只能感應光線亮度，不能感應色彩信息。因此，必須使用某種機制以人工的方式增強它對不同色彩的靈敏度，從而向人眼呈現不同的顏色。色彩濾鏡陣列的作用是確保每個傳感器像素只會收到一種顏色的光：通常是紅、綠、藍三種顏色。色彩濾鏡陣列可以使用不同的模式。由于人眼感應色彩的方式和人眼對綠色的靈敏度是其對紅色和藍色靈敏度的兩倍這一事實，要模仿人眼的感應方式，相機需要使用更多的綠色像素來表現會被人們認為是正確顏色的影像。

bayer 模式交替使用一組紅色和綠色濾鏡以及一組綠色和藍色濾鏡，其中綠色像素的總數為紅色和藍色像素之和。用bayer濾鏡制作的原始輸出是紅、藍、綠三種顏色像素的相互鑲嵌，但各種顏色像素的強度不同，這主要取決于光線照在某一特定像素上的角度。圖2所示為數碼相機中顯微透鏡和濾鏡結構與傳感器陣列結合使用的方式。

demosaicing算法

在用色彩濾鏡陣列生成影像時，有四種不同的像素決定著每個像素的顏色。這就形成了一個不同色彩的組合，但看起來還不像一個真正的影像。為此，使用了一種算法。這種算法使用距離目標像素最近的像素的平均色彩值來盡可能完美地模擬目標像素的真正顏色。這種插入缺失值的方法稱為demosaicing。有多種demosaicing算法，例如雙線性內插法。圖3所示為使用bayer色彩濾鏡陣列模式對影像進行馬賽克化的方式。圖4所示為通過demosaicing算法將同一個影像表現為真正影像的方式。

白平衡

在用膠卷攝影時，可根據拍攝光線的類型調整白平衡設置，例如：室內日光燈、鈉燈、鹵鎢燈、室外晴天和室外陰天。如果不進行校正的話，例如，在日光燈下拍攝的圖片會偏綠，而在室外晴天的情況下拍攝的圖片可能又有點偏黃。自動白平衡校正可以確保影像中的白色與觀察者看到的真正的白色一樣。圖5中左側的影像是在2856k鹵鎢燈照明的條件下拍攝的，但是對它進行了標準的自動白平衡處理。一個高級的自動白平衡（awb）系統(tǒng)，可根據影像拍攝的照明條件，使影像幾乎呈現為真正的白色。圖5中右側的影像為經過改進的自動白平衡處理后的影像。

影像還原：消除不必要的人為因素

在膠卷世界中，可以與噪聲劃等號的是膠卷的顆粒度。因此，asa400膠卷要比asa 100膠卷的顆粒大。在cmos或ccd傳感器中，有好幾種不符合要求的噪聲源。必須消除這些噪聲源或減輕它們的影響。

（1）固定模式噪聲（fpn）：這種噪聲會在每張拍攝的照片中產生同樣的噪聲模式。減輕這種噪聲的具體方法為：在“黑暗”中讀取照片（在無光的情況下曝光），然后用標準讀數（正常曝光的情況下）減去這個結果。黑暗級的輸出電流是指在沒有照明的條件下所產生的平均輸出級別。因此，它包含光電二極管的泄漏電流。人們常常用視覺黑像素作為參考像素，來查找黑暗電流并對它進行相應的校正。視覺黑像素是指不參與感光的像素。 （2）隨機噪聲。隨機噪聲是指周圍環(huán)境產生的噪聲。溫度越高，離開軌道的電子就越多，同時還會在傳感器中產生隨機噪聲信號。傳感器電路散熱或者環(huán)境溫度升高都會加劇這種噪聲。在夏季，用放在車內的攝像手機所拍攝的照片比將它放在涼爽的大樓中拍攝的照片要差很多。
在某些用于天文觀測的復雜數碼slr和相機中，為了將熱噪聲降低到最小程度，甚至會將傳感器封裝在迷你冰箱中。一些高端天文照相機使用液氮來降低傳感器的溫度。在開氏零度或攝氏 273度，從理論上講，電子中不存在動能，因此，也就沒有噪聲。在光線較弱的情況下，信噪比較低，影像中的噪聲較多。 （3）像素干擾（pixel cross talk）。像素干擾是指通過一個像素的光線交叉進入鄰近的像素所產生的一種混亂狀態(tài)。例如，一個紅色的像素讓“紅色的”光進入鄰近的藍色像素，引起藍色像素中信號增加而紅色信息中影像信息丟失。

在比較高端的傳感器中，可通過使用另外一個顯微透鏡通過再次曲光來進一步降低像素，這樣就可以將光線交叉進入鄰近像素引起像素交叉干擾的機會降到最小的程度，見圖6。

有時，用分辨率較高的傳感器拍出的影像比用較低分辨率的傳感器拍出的影像的質量還要差。這是因為像素數量只是進行信息采集的一個方式。像素大小還決定著信噪比的大小?？偟膩碚f，較大的像素尺寸要比較小的好，這是因為像素尺寸較大，收集光線的面積較大，因此，可以捕獲更多光子，與存在的所有噪聲相比，這會產生較大信號。這也就是有些5 mp 數碼相機所生成的圖片不如3mp相機質量好的原因。

相對于一個特定的半導體生產工藝而言，不論像素有多大，所產生的噪聲幾乎是相同的，而且信號隨著像素尺寸的增大而增強，所以，對一個類似的過程來說，像素越大，影像越好、越清晰。

實時缺陷校正

在傳感器上總是有一些不盡人意的有缺陷的像素和區(qū)域。在生產過程中，傳感器中可能會帶入了一些光學污點或電路故障。這可能會產生非常不理想的視覺效果，導致與入射光不一致或非線性反應的產生。有時，像素還可能出現一些電子異常，如某些像素輸出較高，而其他像素則輸出較低，從而產生比可以接收的平均水平要低的輸出。

i-pipe可以通過測量像素的輸出并將其與鄰近像素的平均值進行對比來確定是否某個像素存在缺陷。如果該像素輸出與鄰近像素輸出的平均值之差大于某個容許極限值，該像素將被標記為壞像素，它的輸出不再有效。可以用內差值法替換那個目標像素所在位置的輸出值，具體方法如下：獲得鄰近像素的輸出值，并求出它們的平均值，這樣就可以得出壞像素的“模擬”輸出。這種缺陷校正存在的問題是：有時它會降低整行的線分辨率，除非以保守的方式使用。此外，還可以使用其他專用方法和算法來減輕這種缺陷。

增強降質影像的分辨率或清晰度

現在，我們已經了解了光線通過光學鏡頭、bayer矩陣以及一個或多個顯微透鏡的方式以及如何使用demosaicing、插值（interpolation）、消除黑角、缺陷校正等方法重現影像。進行這么多人為的電子處理會使最后的影像比它原本的顏色要暗。這就要求使用另一種過濾處理器，比較有代表性的是一種可以恢復影像表面清晰度的平滑影像邊緣技術。通過向經過校正的影像添加部分高通（high-pass）信號（僅是高頻信號）就可以獲得所需的清晰度。噪音銳化的程度取決于所添加高通信號的多少。

消除黑角

黑角是指由于鏡頭和鏡桶的原因在圖片邊緣生成的陰影或黑影。消除黑角技術可以校正這種異常，通過將黑角的照明比校正為影像中心的照明比，影像看起來就好像沒有不正常的陰影了。

后期處理增強效果

圖7所示為改進的demosaicing技術如何提高影像質量的方式。左側的影像使用了典型demosaicing算法進行了處理。在這張影像中有一種稱為圣誕樹燈光效果（christmas tree lights effect）的影像缺陷，帶有彩光。改進的demosaicing算法可以大大降低甚至消除這種效果，如右圖所示。

圖8所示為通過增強明暗區(qū)域對比來增強影像效果的示例，通過提高明暗對比度，可以提高影像的豐滿度和色彩質量。在cmos影像傳感器內使用自適應色調調整（adaptive tone mapping）技術，通過擴展動態(tài)范圍來產生更真實、更豐富的色彩。圖8中下面的影像使用了自適應色調調整技術，并通過自動調節(jié)色調分布圖提高了影像的亮度和對比度。這樣就提高了明暗區(qū)域的對比度，改變了曝光不足或曝光過強的影像，并且，產生了更明亮、更生動的色彩再現效果。

圖9為安捷倫公司提供的整個成像系統(tǒng)結構圖。從這張圖可以看出，i-pipe影像處理階段是在將信號凈化、銳化并增強后，但還沒有輸出為顯示或存儲在內存中之前進行的。

總結

現在，我們已經了解了光線通過光學鏡頭、bayer矩陣以及一個或多個顯微透鏡的方式以及如何通過定型以及調整重現精美影像的過程。隨著攝像手機從低端產品發(fā)展為帶有較好分辨率和影像質量的中端數碼相機，不但需要極好的影像后期處理技術，而且還需要今天數碼相機中已經采用的基本功能。

光學變焦、自動對焦和photo strength 閃光等功能需要進行內部影像處理以及i-pipe早期階段不需要的支持功能。i-pipe的神奇之處在于可支持類似于數碼相機的功能，但是這又帶來了另一層復雜性。它面臨著雙重挑戰(zhàn)，一方面要確保自己強大的功能，另一方面是以如今價格高度敏感的攝像手機市場中令人心動的價格始終如一地提供一流的影像質量。