圖像信號(hào)處理(ISP)

圖像信號(hào)處理器(ISP)通常由多個(gè)視頻處理算法組成，對(duì)輸入的視頻流，以集束流水線的形式執(zhí)行圖像增強(qiáng)和轉(zhuǎn)換功能。圖像流水線可以實(shí)現(xiàn)為軟件在計(jì)算機(jī)，FPGA或數(shù)字信號(hào)處理器(DSP)上運(yùn)行，或作為一個(gè)專用應(yīng)用標(biāo)準(zhǔn)產(chǎn)品(ASSP)。

圖3 用FPGA實(shí)現(xiàn)的圖像信號(hào)處理器(ISP)流水線

圖3中展示了一個(gè)典型的圖像處理流水線。從CMOS圖像傳感器接收到原始的傳感器數(shù)據(jù)。線性化之后，根據(jù)與它們相鄰的像素值校正有缺陷的傳感器像素。典型的圖像傳感器提供了灰度圖像，通過使用bayer濾波器(稱為de-bayering)轉(zhuǎn)換成紅，綠和藍(lán)色。彩色校正矩陣(CCM)用來消除紅色，綠色和藍(lán)色像素之間的色度亮度干擾。

自動(dòng)曝光(AE)模塊自動(dòng)調(diào)整曝光時(shí)間，以彌補(bǔ)不斷變化的光照情況。HDR算法改進(jìn)了圖像的亮和暗區(qū)域的對(duì)比度(HDR將在下一節(jié)中做更詳細(xì)的解釋)。自動(dòng)白平衡(AWB)根據(jù)場(chǎng)景中的一個(gè)白色參考點(diǎn)對(duì)所有顏色作出調(diào)整。噪聲減小器消除噪聲，在不同的平滑顏色的區(qū)域?？梢娪忻黠@錯(cuò)誤顏色的隨機(jī)點(diǎn)。噪聲隨著溫度和曝光時(shí)間而增大。伽瑪校正重新分配原本的攝相機(jī)色調(diào)級(jí)到更均勻的和更適合人眼觀看的水準(zhǔn)，從而最有效地使用一個(gè)給定位的深度。

重疊功能使得文本和圖形能夠在視頻的頂部重疊，用于顯示菜單或攝相機(jī)的設(shè)置。根據(jù)特定的要求，可以添加額外的功能模塊。可以變化壓縮算法H.264或JPEG來達(dá)到這些要求，可運(yùn)用運(yùn)動(dòng)檢測(cè)、目標(biāo)檢測(cè)，或人臉識(shí)別來進(jìn)行智能視頻分析。

HDR處理

圖像的質(zhì)量取決于各種因素，包括照明。根據(jù)照明情況，場(chǎng)景的部分區(qū)域可能太暗，而有些區(qū)域太亮。在這些區(qū)域往往看不到細(xì)節(jié)。丟失的細(xì)節(jié)可能在應(yīng)用中是非常重要的，那里需要作出關(guān)鍵的決策。

圖4 HDR處理實(shí)例

動(dòng)態(tài)范圍(也稱為圖像的最大對(duì)比度)描述圖像的最亮點(diǎn)到相同圖像最暗點(diǎn)之間的比率。人的眼睛能夠看到這兩個(gè)區(qū)域中的細(xì)節(jié)，但大多數(shù)圖像傳感器具有有限的動(dòng)態(tài)范圍，并且不能夠捕捉相同圖像在這兩個(gè)區(qū)域中的細(xì)節(jié)。為了能夠在高對(duì)比度區(qū)域看到細(xì)節(jié)，需要捕獲具有不同的曝光時(shí)間的同一場(chǎng)景的多個(gè)圖像。需要很短的曝光時(shí)間以捕獲非常明亮的區(qū)域，需要長(zhǎng)曝光時(shí)間以捕獲暗的區(qū)域。

具有不同曝光時(shí)間的圖像可以被組合成一個(gè)圖像，提高了圖像的動(dòng)態(tài)范圍。不同曝光時(shí)間的場(chǎng)景捕獲和這些圖像整合為一個(gè)圖像被稱為高動(dòng)態(tài)范圍(HDR)處理，也被稱為寬動(dòng)態(tài)范圍(WDR)處理。HDR處理、全局和局部的色調(diào)映射算法被用來創(chuàng)建單一的圖像，擴(kuò)展了動(dòng)態(tài)范圍，在相同圖像的高對(duì)比度區(qū)域中顯示出細(xì)節(jié)。動(dòng)態(tài)范圍通常以dB表示。好的HDR圖像的動(dòng)態(tài)范圍大于或等于90。例如，Aptina720p HDR傳感器(MT9M034)的動(dòng)態(tài)范圍為120dB。