基于FPGA+DSP技術(shù)的Bayer格式圖像預(yù)處理
高分辨率圖像實(shí)時(shí)處理在通信、醫(yī)學(xué)、軍事、航天航空、信息安全等領(lǐng)域有著廣泛的應(yīng)用和發(fā)展。在圖像實(shí)時(shí)處理的過程中,下層圖像預(yù)處理的數(shù)據(jù)量大,運(yùn)算簡單,但是要求運(yùn)算速率高,可以用FPGA硬件來處理,上層所處理的數(shù)據(jù)量少,算法結(jié)構(gòu)復(fù)雜,適于運(yùn)算速度快,尋址靈活的DSP數(shù)字信號處理器進(jìn)行處理。這里提出了一種FPGA+DSP相結(jié)合的實(shí)時(shí)圖像處理系統(tǒng),并應(yīng)用于傳像光線束傳遞圖像。CMOS實(shí)際采集的是光線束的出端圖像,FPGA將CMOS采集的Bayer格式的圖像轉(zhuǎn)換為RGB格式的亮度信號。由于光纖出、入端結(jié)構(gòu)不同,需要DSP準(zhǔn)確每根光纖的中心位置,重新排序才能輸出正確的圖像信息。該系統(tǒng)充分發(fā)揮了FPGA和DSP各自的優(yōu)勢,能更好地提高圖像處理的實(shí)時(shí)性,降低成本。
1 Bayer圖像格式
CMOS圖像傳感器作為一種基礎(chǔ)器件可以實(shí)現(xiàn)信息的采集、轉(zhuǎn)換以及視覺功能的擴(kuò)展,并能直觀真實(shí)地給出可視圖像信息。系統(tǒng)中CMOS圖像傳感器輸出2 592x1 944x12 bit的Bayer格式的圖像(該格式的圖像本身就是數(shù)字信號,因此無需對圖像進(jìn)行模數(shù)轉(zhuǎn)換),Bayer圖像格式如圖1所示。在圖l中,每個(gè)方格代表一個(gè)像素,并且只含有R、G、B中的一種顏色分量,奇數(shù)行由G、R像素交替構(gòu)成,偶數(shù)行由B、G像素交替進(jìn)行,其中G像素分量占所有像素的一半,R像素和G像素占另一半。因?yàn)镚像素分量是R、B像素分量的2倍,所以如果G像素分量采用好的插值方法,不僅可以提高G像素分量的質(zhì)量,也能提高R和B像素分量的質(zhì)量。由于TMS320DM642的video port capture接口的數(shù)據(jù)總線是8位或者16位(該系統(tǒng)采用了更適合DSP處理的8位數(shù)據(jù)),所以為了后續(xù)的DSP能夠更好的處理數(shù)據(jù)并減少DSP的運(yùn)算量,需要使用FPGA先將輸出的圖像數(shù)據(jù)取高8位,然后依據(jù)每個(gè)像素點(diǎn)與相鄰8個(gè)像素點(diǎn)之間的關(guān)系,使用雙線性插值法將Bayer圖像格式轉(zhuǎn)換成24位的RGB圖像格式和亮度信號,然后將處理后的數(shù)據(jù)發(fā)送給DSP。
2 圖像數(shù)據(jù)處理的工作原理
2.1 Bayer圖像的格式轉(zhuǎn)換
雙線性插值法具有算法計(jì)算量少,算法結(jié)構(gòu)簡單,易于實(shí)現(xiàn),占硬件資源少等優(yōu)點(diǎn),本系統(tǒng)中更適合FPGA實(shí)現(xiàn)。雙線性插值法的基本原理是將每個(gè)像素位置上缺少的另外兩種色彩分量通過該像素本身為中心的領(lǐng)域內(nèi)具有相同分量的像素平均獲得,即將每個(gè)像素的RGB分量都以該點(diǎn)像素為中心的3x3像素矩陣進(jìn)行線性插值而成。按照這種思路可以將圖像中的3x3矩陣分成4類,如表1所示。
每種圖像矩陣中間的像素點(diǎn)為待插值的數(shù)據(jù)源,設(shè)R(x,y)、G(x,y)、B(x,y)為插值計(jì)算后該點(diǎn)紅、綠、藍(lán)像素分量。當(dāng)像素位于奇數(shù)行奇數(shù)列計(jì)算公式為:
評論