利用賽靈思FPGA輕松應(yīng)對(duì)內(nèi)窺鏡系統(tǒng)架構(gòu)挑戰(zhàn)
攝像機(jī)控制單元
CCU通過(guò)DVI或者SDI接口從攝像頭接收RGB或YUV格式的圖像數(shù)據(jù),然后執(zhí)行可增強(qiáng)圖像質(zhì)量的任意組合的處理步驟。專用圖像處理器件通常用于在最低延遲水平下以高分辨率提供優(yōu)化的圖像質(zhì)量。
圖3典型CCU的功能方框圖
第一階段的圖像增強(qiáng)特性一般包括:(1)降噪;(2)邊緣增強(qiáng);(3)寬泛的動(dòng)態(tài)范圍校正。
在圖像增強(qiáng)階段之后是用戶控制的圖像調(diào)整,一般包括:(1)數(shù)字縮放;(2)視頻轉(zhuǎn)換器;(3)靜態(tài)圖像捕獲。
通常情況下,不僅可將處理器用來(lái)管理數(shù)據(jù)流和控制CCU的算法和功能,而且還能監(jiān)控至攝像頭、圖像管理單元和顯示器的通信。
降噪:保持視頻的清晰對(duì)內(nèi)窺鏡系統(tǒng)而言至關(guān)重要。在CCU中使用降噪算法,以實(shí)現(xiàn)進(jìn)一步的改進(jìn)。在使用較低幀速率的小型應(yīng)用中,降噪算法在提升圖像質(zhì)量方面發(fā)揮著關(guān)鍵性的作用。時(shí)間降噪即基于運(yùn)動(dòng)的降噪技術(shù)通常最適合于需要解決運(yùn)動(dòng)問(wèn)題的內(nèi)窺鏡應(yīng)用。如,在某些特定應(yīng)用領(lǐng)域,我們可采用空間降噪技術(shù)。在空間降噪中,可對(duì)噪聲進(jìn)行逐幀檢測(cè)和糾正,但這項(xiàng)技術(shù)會(huì)降低圖像的清晰度,因此可能需要混合采用空間/時(shí)間濾波器。
邊緣增強(qiáng)
對(duì)于內(nèi)窺鏡而言,邊緣增強(qiáng)是一種非常重要的圖像處理技術(shù),因?yàn)槠淠軒椭t(yī)生更全面地查看組織中的非正?,F(xiàn)象。內(nèi)窺鏡可充分利用各種邊緣增強(qiáng)技術(shù)。索貝爾算子和雙邊濾波器是兩種最常用的實(shí)現(xiàn)方案。
寬動(dòng)態(tài)范圍校正
寬動(dòng)態(tài)范圍(WDR)是指影像系統(tǒng)在各影像內(nèi)明暗度差別很大的情況下提供清晰影像的能力。由于內(nèi)窺鏡一般采用的設(shè)置是在亮前景和暗背景下采集圖像。WDR處理算法構(gòu)成了系統(tǒng)的關(guān)鍵性組件。WDR處理器模塊越接近傳感器,對(duì)最終圖像質(zhì)量的影響就越大。但是為了克服攝像頭在功耗和器件密度方面受到的制約,設(shè)計(jì)人員需要考慮將WDR處理放置在CCU中。
數(shù)字縮放
在內(nèi)窺鏡系統(tǒng)中,縮放功能是一項(xiàng)非常重要的功能,可以讓醫(yī)生更加清晰地查看對(duì)象。數(shù)字縮放會(huì)以犧牲部分分辨率為代價(jià)而增大圖像的尺寸。
視頻轉(zhuǎn)換器
視頻轉(zhuǎn)換器的作用是把視頻流映射為對(duì)接收設(shè)備適合的深度位寬比和分辨率。如圖3所示,CCU可將視頻流輸出到本地顯示器和圖像管理單元。本地顯示器的分辨率和深度位寬比可以比原始視頻格式低得多,這樣視頻轉(zhuǎn)換器就可以根據(jù)顯示設(shè)備的要求相應(yīng)調(diào)整視頻,并將視頻流直接傳輸至圖像管理單元。
靜態(tài)圖像捕獲
醫(yī)生使用靜態(tài)圖像能夠迅速捕獲并共享對(duì)象組織的圖像。內(nèi)置于某些圖像傳感器中的傳感器控制電路包含一個(gè)靜態(tài)圖像捕獲電路。在其他系統(tǒng)中,這項(xiàng)功能通常由下游執(zhí)行,即在執(zhí)行圖像增強(qiáng)功能之后進(jìn)行。靜態(tài)圖像捕獲功能既可用硬件、也可用軟件執(zhí)行,圖像一般在由醫(yī)生保存到磁盤上之前都保存在本地存儲(chǔ)器中。
攝像機(jī)控制單元的設(shè)計(jì)挑戰(zhàn)
在內(nèi)窺鏡手術(shù)中,醫(yī)生眼疲勞是需要納入考慮范圍的一個(gè)問(wèn)題。因此需要可減少視頻滯后和實(shí)現(xiàn)最高幀速率的高速圖像處理功能,來(lái)提供流暢的視頻。
內(nèi)窺鏡供應(yīng)商常常會(huì)在CCU中采用獨(dú)特的圖像增強(qiáng)功能來(lái)實(shí)現(xiàn)產(chǎn)品的差異化,而且不斷地提升處理功能,在不犧牲處理速度的情況下交付新的圖像增強(qiáng)方案。CCU也受到功耗預(yù)算、上市進(jìn)程以及成本的限制。而將FPGA用作主圖像處理器能夠在性價(jià)比、功耗以及開(kāi)發(fā)周期之間實(shí)現(xiàn)最佳平衡。同時(shí),還可將多個(gè)接口集成到單個(gè)器件中以提供接口橋接,從而既可減少組件數(shù)量,又能降低系統(tǒng)的成本和功耗。
圖像管理
在內(nèi)窺鏡系統(tǒng)中,圖像管理單元功能很多,如:圖像文件管理、網(wǎng)絡(luò)連接及后處理圖像增強(qiáng)功能等。在緊湊型系統(tǒng)中,可將圖像管理功能融合成CCU的一個(gè)單元;在大型系統(tǒng)中,則可以用作獨(dú)立單元。圖像管理單元一般采用PC風(fēng)格的架構(gòu),基于處理器系統(tǒng)而構(gòu)建。該單元可采用如Windows或Linux等操作系統(tǒng),同時(shí)為內(nèi)窺鏡提供定制的GUI。其可有多路視頻輸入,以從不同角度或者用不同縮放水平同時(shí)顯示圖像。此外,該單元還可以通過(guò)鼠標(biāo)和鍵盤進(jìn)行控制,并擁有自己的監(jiān)控器。
圖4 圖像管理單元
高端系統(tǒng),特別是采用高清視頻的系統(tǒng),往往會(huì)把視頻接口和視頻處理任務(wù)交由賽靈思FPGA執(zhí)行。在這種情況下,圖像管理的各種功能均由FPGA硬件處理,而非由處理器中的軟件執(zhí)行。該架構(gòu)能確保視頻流僅由高性能邏輯電路處理,從而生成不會(huì)給同步運(yùn)行在處理器中的其他進(jìn)程造成影響的低滯后視頻。此外,系統(tǒng)設(shè)計(jì)人員還可充分利用FPGA提供的高引腳數(shù)和多功能I/O接口標(biāo)準(zhǔn)來(lái)實(shí)現(xiàn)數(shù)據(jù)、網(wǎng)絡(luò)、存儲(chǔ)和用戶接口,從而有助于減少系統(tǒng)的總器件數(shù)。
fpga相關(guān)文章:fpga是什么
攝像頭相關(guān)文章:攝像頭原理 激光器相關(guān)文章:激光器原理
評(píng)論