搭建機(jī)器視覺系統(tǒng)應(yīng)盡可能確保生成的圖像足以使算法快速準(zhǔn)確地從中提取所需信息。為了實(shí)現(xiàn)這一目標(biāo)，常需要在設(shè)備選型和系統(tǒng)搭建過(guò)程中考慮設(shè)備的技術(shù)指標(biāo)、被測(cè)目標(biāo)的尺寸、設(shè)備安裝的空間限制、相機(jī)安裝方式、圖像采集設(shè)備的性能以及圖像采集軟件等關(guān)鍵問(wèn)題。

1

圖像畸變

1.1、圖像畸變的原因

構(gòu)建機(jī)器視覺系統(tǒng)采集到的圖像質(zhì)量應(yīng)確保機(jī)器視覺算法快速、準(zhǔn)確地提取所需要的信息，以便作出相關(guān)決定。然而要實(shí)現(xiàn)準(zhǔn)確測(cè)量和控制，機(jī)器視覺系統(tǒng)必須使用真實(shí)世界的坐標(biāo)系和測(cè)量單位。這意味著，要事先得到像素與真實(shí)世界坐標(biāo)系的映射關(guān)系，才能在后續(xù)過(guò)程中使用其進(jìn)行計(jì)算。

例如，在某個(gè)測(cè)量?jī)牲c(diǎn)之間距離的機(jī)器視覺系統(tǒng)中，已知圖像中每個(gè)像素代表真實(shí)世界坐標(biāo)系中的2cm，那么若圖像中兩個(gè)點(diǎn)之間有10個(gè)像素，則理想情況下可得知兩點(diǎn)之間的距離為20cm。

然而真實(shí)世界總沒有想象中那樣理想，設(shè)備的局限性和系統(tǒng)連接過(guò)程中的各種問(wèn)題會(huì)使機(jī)器視覺系統(tǒng)采集到的圖像產(chǎn)生各種畸變(distortion)，常見的幾種情況如下：

• 由于各種原因未能使相機(jī)垂直于被測(cè)目標(biāo)安裝，從而為系統(tǒng)引入****畸變(perspectivedistortion)。

• 由于相機(jī)所使用的鏡頭特性并不都與其光心處的特性一致，系統(tǒng)中存在徑向畸變(radiallens distortion)。包括：桶形畸變(barrel distortion)、枕形畸變(pincushion distortion)和須形畸變(mustache distortion)等。

• 由于相機(jī)中的圖像傳感器未能與鏡頭的光面平行安裝，導(dǎo)致系統(tǒng)中存在切向畸變(tangentialdistortion)。

• 若機(jī)器視覺系統(tǒng)所檢測(cè)的目標(biāo)表面為非線性平面(存在起伏)，則系統(tǒng)中就會(huì)存在非線性畸變(nonlinear distortion) 。

• 若光源不能提供均勻的光照，相機(jī)鏡頭存在漸暈(vignetting)，相機(jī)傳感器有雜質(zhì)，或者被測(cè)目標(biāo)表面非均勻，則采集到的圖像灰度通常不能均勻分布。

機(jī)器視覺系統(tǒng)的準(zhǔn)確性受到以上問(wèn)題的極大影響，因此，不僅在計(jì)算像素到真實(shí)世界坐標(biāo)系的轉(zhuǎn)換關(guān)系時(shí)要重點(diǎn)考慮準(zhǔn)確性的問(wèn)題，還要考慮如何對(duì)圖像進(jìn)行矯正。

1.2、圖像畸變類型

1.2.1、****畸變

搭建機(jī)器視覺系統(tǒng)理想情況下可以被抽象為小孔成像模型。然而現(xiàn)實(shí)世界并不總是很理想。

首先，受各種安裝條件的限制，相機(jī)可能無(wú)法垂直于被測(cè)目標(biāo)安裝，這就會(huì)導(dǎo)致系統(tǒng)生成的圖像發(fā)生****畸變，如下圖所示：

****畸變

****畸變?cè)谙鄼C(jī)未能垂直監(jiān)測(cè)目標(biāo)時(shí)發(fā)生，在這種情況下，所成圖像遵循****規(guī)律，離鏡頭越近的部分所成圖像越大，反之越小。

1.2.2、徑向畸變

****畸變是由鏡頭的安裝方式等外部因素引起的，鏡頭畸變則是由其自身光學(xué)特性的不完美造成的，如下圖所示：

鏡頭的徑向畸變

理想情況下圖中物面上的點(diǎn)P1和P2在像面上的成像遵循小孔成像原則，然而由于現(xiàn)實(shí)中鏡頭所用凸透鏡或凹凸透鏡組合固有的光學(xué)特性，會(huì)導(dǎo)致這些點(diǎn)沿著像面的徑向產(chǎn)生偏移，從而產(chǎn)生鏡頭的徑向畸變。

鏡頭畸變常用成像畫面柜對(duì)于正常圖像的畸變率(%Distortion)表示。

• 當(dāng)畸變率為正時(shí)，說(shuō)明成像畫面呈桶形向外膨脹，稱為桶形畸變；

• 當(dāng)畸變率為負(fù)時(shí)，則說(shuō)明畫面向中間收縮，稱為枕形畸變；

• 須形畸變是桶形畸變和枕形畸變混合產(chǎn)生的結(jié)果，圖像中心處接近桶形畸變，但由中心向邊緣逐漸過(guò)渡到枕形畸變。

通常在為機(jī)器視覺系統(tǒng)選擇鏡頭時(shí)，需要確保鏡頭的最大畸變小于1%。

1.2.3、切向畸變

切向畸變是由于相機(jī)在生產(chǎn)制造過(guò)程中未能使其圖像傳感器與光軸垂直安裝而造成的。在這種情況下相機(jī)圖像傳感器與鏡頭之間并未平行安裝，而是存在一定的角度，如下圖所示：

鏡頭的切向畸變

與徑向畸變的影響不同，切向畸變會(huì)使圖像像素沿切線方向變形，如將矩形變?yōu)樘菪螆D像。

1.2.4、灰度不均

灰度分布不均是指在光源不能提供均勻的光照、相機(jī)鏡頭存在漸暈、相機(jī)傳感器有雜質(zhì)或被測(cè)目標(biāo)表面非線性時(shí)導(dǎo)致圖像中灰度不能均勻分布的情況，如下圖所示：

圖像灰度分布不均

對(duì)于此類畸變，通常需要通過(guò)明場(chǎng)校正(bright field correction)來(lái)處理。明場(chǎng)校正又稱為平場(chǎng)校正(flat field correction)，是指基于機(jī)器視覺系統(tǒng)采集或由數(shù)學(xué)模型估算的明亮背景圖像(明場(chǎng))對(duì)灰度分布不均勻的圖像進(jìn)行矯正的過(guò)程。經(jīng)過(guò)明場(chǎng)矯正后，圖像中的灰度分布會(huì)更接近真實(shí)情況，且相機(jī)傳感器雜質(zhì)對(duì)圖像的影響也會(huì)被消除。

明場(chǎng)校正過(guò)程基于下面的公式進(jìn)行計(jì)算：

• Median是對(duì)明場(chǎng)與暗場(chǎng)差值求中值的運(yùn)算符；

• 矯正系數(shù)用于對(duì)矯正圖像的灰度進(jìn)行修正。

2

圖像校準(zhǔn)

機(jī)器視覺系統(tǒng)的校準(zhǔn)是綜合考慮機(jī)器視覺成像系統(tǒng)的多種畸變因素，找出圖像中像素點(diǎn)與真實(shí)世界坐標(biāo)系映射關(guān)系的過(guò)程，這一過(guò)程通常在空間域進(jìn)行。

對(duì)于機(jī)器視覺系統(tǒng)來(lái)說(shuō)，為了實(shí)現(xiàn)與真實(shí)世界坐標(biāo)相關(guān)的測(cè)量和控制，通常會(huì)利用手工輸入的方法或包含多個(gè)點(diǎn)的標(biāo)準(zhǔn)模板，為系統(tǒng)提供真實(shí)世界坐標(biāo)系中多個(gè)點(diǎn)的已知信息。這些信息包括點(diǎn)在真實(shí)世界坐標(biāo)系中的位置信息、點(diǎn)與點(diǎn)之間的距離等。一旦有了這些已知信息，就可以結(jié)合成像系統(tǒng)模型，獲得圖像中各像素點(diǎn)與真實(shí)世界之間線性或非線性的映射關(guān)系。如果將這些計(jì)算得來(lái)的關(guān)系應(yīng)用到后續(xù)采集的圖像中，就可以降低各種畸變對(duì)視覺系統(tǒng)檢測(cè)結(jié)果的影響，甚至可以對(duì)畸變圖像進(jìn)行矯正。

2.1、簡(jiǎn)易系統(tǒng)校準(zhǔn)法和****校準(zhǔn)法

簡(jiǎn)易系統(tǒng)校準(zhǔn)法和****校準(zhǔn)法是兩種通過(guò)手工輸入已知信息點(diǎn)就可實(shí)現(xiàn)系統(tǒng)校準(zhǔn)的方法。

• 簡(jiǎn)易系統(tǒng)校準(zhǔn)法(simple calibration)是一種不考慮任何畸變的近乎理想的方法。

  直接根據(jù)小孔成像模型計(jì)算出圖像像素大小或像素間距在工作面上所對(duì)應(yīng)的實(shí)際距離是一種最簡(jiǎn)易的系統(tǒng)校準(zhǔn)方法。

  這種方法假定成像系統(tǒng)中相機(jī)垂直于觀測(cè)目標(biāo)安裝，且系統(tǒng)引起的圖像畸變可以忽略不計(jì)。

  一旦設(shè)定了這種簡(jiǎn)單的映射關(guān)系，就可以根據(jù)目標(biāo)物在圖像中所占據(jù)的像素個(gè)數(shù)計(jì)算其對(duì)應(yīng)的實(shí)際尺寸。

  它適用于圖像畸變較小的場(chǎng)合，如使用遠(yuǎn)心鏡頭垂直監(jiān)測(cè)目標(biāo)的機(jī)器視覺系統(tǒng)。

• ****校準(zhǔn)法(perspective calibration)必須確保系統(tǒng)獲得足夠多的已知信息點(diǎn)。

  若由于各種條件限制，相機(jī)無(wú)法垂直于監(jiān)測(cè)目標(biāo)安裝，系統(tǒng)中就會(huì)存在****畸變。

  為了實(shí)現(xiàn)準(zhǔn)確測(cè)量控制，必須先提供一系列已知真實(shí)世界坐標(biāo)和尺寸信息的點(diǎn)，并根據(jù)這些信息確定三維世界坐標(biāo)系中目標(biāo)點(diǎn)到圖像像素的數(shù)學(xué)映射關(guān)系。

  通常所提供的已知信息點(diǎn)不能少于4個(gè)，已知信息點(diǎn)數(shù)越多，計(jì)算得到的映射關(guān)系就越準(zhǔn)確。

2.2、校準(zhǔn)點(diǎn)陣

在實(shí)際工作中，若鏡頭存在徑向或切向畸變，手工輸入已知信息點(diǎn)的校準(zhǔn)方法就顯得麻煩且效率低下，此時(shí)可以使用校準(zhǔn)點(diǎn)陣(calibration grid)為校準(zhǔn)過(guò)程提供輸入。

校準(zhǔn)點(diǎn)陣是一幅縱向和橫向相鄰點(diǎn)中心間距相等的點(diǎn)陣圖像。默認(rèn)情況下，校準(zhǔn)過(guò)程會(huì)使用點(diǎn)陣中左上角點(diǎn)的中心作為原點(diǎn)來(lái)建立圖像坐標(biāo)系。因此，若將縱橫兩個(gè)方向上相鄰點(diǎn)間的距離dx和dy作為輸入，校準(zhǔn)過(guò)程就可得知點(diǎn)陣中所有點(diǎn)在世界坐標(biāo)系中的位置，如下圖所示：

機(jī)器視覺系統(tǒng)的校準(zhǔn)

當(dāng)要對(duì)搭建好的機(jī)器視覺系統(tǒng)進(jìn)行校準(zhǔn)時(shí)，可以采集校準(zhǔn)點(diǎn)陣的圖像，并根據(jù)最小二乘法確定出畸變模型參數(shù)來(lái)完成校準(zhǔn)過(guò)程。

在實(shí)際工作中，鏡頭或機(jī)器視覺系統(tǒng)供應(yīng)商一般都會(huì)提供校準(zhǔn)點(diǎn)陣。NI Vision的隨機(jī)文檔中也附有校準(zhǔn)點(diǎn)陣的樣本圖像，通常位于安裝NI Vision的文檔安裝目錄中，例如我的安裝路徑下：

C:UsersPublicDocumentsNational InstrumentsVisionDocumentationCalibrationGrid.pdf

校準(zhǔn)點(diǎn)陣的選擇或制作一般都遵循以下規(guī)則：

• 點(diǎn)陣中縱向和橫向相鄰點(diǎn)之間的距離應(yīng)相等(dx=dy)；

• 采集到的圖像中，各點(diǎn)的半徑應(yīng)覆蓋6~10個(gè)像素；

• 采集到的圖像中，相鄰點(diǎn)中心之間的距離應(yīng)在16~32個(gè)像素之間；

• 采集到的圖像邊緣到點(diǎn)陣邊界點(diǎn)之間的距離應(yīng)不少于6個(gè)像素；

• 在使用校準(zhǔn)點(diǎn)陣校準(zhǔn)系統(tǒng)時(shí)，還應(yīng)盡可能使點(diǎn)陣覆蓋整個(gè)機(jī)器視覺系統(tǒng)所監(jiān)測(cè)的工作區(qū)域。

2.3、NI Vision校準(zhǔn)方法

Nl Vision提供了多種計(jì)算機(jī)視覺系統(tǒng)校準(zhǔn)方法的VI，它們位于LabVIEW的視覺與運(yùn)動(dòng)→Vision Utilities→Calibration函數(shù)選板中，如下圖所示：

函數(shù)說(shuō)明及使用可參見幫助手冊(cè)：

接下來(lái)講解一個(gè)生成系統(tǒng)校準(zhǔn)信息的案例，思路如下所示：

• 程序先讀入校準(zhǔn)點(diǎn)陣圖像并使用IMAQCopy在內(nèi)存中復(fù)制了一個(gè)副本以進(jìn)行后續(xù)處理；

• IMAQ Local Threshold將對(duì)校準(zhǔn)點(diǎn)陣圖像進(jìn)行二值化，它將輸出包含黑色圓點(diǎn)的二值圖像；

• 緊接著lMAQ Calibration Target to Points-Circular Dots2會(huì)自動(dòng)提取出含有各圓點(diǎn)世界坐標(biāo)和與之對(duì)應(yīng)的像素坐標(biāo)信息的Reference Points簇；

• 在進(jìn)行計(jì)算時(shí)，它需要包含圓點(diǎn)的二值圖像、點(diǎn)陣中各點(diǎn)在真實(shí)世界坐標(biāo)中的間隔(由Grid Descriptor簇提供)、校準(zhǔn)點(diǎn)陣的源灰度圖像（用于調(diào)整計(jì)算結(jié)果）和點(diǎn)陣的大小Grid Size作為輸入。

程序?qū)崿F(xiàn)如下所示：

程序中Reference Points簇中的數(shù)據(jù)將作為IMAQ Learn Distortion Model和IMAQ LearnPerspective Calibration的關(guān)鍵輸入，以便于它們計(jì)算多項(xiàng)式鏡頭畸變模型的K1、K2、K3參數(shù)和****畸變模型參數(shù)。經(jīng)這兩個(gè)VI計(jì)算后，得到的系統(tǒng)校準(zhǔn)信息將與IMAQ Local Threshold生成的二值圖像關(guān)聯(lián)，作為校準(zhǔn)模板圖像輸出。使用IMAQ Get Calibration Info返回校準(zhǔn)過(guò)程的配置信息以及校準(zhǔn)的坐標(biāo)原點(diǎn)。此外，程序還暗示了在系統(tǒng)校準(zhǔn)過(guò)程中可以連續(xù)使用消除不同類型畸變的系統(tǒng)校準(zhǔn)VI。

例如，若系統(tǒng)中既含有鏡頭畸變和****畸變，且工作面又為非線性工作面（工作面為起伏的非平面)，則可以先使用IMAQ Learn Distortion Model和IMAQ Learn Perspective Calibration，再使用IMAQ LearnMicro Plane對(duì)系統(tǒng)進(jìn)行校準(zhǔn)，最終生成的校準(zhǔn)模板圖像將包含綜合的系統(tǒng)校準(zhǔn)信息。

效果如下所示：

3

圖像矯正

NI Vision使用IMAQ CorrectionLearn Setup和IMAQ Correct Calibrated lmage對(duì)圖像進(jìn)行矯正，矯正函數(shù)也位于：LabVIEW的視覺與運(yùn)動(dòng)→Vision Utilities→Calibration函數(shù)選板中，也可參見幫助文檔進(jìn)行理解。

• IMAQ CorrectionLearn Setup用于配置圖像矯正時(shí)要用到的ROI、如何使用這些ROI以及圖像的縮放方式；

• IMAQ Correct Calibrated lmage則可通過(guò)平移、放大、插值等方法逐像素對(duì)整個(gè)輸入圖像進(jìn)行矯正，并生成新的矯正圖像。

由于計(jì)算量特別大，圖像矯正過(guò)程一般都極為耗時(shí)，因此若非必要，應(yīng)盡可能避免矯正整個(gè)圖像，而只需矯正圖像中感興趣的區(qū)域。圖像矯正過(guò)程中的矯正區(qū)域由系統(tǒng)校準(zhǔn)過(guò)程定義的系統(tǒng)校準(zhǔn)ROI (Calibration ROI)和用戶為圖像矯正過(guò)程定義的圖像矯正ROI(Correction ROI)共同決定。下表列出了幾種確定圖像矯正區(qū)域的ROI組合：

下圖進(jìn)一步對(duì)可供選擇的幾種ROl組合情況進(jìn)行了說(shuō)明：

圖像矯正區(qū)域的ROI組合

對(duì)2.3、NI Vision校準(zhǔn)方法中代碼添加圖像矯正功能，程序如下所示：

程序中矩形方框之前的代碼會(huì)將源灰度圖像轉(zhuǎn)換為二值圖像，并生成圖像校準(zhǔn)信息。方框內(nèi)新增的代碼中，IMAQ Correction Learn Setup用于配置圖像矯正過(guò)程對(duì)整個(gè)圖像有效，而且要求矯正圖像保留源圖像中特征區(qū)域的大小，矯正過(guò)程中無(wú)須生成矯正表。新增的IMAQ orrect Calibrated lmage會(huì)使用雙線性插值算法進(jìn)行圖像矯正計(jì)算，生成新的矯正圖像，效果如下所示：

對(duì)比2.3、NI Vision校準(zhǔn)方法中示例效果，可見新圖像矯正效果理想。

機(jī)器視覺系統(tǒng)校準(zhǔn)過(guò)程的質(zhì)量可從準(zhǔn)確度和精密度兩個(gè)角度去衡量，包括誤差映射表、畸變率、平均誤差、最大誤差以及標(biāo)準(zhǔn)差等指標(biāo)，由這些指標(biāo)可以計(jì)算測(cè)量結(jié)果的可信程度。如果需要對(duì)采集到的畸變圖像或其中部分感興趣的區(qū)域進(jìn)行矯正，則可以根據(jù)畸變模型和系統(tǒng)校準(zhǔn)信息，通過(guò)平移、放大、插值等方法生成消除****畸變和鏡頭畸變的矯正圖像。圖像矯正過(guò)程極為耗時(shí)，在機(jī)器視覺系統(tǒng)開發(fā)過(guò)程中，若非必要，應(yīng)盡可能避免。