圖像模式匹配是指通過分析模板圖像和目標(biāo)圖像中灰度、邊緣、外形結(jié)構(gòu)以及對(duì)應(yīng)關(guān)系等特征的相似性和一致性，從目標(biāo)圖像中尋找與模板圖像相同或相似區(qū)域的過程。圖像模式匹配是機(jī)器視覺系統(tǒng)最重要的功能之一，基于它可以實(shí)現(xiàn)目標(biāo)對(duì)準(zhǔn)、測(cè)量、檢測(cè)以及分類等應(yīng)用。 

1

圖像模式匹配概念

圖像的模式匹配過程一般包括學(xué)習(xí)（Learning）和匹配（Matching）兩個(gè)階段。在學(xué)習(xí)階段，算法會(huì)從模板圖像中提取用于進(jìn)行圖像匹配的特征信息，并將它們以便于搜索的方式存放在模板圖像中以備后用。在圖像匹配階段，算法從被測(cè)目標(biāo)圖像中提取同類型的特征信息，分析它們與模板圖像中特征信息的相似性和一致性，以確定目標(biāo)圖像中與模板圖像相匹配的區(qū)域。圖像匹配過程一般以模板圖像和被測(cè)的目標(biāo)圖像作為輸入，輸出匹配目標(biāo)的數(shù)量、位置、角度相對(duì)于模板的縮放比例，以及用得分值表示的與模板圖像之間的相似程度。

根據(jù)所基于的特征模式不同，圖像模式匹配可分為灰度匹配、幾何匹配和色彩匹配幾大類，在本章中僅講解灰度匹配和幾何匹配。

• 圖像的灰度匹配（Grayscale Matching）以像素灰度或灰度梯度信息為特征，通過計(jì)算模板圖像與目標(biāo)圖像區(qū)域之間的歸一化的互相關(guān)值（Normalized Cross-Correlation）來確定匹配區(qū)域。

• 幾何匹配（Geometric Matching）又可分為基于邊緣曲線（Edge Based）的幾何匹配和基于目標(biāo)外形特征(Feature Based）的幾何匹配兩大類。

  基于邊緣曲線的幾何匹配使用圖像中邊緣曲線上每個(gè)像素點(diǎn)的梯度角度和像素相對(duì)模板中心的位置，實(shí)現(xiàn)圖像的模式匹配過程。

  基于目標(biāo)外形特征的幾何匹配則先從圖像中的邊緣曲線中提取角點(diǎn)、線段、矩形、圓形或橢圓等幾何形狀，然后再基于這些幾何形狀進(jìn)行圖像匹配。

下圖對(duì)幾類圖像模式匹配過程的典型應(yīng)用、算法、優(yōu)缺點(diǎn)以及常見輸出進(jìn)行了匯總。其中也會(huì)紹圖像的灰度匹配和幾何匹配技術(shù)，色彩匹配將在后文再進(jìn)行詳細(xì)介紹。

2

影響圖像模式匹配的因素

要使機(jī)器視覺系統(tǒng)的圖像模式匹配過程具有實(shí)用性，必須設(shè)法使模式匹配過程對(duì)以下幾種環(huán)境仍能保持相對(duì)一致的計(jì)算結(jié)果。

1、平移和旋轉(zhuǎn)

機(jī)器視覺系統(tǒng)的被測(cè)目標(biāo)不一定都固定在視場(chǎng)內(nèi)某一位置，而是可能在視場(chǎng)內(nèi)平移或旋轉(zhuǎn)。圖像模式匹配算法應(yīng)仍具有平移不變性（Shift-Invariant）或旋轉(zhuǎn)不變性（RotateIlnvariant）。也就是說，即使被測(cè)目標(biāo)在視場(chǎng)內(nèi)有平移或旋轉(zhuǎn)，算法也能準(zhǔn)確匹配圖像中的被測(cè)目標(biāo)，并返回其位置和相對(duì)模板圖像的旋轉(zhuǎn)角度。

2、尺度變化

圖像模式匹配算法應(yīng)仍具有尺度不變性（Scale-Invariant）。當(dāng)被測(cè)目標(biāo)的尺寸在機(jī)器視覺系統(tǒng)采集到的多個(gè)圖像中不固定時(shí)，算法應(yīng)能對(duì)多個(gè)圖像具有相對(duì)一致的匹配結(jié)果，并返回匹配目標(biāo)相對(duì)于模板圖像的縮放比例。

3、目標(biāo)交疊

圖像模式匹配算法應(yīng)具有對(duì)交疊（Partial Occlusion）目標(biāo)檢測(cè)的能力，當(dāng)被測(cè)目標(biāo)之間有相互覆蓋的情況時(shí)，算法應(yīng)仍能正確匹配到目標(biāo)，并返回被覆蓋部分占整個(gè)目標(biāo)的比例。下圖給出了一個(gè)圖像中被測(cè)目標(biāo)旋轉(zhuǎn)、縮放及交疊的例子。

4、光源強(qiáng)度線性或非線性變化

圖像模式匹配算法應(yīng)對(duì)光源強(qiáng)度線性或非線性變化保持不變性。當(dāng)機(jī)器視覺系統(tǒng)的光源強(qiáng)度整體變暗或變亮（圖像整體變暗或變亮），或視場(chǎng)中的光強(qiáng)呈非線性變化（圖像中各部分亮度不同）時(shí)，算法仍能獲得相對(duì)一致的匹配結(jié)果。下圖顯示了光源強(qiáng)度線性變化和非線性變化時(shí)對(duì)機(jī)器視覺系統(tǒng)所采集圖像的影響。

5、噪聲和模糊目標(biāo)

圖像模式匹配過程在圖像中含有噪聲或者被測(cè)目標(biāo)模糊不清時(shí)，仍能準(zhǔn)確匹配被測(cè)目標(biāo)。例如對(duì)于下圖（b）和（c）中的噪聲圖像和模糊目標(biāo)，算法應(yīng)仍能正確從中匹配模板圖像所示的電路板一角。

3

灰度匹配

之前博文講到，圖像的灰度匹配過程以像素灰度或灰度梯度信息為特征，通過計(jì)算模板圖像與目標(biāo)圖像區(qū)域之間的歸一化的互相關(guān)值（Normalized Cross-Correlation）來確定匹配區(qū)域。

常見的圖像灰度匹配方法包括金字塔匹配法（Pyramidal Matching）和低差異采樣匹配法（Low Discrepancy Sampling，LDS）兩大類，其中金字塔匹配法又可分為基于灰度（Grayscale Based）的金字塔匹配法和基于閾值過濾梯度（GradientsBased）的金字塔匹配法兩種。

下圖對(duì)幾種圖像灰度匹配方法的特征、匹配條件和策略以及優(yōu)缺點(diǎn)進(jìn)行了匯總：

Nl Vision使用位于LabVIEW的視覺與運(yùn)動(dòng)→Machine Vision→Searching andMatching函數(shù)選板中的IMAQ Learn Pattern 4和位于Machine Vision→Find Patterns函數(shù)選板中的IMAQ Find Pattern 4封裝了上述3種圖像灰度匹配方法。 

其中，IMAQ Learn Pattern 4用于對(duì)模板進(jìn)行學(xué)習(xí)，IMAQ Match Pattern 4用于進(jìn)行模板匹配，如下圖所示：

函數(shù)說明及使用可參見幫助手冊(cè)： 

4

幾何匹配

圖像灰度匹配具有平移不變性，且能將旋轉(zhuǎn)不變性和實(shí)時(shí)性提高到實(shí)際應(yīng)用可接受的范圍，但是它卻不支持尺度不變性。與圖像的灰度匹配不同，圖像的幾何匹配過程以被測(cè)目標(biāo)的邊緣輪廓或其幾何外形作為特征，通過比較模板圖像與目標(biāo)圖像中這些特征的差異來確定匹配區(qū)域。而被測(cè)目標(biāo)的幾何外形是綜合角點(diǎn)、線段、矩形、圓形或橢圓等邊緣曲線對(duì)目標(biāo)的抽象描述。相對(duì)于灰度匹配來說，幾何匹配具有平移/旋轉(zhuǎn)不變性、尺度不變性、重疊不變性、線性或非線性光源變化不變性、對(duì)比度反轉(zhuǎn)不變性以及抗噪性強(qiáng)等優(yōu)點(diǎn)。

圖像幾何匹配分為基于邊緣曲線的幾何匹配和基于目標(biāo)外形特征的幾何匹配兩種，兩種方法均以邊緣曲線提?。–urve Extraction）為基礎(chǔ)。

基于邊緣曲線的幾何匹配對(duì)于對(duì)檢測(cè)目標(biāo)的形狀沒有要求，只要從目標(biāo)圖像中檢測(cè)到的邊緣能重現(xiàn)模板中的邊緣即可。但是，基于邊緣曲線的幾何匹配計(jì)算量較大，而且計(jì)算過程需要占用較大內(nèi)存，尤其在需要支持圖像縮放和旋轉(zhuǎn)時(shí)，顯得速度較慢。

基于目標(biāo)外形特征的幾何匹配方法在從圖像中提取到邊緣曲線后，會(huì)先從圖像中學(xué)習(xí)各種抽象層次較高的幾何特征。學(xué)習(xí)過程對(duì)每個(gè)邊緣曲線進(jìn)行多邊形近似擬合，并用可歸類到所擬合多邊形的邊緣線段構(gòu)建完整的多邊形。這就會(huì)生成各種線性或拐角特征，而基于這些特征可進(jìn)一步構(gòu)建抽象層次更高的矩形目標(biāo)輪廓。那些不能近似擬合為多邊形或直線的邊緣曲線或線段則用來創(chuàng)建圓形或橢圓特征。在得到各種抽象層次較高的矩形、圓形或橢圓特征后，算法會(huì)根據(jù)特征的類型、強(qiáng)度和明顯程度（Saliency）對(duì)特征進(jìn)行排序，并選取最佳特征作為代表模板的特征。用于排序的特征類型包括矩形、圓形（或橢圓）、線段和拐角。而強(qiáng)度是特征對(duì)幾何形狀描述的精確程度，明顯程度則用來描述特征是否具有代表性。

特征提取和排序過程后，是模板模型（Template Model）的構(gòu)建過程。算法根據(jù)各種特征之間的空間關(guān)系，使用空間距離向量來描述它們?cè)趫D像中的分布，抽象出代表模板的模型。利用模板模型，可以在圖像匹配過程中對(duì)匹配區(qū)域進(jìn)行驗(yàn)證。下圖給出了一個(gè)幾何特征提取的示例及檢測(cè)到的特征分布。

在實(shí)際應(yīng)用中，若發(fā)現(xiàn)機(jī)器視覺系統(tǒng)的被測(cè)目標(biāo)可由矩形、圓形、橢圓、線段或拐角等明顯幾何形狀來表示，則可以使用基于目標(biāo)外形特征的幾何匹配方法來提高匹配過程的實(shí)時(shí)性。下圖對(duì)兩種圖像幾何匹配方法使用的特征、匹配過程及優(yōu)缺點(diǎn)進(jìn)行了匯總。

NI Vision使用位于LabVIEW的視覺與運(yùn)動(dòng)→Machine Vision→Searching and Matching函數(shù)選板中的IMAQ Setup Learn Geometric Pattern 2、IMAQ Learn Geometric Pattern 2和IMAQ Setup Match Geometric Pattern 2、IMAQ MatchGeometric Pattern 2以及Geometric Matching Advanced (Edge Based）子選板中的IMAQ Advanced Setup Learn Geometric Pattern 2和IMAQ Advanced SetupMatch Geometric Pattern 2來實(shí)現(xiàn)基于邊緣曲線的幾何匹配過程?；谀繕?biāo)外形特征的幾何匹配過程由Geometric Pattern Matching（Feature Based）子選板及其Geometric Matching Advanced （Feature Based）子選板中的VI來實(shí)現(xiàn)。

這兩種匹配方法的學(xué)習(xí)和匹配過程，均先使用參數(shù)設(shè)置VI對(duì)算法進(jìn)行配置，然后才使用配置參數(shù)調(diào)用VI完成學(xué)習(xí)或匹配過程，具體使用技巧各位可參見說明手冊(cè)，這里不再贅述。

5

黃金模板比較

在工業(yè)環(huán)境下，如果圖像背景可控，將圖像的減法運(yùn)算和閾值化處理結(jié)合，可以快速有效地建立機(jī)器視覺系統(tǒng)。如果將同一目標(biāo)在不同時(shí)間拍攝的圖像或在不同波段的圖像相減，即可獲得圖像的差影。圖像差影可用于動(dòng)態(tài)監(jiān)測(cè)、運(yùn)動(dòng)目標(biāo)的檢測(cè)和跟蹤、圖像背景的消除及目標(biāo)識(shí)別等。差影技術(shù)還可以用于消除圖像中不必要的疊加圖像，將混合圖像中重要的信息分離出來。

使用圖像減法運(yùn)算進(jìn)行缺陷檢測(cè)的原理較為簡(jiǎn)單，但要直接使用它進(jìn)行缺陷檢測(cè)，參與運(yùn)算的圖像需要具備以下條件。

• 目標(biāo)圖像和模板圖像中的被測(cè)件圖像尺寸相同；

• 目標(biāo)圖像和模板圖像中的被測(cè)件圖像準(zhǔn)確對(duì)準(zhǔn)；

• 目標(biāo)圖像中的被測(cè)件相對(duì)于模板圖像不存在畸變或畸變已經(jīng)被矯正；

• 目標(biāo)圖像和模板圖像中的被測(cè)件圖像不存在整體灰度差異；

• 其他噪聲的影響應(yīng)提前被消除。

這些條件使得直接減法運(yùn)算很難解決現(xiàn)實(shí)世界中的實(shí)際問題。例如，在下圖所示的硬盤機(jī)械針劃傷檢測(cè)實(shí)例中，模板圖像和故障圖像中的硬盤針圖像不僅尺寸相同，可準(zhǔn)確對(duì)準(zhǔn)，整體上不存在灰度差異，且無畸變，因此可以直接通過圖像減法獲得缺陷圖像。但是現(xiàn)實(shí)中，任何圖像錯(cuò)位、圖像畸變、圖像灰度變化或噪聲，都會(huì)影響圖像減法運(yùn)算進(jìn)行缺陷檢測(cè)的結(jié)果。

由此可見，要使用圖像減法運(yùn)算在實(shí)際工業(yè)環(huán)境中進(jìn)行缺陷檢測(cè)，除了要確保被測(cè)件尺度不變外，還需要事先設(shè)法矯正圖像畸變，對(duì)準(zhǔn)被測(cè)件圖像，盡量消除整體灰度差異和噪聲對(duì)圖像減法運(yùn)算結(jié)果的影響。

黃金模板比較（Golden Template Comparison）正是基于圖像減法運(yùn)算，綜合應(yīng)用圖像對(duì)準(zhǔn)、投影畸變矯正、灰度差異處理以及忽略部分邊緣等措施，在實(shí)際工業(yè)環(huán)境中進(jìn)行目標(biāo)缺陷檢測(cè)的一種方法。下圖匯總了黃金模板比較法的原理、輸出結(jié)果以及為提高算法實(shí)用性在圖像減法運(yùn)算的基礎(chǔ)上所采取的優(yōu)化措施。

模板和目標(biāo)圖像的對(duì)準(zhǔn)對(duì)黃金模板比較法的正常執(zhí)行至關(guān)重要，未對(duì)準(zhǔn)的圖像進(jìn)行減法運(yùn)算的結(jié)果會(huì)產(chǎn)生差影。例如，在下圖所示的某微光瞄準(zhǔn)鏡缺陷檢測(cè)實(shí)例中，若采集到的瞄準(zhǔn)鏡視場(chǎng)發(fā)生了偏移，則通過減法運(yùn)算得到的結(jié)果中不僅包含缺陷點(diǎn)，還包含圖像的差影，而且差影還占了主要部分。

Nl Vision使用位于LabVIEW的視覺與運(yùn)動(dòng)→Machine Vision→Inspection函數(shù)選板中的IMAQ Learn Golden Template和IMAQ Compare Golden Template來實(shí)現(xiàn)圖像的黃金模板比較過程。其中IMAQ Learn Golden Template用于在程序運(yùn)行時(shí)創(chuàng)建黃金模板，IMAQ Compare Golden Template用于綜合各種措施對(duì)目標(biāo)圖像和模板進(jìn)行比較，如下圖所示：

 函數(shù)說明及使用可參見幫助手冊(cè)：