Face recognition based on NSCT and centrosymmetric local direction pattern

       魏維，楊恢先，陶霞，曾金芳，（湘潭大學物理與光電工程學院，湖南 湘潭 411105）

　　摘要：針對人臉識別中姿態(tài)、光照、表情變化造成的識別率不高的問題，本文提出一種非下采樣Contourlet變換(NSCT)與絕對值型中心對稱局部方向模式(ACSLDP)相結(jié)合的人臉識別方法。首先，對人臉圖像進行非下采樣Contourlet變換處理，得到多個不同尺度不同方向的子帶圖像，然后計算子帶圖像絕對值型中心對稱局部方向模式，再對每一幅子圖像進行分塊，利用信息熵對每塊子圖像進行加權(quán)，統(tǒng)計直方圖特征信息，將直方圖串接起來作為人臉圖像的特征向量，最后利用最近鄰分類器分類識別。在ORL、YALE和CAS-PEAL-R1人臉庫上進行測試，實驗結(jié)果表明所提方法人臉有比較強的識別能力，特征維數(shù)小，且對姿態(tài)、光照、表情變化具有較好魯棒性。

　　關(guān)鍵詞：圖像處理；人臉識別；NSCT；絕對值型中心對稱局部方向模式；信息熵；最近鄰分類器

      基金項目：湖南省自然科學基金(2018JJ3486)

　　0 引言

      近年來人臉識別在國家安全、社會穩(wěn)定和生活便利等方面應(yīng)用廣泛，具有與其他生物特征識別技術(shù)沒有的優(yōu)點，如具有非接觸、非強制性等。人臉識別成功的應(yīng)用在于人臉特征信息如何有效地獲取 ^[1] 。

　　人臉局部特征提取 ^[2~5] ，方法主要是對局部紋理信息的獲取，因此在面對光照、姿態(tài)、表情和遮擋等復雜變化時往往具有更好的表現(xiàn)力。Jabid等人 ^[2] 提出一種基于局部方向模式的人臉特征表示方法，局部方向模式特征提取方法在人臉識別中取得了顯著的效果，其便捷有效的特點吸引了許多專家學者的研究和關(guān)注并提出了許多對其改進的算法 ^[3~5] ，李照奎等人 ^[3] 提出一種改進局部方向模式的算法——差值局部方向模式（DifferenceLocal Directional Patterns, DLDP），隨后王曉華等人[4] 提出梯度中心對稱局部方向模式（Gradient CenterSymmetry Local Directional Patterns, GCSLDP），它們都是利用近鄰邊緣值之間信息，人臉識別效果不太明顯。楊恢先等人 ^[5] 提出了一種基于中心對稱局部方向模式的算法（center-symmetric local dirertionalpattern，CSLDP）。CSLDP算法由于考慮了原始數(shù)據(jù)空間人臉信息，人臉特征更加完善，但對噪聲和光照情況的穩(wěn)定性不足。

　　Gabor小波 ^[6] 在提取目標的局部空間和頻域信息方面具有良好的特性。人臉圖像經(jīng)過Gabor小波分解后，原始的人臉特征維數(shù)會增加，計算復雜度會增加，難以將其運用在實際系統(tǒng)中。針對這一現(xiàn)象，出現(xiàn)了一種現(xiàn)在比較常用的分析工具——Contourlet變換 ^[7] ，Contourlet 變換雖然降低了特征維度，但是因其下采樣只是在固定的領(lǐng)域內(nèi)提取，容易有圖像信息的遺漏，會導致頻譜泄漏和頻譜混疊，以及平移不變性的缺乏，導致人臉識別率降低 ^[8] 。針對以上問題，出現(xiàn)了一種對其改進的非下采樣Contourlet變換 ^[8] （NonsubsampledContourlet Transform，NSCT），不僅能夠克服Contourlet 變換帶來的缺陷還能夠很好的保留更多人臉圖像特征信息。

　　受到文獻^[8] 和文獻^[5]的啟發(fā)，提出一種非下采樣 Contourlet 變換與絕對值型中心對稱局部方向模式（Absolute Center of Symmetry Local DirectionalPatterns，簡稱ACSLDP）相結(jié)合的人臉識別方法。首先對人臉圖像進行非下采樣 Contourlet 變換，得到具有多個尺度、多個方向的子帶圖像，然后利用ACSLDP提取子帶圖像特征信息，再對每一幅圖像進行分塊，利用信息熵 ^[9] 對每塊子帶圖像進行加權(quán)，并將所有分塊的統(tǒng)計直方圖特征信息串接，融合成一個直方圖，最后利用最近鄰分類器 ^[10] 分類識別。

　　1 基本原理

      1.1 NSCT

      根據(jù)人類對自然圖像和視覺系統(tǒng)的探索和總結(jié)，人們發(fā)現(xiàn)當圖像表示具有以下特征時，可以被描述為“最佳”：

      (1)多分辨率；

      (2)方向性；

      (3)局域性；

      (4)各向異性 ^[8] 。

非下采樣Contourlet變換不僅全部具備以上4種特性，還具備一種能夠很好的避免圖像像素錯位的平移不變性 [8] 。NSCT由兩個部分構(gòu)成，第一部分是非下采樣結(jié)構(gòu)金字塔（NonsubsampledPyramid，NSP），NSP實現(xiàn)了多尺度分解得到低頻分量和不同子帶的高頻分量，其中低頻分量能夠很好的捕捉到人臉圖像的輪廓細節(jié)信息；第二部分是非下采樣方向濾波組 Nonsubsampled Directional Filter Banks，（NSDFB）。NSDFB實現(xiàn)了對不同子帶的高頻分量進行多方向多分辨率分解，NSDFB能夠很好的捕獲到更多方向信息，從而抽取到更多的人臉圖像特征。圖1給出了NSCT三層分解結(jié)構(gòu)示意圖。

　　NSP是一個雙通道濾波器組，得到一個低通分量和多個不同子帶分量，如圖2所示。

　　NSDFB是對不同子帶分量進行方向分解，由于NSDFB去除了下采樣只進行了上采樣濾波，NSDFB避免了下采樣的多種缺陷，從而很好的避免了信息的缺失，改善了圖像邊緣和局部細節(jié)的清晰度，保留了更多方向信息。

　　一副人臉圖像經(jīng)過NSCT分解會得到n(n=1,2,3)層，每一層分解會得到2 n 個方向 ^[8] 。因為考慮到人臉圖像信息中奇點、突變以及噪聲通常在高頻子帶中出現(xiàn)，且低頻子帶中往往保留了人臉圖像的大部分信息，所以在本文中舍棄了一部分高頻方向信息。因此如圖3所示選取了三層且各層方向數(shù)為4,4,2。

　　1.2 絕對值型中心對稱局部方向模式

      本課題組楊恢先等人提出一種中心對稱局部方向模式，CSLDP基本編碼步驟為：

     （1）首先將人臉圖像3×3子鄰域與 Kirsch 8個模板卷積后，得到8個邊緣響應(yīng) m i (i=0,1,?,7)，邊緣響應(yīng)m i 具有正負；

     （2）采用中心對稱的思想，通過比較鄰域內(nèi)以中心像素點處于對稱位置的4個梯度方向的邊緣響應(yīng)，既邊緣響應(yīng)m i 與 m i+4 (i=0,1,?,3)直接做差比較，大于等于0時，二進制編碼為1，反之亦然為0；

     （3）考慮中心像素點與鄰域均值的大小關(guān)系并賦最大權(quán)重；

     （4）按順序得到一個五位二進制數(shù)，轉(zhuǎn)換為十進制數(shù)作該中心像素的CSLDP編碼。文章改進方法：對邊緣響應(yīng)值m i 取絕對值，比較的是|m i |與 |m i+4| (i=0,1,?,3)的大小，其他不變。邊緣響應(yīng)值m i 的正負意味著某個方向上兩個相反的趨勢(上升或下降)，但最大正值與最小負值都對應(yīng)圖像邊緣，所以直接作差，會對有些邊緣特征無法區(qū)分。而將邊緣響應(yīng)m i 與 m i+4(i=0,1,?,3)都取絕對值之后做差，絕對值越大，往往表示兩個方向之間的細節(jié)特征更加突出，而更突出的細節(jié)信息往往具有更強的判別力，考慮到近鄰邊緣響應(yīng)值之間的內(nèi)在變化。由于都屬于中心對稱局部方向模式，為了區(qū)分，將改進的方法命名為ACSLDP編碼。

　　CSLDP、ACSLDP編碼計算分別如式(1)、(2)所示。CSLDP、ACSLDP特征提取流程如圖4所示。

     其中：g i (i=0,1,?,7)表示中心像素g c 的8個鄰域點的灰度，g m 為g c 的8個鄰域點的灰度均值，m i (i=0,1,?,7)表示中心像素，g c 對應(yīng)的8個Kirsch 邊緣響應(yīng)值。

　　2 基于NSCT與ACSLDP相結(jié)合的人臉識別

     人臉特征識別流程如圖5所示；

     算法的基本流程描述為:

     對人臉圖像進行預處理后進行多尺度、多方向的NSCT 分解，得到一個低頻系數(shù)子帶和多尺度、多方向上的高頻系數(shù)子帶；

     計算子帶圖像絕對值型中心對稱局部方向模式?；贜CST與ACSLDP相結(jié)合的算法(本文命名為NACLDPH)提取子帶圖像特征信息；由于在進行對比實驗算法時加入了基于NCST與CSLDP相結(jié)合的算法(本文命名為NCLDPH)的對比，故在圖4和圖5中加入了CSLDP的對比，并用括號表示；

     對每一幅子帶圖像進行分塊，利用信息熵對圖像的每一塊進行加權(quán)，信息量越多，信息熵值越大，權(quán)重系數(shù)越大；

     并將所有分塊的統(tǒng)計直方圖特征 信息串接起來，形成人臉 特征，并用多通道最近鄰分類器進行分類；

     2.1 NACLDPH特征提取

     3 實驗結(jié)果與分析

     3.1 實驗環(huán)境及參數(shù)選取

     實驗所用的硬件環(huán)境為Intel(R)Core(TM)i3-3217，主頻1.8 GHz，內(nèi)存4 GB；仿真實驗環(huán)境是MatlabR2014a，Windows10系統(tǒng) ；本實驗中各人臉庫介紹以及分塊和實驗參數(shù)選擇如表1所示。

　　人臉庫部分人臉圖像如圖7所示。

　　不同的分塊數(shù)會得到不同的識別效果，本文章采用局部區(qū)域法，就是對人臉圖像進行均勻分塊。如圖8所示不同分塊方式在不同人臉庫上的識別率。

　　3.2 識別率與計算復雜度分析

     為了評價NSCT+ACSLDP算法的有效性，文章選擇與用CSLDP ^[5] 、ACSLDP、DLDP ^[3] 、GCSLDP ^[4] 、HNCLDP ^[11] 、NSCT+CSLDP算法與NSCT+ACSLDP算法進行比較，NSCT+ACSLDP算法在ORL人臉庫、YALE人臉庫、CAS-PEAL-R1光照人臉庫和CAS-PEAL-R1表情人臉庫上分別采用7×2、8×8、11×10和4×5的分塊數(shù)，bins采用32，實驗結(jié)果如表2～4所示。

　　YALE人臉庫被用于測試復雜度實驗，目的為了比較每種對比算法的復雜度，實驗中隨機選取每人1張人臉圖像作為訓練集，其他人臉圖像作為測試集，選擇最佳識別率對應(yīng)的分快數(shù)，計算每個算法以完成單幅人臉圖像所需要的平均時間t：

     其中：T 1 表示單幅圖像特征提取的平均時間，T 2 表示對一副測試樣本與訓練樣本進行多次匹配的時間。每個算法在YALE人臉庫的特征維數(shù)和平均耗時如表5所示。

　　根據(jù)在YALE、ORL和CAS-PEAL-R1人臉庫上實驗結(jié)果可以得出結(jié)論：

     (1)特征提取算子識別率ACSLDP>CSLDP，其中ACSLDP、CSLDP的模式數(shù)為32，CSLDP算法從本質(zhì)上說，是在強化空間特征信息的提??；邊緣響應(yīng)值m i(i=0,1,?,7)的正負意味著某個方向上兩種變化的趨勢，因為最大正值與最小負值都對應(yīng)圖像邊緣信息，如果將它們直接作差，就會對有些邊緣特征無法區(qū)分，而對邊緣響應(yīng)值取絕對值后作差值，絕對值越大，往往表示兩個方向之間的細節(jié)特征更加突出，而更突出的細節(jié)信息往往具有更強的判別力。ACSLDP將充分考慮到近鄰邊緣響應(yīng)值之間的內(nèi)在變化。因此，文章所提ACSLDP特征提取算子的有效性。

　　(2) 文章選擇對比算法HNCLDP算法是非采樣Shearlet變換結(jié)合CSLDP， NCLDPH算法是非下采樣Contourlet變換結(jié)合CSLDP，NACLDPH算法是非下采樣Contourlet變換結(jié)合ACSLDP。在YALE庫中，在識別率方面，NACLDPH算法相比DLDP、GCSLDP、HNCLDP算法識別率都高。在ORL人臉庫中，在識別率方面，NACLDPH算法相比DLDP、GCSLDP、HNCLDP算法識別率都高，除了在樣本數(shù)為3時，NACLDPH識別率比HNCLDP低了0.19個百分點外，其余情況，NACLDPH識別率都高。在CAS-PEAL-R1人臉庫中，在識別率方面，NACLDPH算法相比DLDP、GCSLDP、HNCLDP算法識別率都高。

　　(3)在計算復雜度方面，NACLDPH、NCLDPH、HNCLDP基本相當， CSLDP算法進行8次卷積，4次中心對稱邊緣值作差， 4次比較大小，1次原始空間求平均值；GCSLDP算法進行8次卷積，8次相鄰近邊緣值作差，2次求最大值；DLDP算法由于模式數(shù)相對過高, 導致特征維度比較高，特征提取時間較長。

　　綜合而言，相比較CS-LDP特征算法，ACSLDP特征提取算子能更好地提取人臉圖像的邊緣信息和紋理信息，且沒有增加直方圖維數(shù)，特征提取簡單。NSCT應(yīng)用于人臉圖像處理中，原因是NSCT在圖像表示方面有著以下幾種獨特的優(yōu)勢：

     （1）可以精確定位圖像邊緣信息，且不會增加計算難度（各尺度方向子帶圖像與原始圖像尺寸大小相同）；

     （2）在同一尺度變換上，NSCT分解的高頻分量在多個方向上顯示了細節(jié)信息，因此可以提供與原始圖像像素完全對應(yīng)的子帶 系數(shù)的位置，從而使特征提取和特征融合具有更好的性能；這使得NSCT應(yīng)用于人臉識別中能夠更好地提取圖像特征,擁有更高的識別正確率。由此NACLDPH算法有更高的識別率，充分挖掘人臉圖像結(jié)構(gòu)信息，對姿態(tài)、光照和表情等變化有較好魯棒性。

　　4 結(jié)論

     提出了一種NSCT與ACSLDP相結(jié)合的人臉識別方法。NSCT能很好地表達人臉圖像在不同尺度和不同方向上的特征，采用的ACSLDP能更多地保留特征信息，削弱外界因素的影響，表現(xiàn)出對光照、表情和姿態(tài)變化具有比較好的魯棒性。在ORL、YALE和CAS-PEAL-R1人臉庫上進行測試，實驗結(jié)果表明：NSCT+ACSLDP算法對姿態(tài)、光 照和表 情等變化有更強的魯棒性，取得較高的識別率，且特征維度較小，識別時間較少，證明NACLDPH算法的有效性。

　　參考文獻:

     [1] Lee C, Landgrebe D A. Feature extraction based on decision boundaries[J]. Pattern Analysis& Machine Intelligence IEEE Transactions on, 2018, 15(4):388-400.

　　[2] Jabid T, Kabir M H, Chae O. Local Directional Pattern (LDP) for face recognition[C]// Digestof Technical Papers International Conference on Consumer Electronics. IEEE, 2010:329-330.

　　[3] Li Z K, Ding L X, Wang Y, et al. Facial features based on the pattern of difference betweenlocal orientation said [J]. Journal of Software ,2015, 26(11):2912-2929.

　　李照奎, 丁立新, 王巖,何進榮,丁國輝. 基于差值局部方向模式的人臉特征表示[J]. 軟件學報, 2015,26(11):2912-2929.

　　[4] Wang X H, Li R J, Hu M, Ren F J. Occluded facial expression recognition based on thefusion of local features [J]. Journal of lmage and Graphics, 2016, 21 (11) :1473-1482.

　　王曉華，李瑞靜，胡敏，任福繼.融合局部特征的面部遮擋表情識別[J].中國圖象圖形學報,2016,21(11):1473-1482.

　　[5] Yang H X, Zhai Y L, Cai Y Y, et al Face recognition based on center-symmetric gradientmagnitude and phase pattern [J]. Journal of Optoelectronics·Laser, 2015(5):969-977.

　　楊恢先, 翟云龍, 蔡勇勇,等. 基于中心對稱梯度幅值相位模式的單樣本人臉識別[J]. 光電子·激光,2015(5):969-977.

　　[6] Amin M A, Yan H. Gabor and log-gabor wavelet for face recognition[J]. Advances in FaceImage Analysis Techniques & Technologies, 2011.

　　[7] Yang C L, Wang F, Xiao D. Contourlet transform-based structural similarity for image qualityassessment[C]// 2009 ieee international conference on intelligent computing and intelligentsystems. 2009:377-380.

　　[8] Zhang J, Face Recognition technology research based on nonsubsampled contourlettransform[D]. Beijing: Beijing University of Chemical Technology, 2011.

　　張軍. 基于非下采樣Contourlet變換的人臉識別技術(shù)研究[D].北京: 北京化工大學,2011.

　　[9] Perez C A, Cament L A, Castillo L E. Local matching Gabor entropy weighted facerecognition[C]// IEEE International Conference on Automatic Face & Gesture Recognition andWorkshops. IEEE, 2011:179-184.

　　[10] Huang H, Zheng X L. Hyperspectral image classification with combination of weightedspatial-spectral and KNN[J]. Optics & Precision Engineering, 2016,24(4):873-881.

　　黃鴻, 鄭新磊. 加權(quán)空-譜與最近鄰分類器相結(jié)合的高光譜圖像分類[J]. 光學精密工程, 2016, 24(4):873-881[11] Yang H X, Zhai Y L, Cai Y Y, et al. Face recognition based on NSSTand CSLDP[J]. Computer Engineering and Applications, 2016, 52(8):135-140.

　　楊恢先,翟云龍,蔡勇勇,等.NSST與CSLDP相結(jié)合的人臉識別[J].計算機工程與應(yīng)用,2016,52(08):135-140+239.

     本文來源于科技期刊《電子產(chǎn)品世界》2019年第5期第41頁，歡迎您寫論文時引用，并注明出處