如果使式(3)具有投影的意義，即z向量是y向量到x向量的方向上的投影，如圖4所示，那么必須使得|x|=1，即z=|y|cosθ。
現(xiàn)在考慮PCA變換矩陣W第一個(gè)向量


如果在條件|w1|=1使ξ1的方差達(dá)到最大，希望最大程度的保持樣本集x原有的差異(Variance)。也就是要的值最大。這成為了一個(gè)優(yōu)化問題。目標(biāo)函數(shù)是，條件是，使用拉格朗日乘數(shù)法

因此λ1是協(xié)方差矩陣M的一個(gè)特征值，w1是λ1對應(yīng)的特征向量。要使其方差最大，就必須使的值最大，因?yàn)?img onload="if(this.width>620)this.width=620;" onclick="window.open(this.src)" style="cursor:pointer" height="16" src="http://editerupload.eepw.com.cn/fetch/20131113/187681_2_9.jpg" width="50" border="0" alt="" />，所以，λ1應(yīng)是M矩陣的最大特征值。
現(xiàn)在考慮PCA變換矩陣WT第2到第m個(gè)向量，這里的向量是互不相關(guān)的，代表著不同的投影方向，這樣可以提取出不同的主特征。要滿足這個(gè)條件，考慮協(xié)方差矩陣M，它是對稱的陣，有多個(gè)特征值λi，i∈(1，n)，因此，轉(zhuǎn)換矩陣中w1，w2，…，wm應(yīng)該如下取值：首先求出M的特征向量和對應(yīng)的特征值，然后依據(jù)特征值排序?yàn)?lambda;1≥λ2≥…≥λn，它們對應(yīng)的特征向量分別為w1，w2，…，wn，則取最前面的m個(gè)向量w1，w2，…，wm組成PCA變換矩陣。
出于數(shù)值計(jì)算方面的考慮，通常不使用M矩陣求特征值，和特征值對應(yīng)的特征向量，而使用奇異值分解(SVD，Singular Value Decompo-sition)來計(jì)算前m個(gè)主方向。
1．3 SVD奇異值分解定理
SVD定理：設(shè)A是秩為r的nxr維的矩陣，則存在兩個(gè)正交矩陣：

由于M=AAT，其中，故構(gòu)造矩陣，M為訓(xùn)練樣本集中的樣本個(gè)數(shù)。容易求出其特征值λi及其相應(yīng)的特征向量vi(i=O，1，…，M-1)。由推論式可知，M的特征向量ui

1．4 LDA方法算法說明
LDA(Linear Discriminant Analysis)方法也稱為線性判別分析方法。它選擇與類內(nèi)散布的正交的矢量作為特征臉空間，從而能夠壓制圖像之間的與識別信息無關(guān)的差異，對光照及人臉表情變化都不太敏感。這種方法的最終目的就是找到一些特征使得類間離散度和類內(nèi)離散度的比值最大。

式中，Pi是先驗(yàn)概率，mi是Ci類的均值，m是所有樣本的均值。
如果Sw是非奇異矩陣，在投影以后，各類樣本之間盡可能的分開一些，即類間離散度越大越好，同時(shí)各類樣本的內(nèi)部盡量密集起來，即類內(nèi)離散度越小越好。因此可以定義Fisher準(zhǔn)則函數(shù)如下：