現(xiàn)階段的人臉檢測識別技術(shù)已經(jīng)特別成熟，不管在什么領(lǐng)域都有特別成熟的應(yīng)用，比如：無人超市、車站檢測、犯人抓捕以及行跡追蹤等應(yīng)用。但是，大多數(shù)應(yīng)用都是基于大量數(shù)據(jù)的基礎(chǔ)，成本還是非常昂貴。所以人臉識別的精度還是需要進一步提升，那就要繼續(xù)優(yōu)化更好的人臉識別框架。

論文：https://arxiv.org/pdf/2103.14803.pdf

一、技術(shù)回顧——Transformer

相比于卷積，Transformer有什么區(qū)別，優(yōu)勢在哪？

卷積有很強的歸納偏見（例如局部連接性和平移不變性），雖然對于一些比較小的訓(xùn)練集來說，這毫無疑問是有效的，但是當我們有了非常充足的數(shù)據(jù)集時，這些會限制模型的表達能力。與CNN相比，Transformer的歸納偏見更少，這使得他們能夠表達的范圍更廣，從而更加適用于非常大的數(shù)據(jù)集；

卷積核是專門設(shè)計用來捕捉局部的時空信息，它們不能夠?qū)Ω惺芤爸獾囊蕾囆赃M行建模。雖然將卷積進行堆疊，加深網(wǎng)絡(luò)會擴大感受野，但是這些策略通過聚集很短范圍內(nèi)的信息的方式，仍然會限制長期以來的建模。與之相反，自注意力機制通過直接比較在所有時空位置上的特征，可以被用來捕捉局部和全局的長范圍內(nèi)的依賴；

當應(yīng)用于高清的長視頻時，訓(xùn)練深度CNN網(wǎng)絡(luò)非常耗費計算資源。目前有研究發(fā)現(xiàn)，在靜止圖像的領(lǐng)域中，Transformer訓(xùn)練和推導(dǎo)要比CNN更快。使得能夠使用相同的計算資源來訓(xùn)練擬合能力更強的網(wǎng)絡(luò)。

二、簡要

最近，人們不僅對Transformer的NLP，而且對計算機視覺也越來越感興趣。我們想知道Transformer是否可以用于人臉識別，以及它是否比cnns更好。

因此，有研究者研究了Transformer模型在人臉識別中的性能?？紤]到原始Transformer可能忽略inter-patch信息，研究者修改了patch生成過程，使相互重疊的滑動塊成為標識。這些模型在CASIA-WebFace和MSSeleb-1M數(shù)據(jù)庫上進行訓(xùn)練，并在幾個主流基準上進行評估，包括LFW、SLLFW、CALFW、CPLFW、TALFW、CFP-FP、AGEDB和IJB-C數(shù)據(jù)庫。研究者證明了在大規(guī)模數(shù)據(jù)庫MS-Celeb-1M上訓(xùn)練的人臉Transformer模型實現(xiàn)了與CNN具有參數(shù)和MACs相似數(shù)量的CNN相似的性能。

二、FACE TRANSFORMER

2.1 網(wǎng)絡(luò)框架愛

人臉Transformer模型采用ViT[A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly et al., “An image is worth 16x16 words: Transformers for image recognition at scale,” arXiv preprint arXiv:2010.11929]體系結(jié)構(gòu)，采用原Transformer。唯一的區(qū)別是，研究者修改了ViT的標記生成方法，以生成具有滑動塊的標記，即使圖像塊重疊，以便更好地描述塊間信息，如下圖所示。

具體地說，從圖像

*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權(quán)請聯(lián)系工作人員刪除。