作者丨好困

來(lái)源丨新智元編輯丨極市平臺(tái)

導(dǎo)讀

 

本文為CVPR 2022 ActivityNet競(jìng)賽冠軍的方案詳解，該方案主要解決真實(shí)監(jiān)控場(chǎng)景下的低分辨率行為識(shí)別。

前言

安防監(jiān)控是智慧城市的重要組成部分。然而，在城市監(jiān)控場(chǎng)景下，行人目標(biāo)往往距離攝像頭遠(yuǎn)，所占像素小，這為理解目標(biāo)的行為帶來(lái)了很大挑戰(zhàn)。為此，CVPR 2022 ActivityNet: Tiny Actions Challenge引入了TinyVIRAT低分辨率行為識(shí)別視頻數(shù)據(jù)集。該數(shù)據(jù)集從監(jiān)控?cái)z像頭上截取視頻，沒(méi)有包含任何人為的下采樣和降質(zhì)處理，填補(bǔ)了真實(shí)場(chǎng)景下的低分辨率行為識(shí)別數(shù)據(jù)的空白。TinyVIRAT數(shù)據(jù)集共有訓(xùn)練數(shù)據(jù)16950個(gè)、驗(yàn)證數(shù)據(jù)3308個(gè)、測(cè)試數(shù)據(jù)6097個(gè)，平均每個(gè)視頻數(shù)據(jù)長(zhǎng)度在3秒左右。這些低分辨視頻數(shù)據(jù)的分辨率從10x10像素到128x128像素不等，一共包含26種行為標(biāo)簽，包含人體動(dòng)作和汽車(chē)等交通工具行駛相關(guān)的類(lèi)別[4]。圖1 TinyVIRAT低分辨行為識(shí)別數(shù)據(jù)集示例這個(gè)數(shù)據(jù)集存在兩個(gè)主要的識(shí)別難點(diǎn)：

1. 目標(biāo)離攝像頭的距離很遠(yuǎn)，分辨率很低，行為細(xì)節(jié)模糊；

2. 數(shù)據(jù)集呈現(xiàn)嚴(yán)重的類(lèi)別不平衡現(xiàn)象。圖2展示了TinyVIRAT訓(xùn)練集的樣本比例分布。

圖2 TinyVIRAT訓(xùn)練集樣本分布比例圖為了解決上述問(wèn)題，我們采用了如圖3所示識(shí)別流程：

1. 通過(guò)精選識(shí)別骨干網(wǎng)絡(luò)并進(jìn)行數(shù)據(jù)增強(qiáng)和平衡來(lái)減輕數(shù)據(jù)集的過(guò)擬合；

2. 設(shè)計(jì)了高低分雙模態(tài)行為識(shí)別框架，通過(guò)高分辨率識(shí)別網(wǎng)絡(luò)的知識(shí)指導(dǎo)低分辨率行為識(shí)別網(wǎng)絡(luò)的訓(xùn)練；

3. 進(jìn)行模型融合和后處理應(yīng)對(duì)數(shù)據(jù)集的類(lèi)別不均衡現(xiàn)象。

圖3 低分辨率行為識(shí)別方案流程圖

骨干網(wǎng)絡(luò)選擇和數(shù)據(jù)增強(qiáng)

本方案中，我們選用魯棒高效的視頻表征模型ir-CSN-ResNet[1]和 Uniformer-Base[2]作為骨干網(wǎng)絡(luò)。這兩個(gè)網(wǎng)絡(luò)都包含時(shí)空建模的輕量化設(shè)計(jì)，在TinyVIRAT數(shù)據(jù)集上的識(shí)別結(jié)果較好，過(guò)擬合程度較低。圖4 Uniformer/CSN 行為識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)示意圖由于本數(shù)據(jù)集是真實(shí)場(chǎng)景下的低分辨率數(shù)據(jù)集，直接使用這兩種網(wǎng)絡(luò)效果并不是很好，需要進(jìn)行額外的參數(shù)設(shè)置。在訓(xùn)練和測(cè)試的過(guò)程中，我們把每個(gè)視頻平均分成16份，在每一份隨機(jī)選擇一幀得到視頻采樣數(shù)據(jù)。為了緩解數(shù)據(jù)集類(lèi)別不平衡的現(xiàn)象，我們選出了訓(xùn)練集中的長(zhǎng)尾類(lèi)別數(shù)據(jù)，把它們進(jìn)行水平翻轉(zhuǎn)擴(kuò)充數(shù)據(jù)量。如表1所示，這兩種額外設(shè)置提升了Baseline結(jié)果。表1 視頻骨干網(wǎng)絡(luò)和主要訓(xùn)練設(shè)定實(shí)驗(yàn)結(jié)果

高低分雙模態(tài)行為識(shí)別框架

如上所述，TinyVIRAT這個(gè)低分辨率數(shù)據(jù)集常常無(wú)法清晰的顯示行為主體的動(dòng)作細(xì)節(jié)。為了降低數(shù)據(jù)的噪聲，增強(qiáng)部分動(dòng)作細(xì)節(jié)，我們提出一種高低分雙模態(tài)模型蒸餾訓(xùn)練框架，該框架以高分辨率視頻知識(shí)作為引導(dǎo)，提升低分辨率目標(biāo)行為的識(shí)別精度。訓(xùn)練框架流程圖如圖5所示：圖5 高低分雙模態(tài)模型蒸餾訓(xùn)練框架首先，我們應(yīng)用預(yù)訓(xùn)練的RealBasicVSR[3]視頻超分辨率模型，將低分辨率視頻轉(zhuǎn)化成分辨率較高、動(dòng)作細(xì)節(jié)較為清晰的訓(xùn)練數(shù)據(jù)，如圖6所示。以這些視頻為基礎(chǔ)，我們可以訓(xùn)練高分辨率視頻的特征提取網(wǎng)絡(luò)。圖6 超分辨率數(shù)據(jù)和源數(shù)據(jù)對(duì)比圖第二，對(duì)每一個(gè)低分辨率訓(xùn)練視頻，我們把它相對(duì)應(yīng)的高分辨率視頻送到高分辨率特征提取模型中，得到高分辨率分支的類(lèi)別預(yù)測(cè)分?jǐn)?shù)（圖5上方分支）。同時(shí)，我們也把原有的低分辨視頻送到低分辨率分支（圖5下方分支），得到相應(yīng)的類(lèi)別預(yù)測(cè)分?jǐn)?shù)。第三，我們使用兩種監(jiān)督信號(hào)進(jìn)行模型訓(xùn)練，使得高分辨率網(wǎng)絡(luò)的知識(shí)能夠指導(dǎo)低分辨率模型的學(xué)習(xí)。損失函數(shù)如式所示： 指的是知識(shí)蒸餾損失（例如MSE損失）， p代表低分辨率分支的預(yù)測(cè)向量，  代表高分辨率分 支得到的額外知識(shí)。 是預(yù)測(cè)向量和真實(shí)標(biāo)簽的交叉熵?fù)p失。消融實(shí)驗(yàn)結(jié)果如表2所示。表中2021 TinyAction Top1 Model指的是2021年ActivityNet Tiny Actions Challenge的最佳團(tuán)隊(duì)模型[4]，它在TinyVIRAT數(shù)據(jù)集上的識(shí)別F1 Score為0.478。表中ir-CSN表示用低分辨率數(shù)據(jù)直接訓(xùn)練得到的模型，ir-CSN(SR)表示用超分辨率后的數(shù)據(jù)訓(xùn)練得到模型，ir-CSN(SR+KD)指的是用高低分雙模態(tài)模型蒸餾機(jī)制訓(xùn)練得到的模型。ir-CSN(SR+KD)模型取得了最佳的提交結(jié)果，在單模型上比去年的最佳方案提升了1.4%。表2 高低分雙模態(tài)蒸餾框架消融實(shí)驗(yàn)結(jié)果

后處理與模型融合

該數(shù)據(jù)集的長(zhǎng)尾效應(yīng)比較嚴(yán)重。為此，我們?cè)O(shè)計(jì)后處理與模型融合方案，進(jìn)一步提升長(zhǎng)尾類(lèi)別的識(shí)別準(zhǔn)確率。第一，我們發(fā)現(xiàn)，訓(xùn)練初期得到的模型在長(zhǎng)尾類(lèi)別的識(shí)別上比經(jīng)過(guò)充分訓(xùn)練的模型效果好。因此，對(duì)于每一個(gè)網(wǎng)路結(jié)構(gòu)，我們會(huì)選用多個(gè)不同訓(xùn)練階段的模型。經(jīng)過(guò)大量消融實(shí)驗(yàn)和提交，我們最終選用12個(gè)模型進(jìn)行融合。第二，為了進(jìn)一步提高F1-Score，我們?yōu)樗械淖R(shí)別類(lèi)別設(shè)定識(shí)別閾值。樣本數(shù)目大的類(lèi)別應(yīng)用較大的閾值，長(zhǎng)尾類(lèi)別設(shè)定較小的閾值。最后，我們采用類(lèi)別的先驗(yàn)知識(shí)輔助模型融合，進(jìn)一步提升長(zhǎng)尾類(lèi)別的識(shí)別精度。例如，我們借鑒2021年DeepBlue AI冠軍團(tuán)隊(duì)的后處理方法[4]，利用互斥標(biāo)簽輔助判定。假設(shè)texting_phone和talking_phone兩種互斥類(lèi)別的預(yù)測(cè)分?jǐn)?shù)都高過(guò)設(shè)定閾值，只選擇預(yù)測(cè)分?jǐn)?shù)較高的那個(gè)類(lèi)。經(jīng)過(guò)模型融合與后處理，我們最終取得0.883的F1 Score，如表3所示。在榜單上排名第1。表3 模型融合和后處理最終結(jié)果比賽結(jié)果鏈接：https://codalab.lisn.upsaclay.fr/competitions/1832#results

實(shí)驗(yàn)總結(jié)與展望

本方案中，我們重點(diǎn)解決真實(shí)監(jiān)控場(chǎng)景下的低分辨率行為識(shí)別，主要的方案總結(jié)為以下三點(diǎn)：

1. 選擇了魯棒高效的行為識(shí)別骨干網(wǎng)絡(luò)，對(duì)長(zhǎng)尾數(shù)據(jù)進(jìn)行平衡和增強(qiáng)；

2. 提出了高低分雙模態(tài)行為識(shí)別訓(xùn)練框架，用超分辨率網(wǎng)絡(luò)知識(shí)指導(dǎo)低分辨率行為識(shí)別；

3. 設(shè)計(jì)面向長(zhǎng)尾類(lèi)別的模型融合和后處理方案。

關(guān)于低分辨率行為識(shí)別相關(guān)技術(shù)的應(yīng)用范圍較為廣泛。在視頻輔助裁判方面，該技術(shù)對(duì)真實(shí)情況下分辨率較低的場(chǎng)景具有一定的數(shù)據(jù)增強(qiáng)和識(shí)別能力，可以輔助判斷一些離攝像機(jī)很遠(yuǎn)的動(dòng)作類(lèi)別，減少因攝像機(jī)遠(yuǎn)或者模糊導(dǎo)致的誤判。在面對(duì)龐大的低分辨視頻數(shù)據(jù)庫(kù)時(shí)，該技術(shù)可以對(duì)低分辨率視頻進(jìn)行分類(lèi)，方便搜索引擎搜索。在智能安防領(lǐng)域，此技術(shù)可以輔助監(jiān)控遠(yuǎn)離攝像頭的一些模糊信息，減少監(jiān)控探頭的監(jiān)控死角。綜上所述，本文提出的低分辨率行為識(shí)別技術(shù)在現(xiàn)實(shí)生活中具有較為廣泛的應(yīng)用價(jià)值。參考資料：1. Tran D, Wang H, Torresani L, et al. A closer look at spatiotemporal convolutions for action recognition[C]//Proceedings of the IEEE conference on Computer Vision and Pattern Recognition. 2018: 6450-6459.2. Li K, Wang Y, Zhang J, et al. UniFormer: Unifying Convolution and Self-attention for Visual Recognition[C]// In Inter-national Conference on Learning Representations, 20223. Chan K C K, Zhou S, Xu X, et al. Investigating Tradeoffs in Real-World Video Super-Resolution[J]. arXiv preprint arXiv:2111.12704, 2021.4. Tirupattur P, Rana A J, Sangam T, et al. TinyAction Challenge: Recognizing Real-world Low-resolution Activities in Videos[J]. arXiv preprint arXiv:2107.11494, 2021.

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪文。

*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。