SFT-GAN、CSRCNN、CSNLN、HAN+、Config (f)…你都掌握了嗎？一文總結(jié)超分辨率分析必備經(jīng)典模型（三）-1
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對(duì)面交流
海量資料庫(kù)查詢(xún)
本文將分 3 期進(jìn)行連載，共介紹 16 個(gè)在超分辨率任務(wù)上曾取得 SOTA 的經(jīng)典模型。
第 1 期：SRCNN、DRCN、FSRCNN、ESPCN、SRGAN、RED
第 2 期：VDSR、DRRN、LapSRN、RCAN、DSRN
第 3 期：SFT-GAN、CSRCNN、CSNLN、HAN+、Config (f)
| SFT-GAN | https://sota.jiqizhixin.com/project/sft-gan 收錄實(shí)現(xiàn)數(shù)量：3 支持框架：PyTorch | Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform |
| CSRCNN | https://sota.jiqizhixin.com/project/csrcnn 收錄實(shí)現(xiàn)數(shù)量：1 支持框架：PyTorch | Cascade Convolutional Neural Network for Image Super-Resolution |
| CSNLN | https://sota.jiqizhixin.com/project/csnln 收錄實(shí)現(xiàn)數(shù)量：2 支持框架：PyTorch | Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining |
| HAN+ | https://sota.jiqizhixin.com/project/han-4 收錄實(shí)現(xiàn)數(shù)量：2 支持框架：PyTorch | Single Image Super-Resolution via a Holistic Attention Network |
| Config (f) | https://sota.jiqizhixin.com/project/config-f 收錄實(shí)現(xiàn)數(shù)量：1 支持框架：TensorFlow | One-to-many Approach for Improving Super-Resolution |
圖像超分辨率（Super Resolution，SR）是指從低分辨率（Low Resolution，LR）圖像中恢復(fù)高分辨率（High Resolution, HR）圖像的過(guò)程，是計(jì)算機(jī)視覺(jué)和圖像處理中一類(lèi)重要的圖像處理技術(shù)。SR在現(xiàn)實(shí)世界中有著廣泛的應(yīng)用，如醫(yī)療成像、監(jiān)控和安全等。除了提高圖像感知質(zhì)量外，SR還有助于改善其他計(jì)算機(jī)視覺(jué)任務(wù)。一般來(lái)說(shuō)，超分辨率分析是非常具有挑戰(zhàn)性的，而且本身就是一個(gè)難題，因?yàn)榭偸怯卸鄠€(gè)HR圖像對(duì)應(yīng)于一個(gè)LR圖像。在已有文獻(xiàn)中，研究人員提出了各種經(jīng)典的SR方法，包括基于預(yù)測(cè)的方法、基于邊緣的方法、統(tǒng)計(jì)方法、基于patch的方法和稀疏表示方法等。
近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，基于深度學(xué)習(xí)的SR模型得到了快速發(fā)展，并在SR的各種基準(zhǔn)上取得了最先進(jìn)的性能。各種各樣的深度學(xué)習(xí)方法已經(jīng)被應(yīng)用于SR任務(wù)，從早期的基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的方法到最近使用的生成對(duì)抗網(wǎng)絡(luò)的SR方法。一般來(lái)說(shuō)，使用深度學(xué)習(xí)技術(shù)的SR方法在以下主要方面有所不同：不同類(lèi)型的網(wǎng)絡(luò)架構(gòu)、不同類(lèi)型的損失函數(shù)、不同類(lèi)型的學(xué)習(xí)原理和策略等。
超分辨率分析可以分為視頻超分辨率VSR(Video Super Resolution) 和單幀超分辨率SISR(Single Image Super Resolution)，本文重點(diǎn)關(guān)注單幀超分辨率分析方法。本文聚焦于深度學(xué)習(xí)技術(shù)，回顧SISR中必備的TOP模型。
本文是cvpr2018的圖像超分辨率論文，引入了圖像的分割掩碼作為超分辨率的先驗(yàn)特征條件，即SFT layers。具體的，文章提出了使用先驗(yàn)類(lèi)別信息來(lái)解決超分辨率紋理不真實(shí)的問(wèn)題，就是在超分辨率的合成中使用語(yǔ)義圖，語(yǔ)義圖的生成使用了圖像分割網(wǎng)絡(luò)。文章探討了不同分辨率下的語(yǔ)義分割的誤差，比較后發(fā)現(xiàn)其實(shí)高低分辨率圖像對(duì)于分割的精度影響不大。整個(gè)模型的架構(gòu)如圖1。
圖1 SFT layer可以方便地應(yīng)用于現(xiàn)有的SR網(wǎng)絡(luò)。所有的SFT layer共享一個(gè)條件網(wǎng)絡(luò)。條件網(wǎng)絡(luò)的作用是從先驗(yàn)中產(chǎn)生中間條件，并將條件廣播給所有的SFT layers，以便進(jìn)一步產(chǎn)生調(diào)制參數(shù)
如圖1，模型有兩個(gè)輸入，一個(gè)是低分辨率圖像，另一個(gè)是分割語(yǔ)義圖，分割語(yǔ)義圖經(jīng)過(guò)condition network 生成conditions feature map ，值得注意的是整個(gè)網(wǎng)絡(luò)每一層的conditions feature map 都是共享的，而SFT layer是不共享的。這就相當(dāng)于每隔一個(gè)卷積層就有一個(gè)conditions 的SFT layer。
SRGAN總體公式如下：
模型可分為生成和鑒別兩部分。其中，生成器Gθ由兩部分組成：條件網(wǎng)絡(luò)和SR網(wǎng)絡(luò)。條件網(wǎng)絡(luò)將分割概率圖作為輸入，然后由四個(gè)卷積層處理。它生成所有SFT層共享的中間條件。為了避免一個(gè)圖像中不同分類(lèi)區(qū)域的干擾，通過(guò)對(duì)所有卷積層使用1×1的核來(lái)限制條件網(wǎng)絡(luò)的感受野。SR網(wǎng)絡(luò)由16個(gè)殘差塊構(gòu)建，具有所提出的SFT層，其以共享?xiàng)l件作為輸入并學(xué)習(xí)（γ，β）以通過(guò)應(yīng)用仿射變換來(lái)調(diào)制特征圖。引入Skip connection用于簡(jiǎn)化深度CNN的訓(xùn)練。通過(guò)使用最近鄰上采樣后跟一個(gè)卷積層來(lái)上采樣特征。上采樣操作在網(wǎng)絡(luò)的后半部分中執(zhí)行，因此大多數(shù)計(jì)算在LR空間中完成。
對(duì)于鑒別器Dη，應(yīng)用VGG來(lái)逐漸減小空間維度。鑒別器不僅可以區(qū)分輸入是真的還是假的，還可以預(yù)測(cè)輸入屬于哪個(gè)類(lèi)別。
SFT layer 是一個(gè)小型的network 用于生成不同層的condition 信息。SFT layer 有兩個(gè)輸入，一個(gè)是condition network 的輸出conditions，另一個(gè)則是上一層的輸出F。conditions 計(jì)算出γ, β ，繼而計(jì)算出整個(gè)SFT layer的輸出，而整個(gè)SFT layer又作為下一層的輸入。
最后，有兩個(gè)目標(biāo)函數(shù)，一個(gè)是vgg感知loss ，另一個(gè)是鑒別器的loss：
當(dāng)前SOTA！平臺(tái)收錄SFT-GAN共3個(gè)模型實(shí)現(xiàn)。
| SFT-GAN | 前往 SOTA！模型平臺(tái)獲取實(shí)現(xiàn)資源：https://sota.jiqizhixin.com/project/sft-gan |
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。
