來(lái)自蘇黎世聯(lián)邦理工學(xué)院計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)室的研究者提出了一種統(tǒng)一框架 HCFlow，該框架可以同時(shí)處理圖像超分辨率和圖像再縮放，并在通用圖像超分辨率、人臉圖像超分辨率和圖像再縮放上等任務(wù)上取得了最佳結(jié)果。該論文已被 ICCV2021 接收。

近年來(lái)，歸一化流（Normalizing Flow）模型在圖像超分辨率（image SR）[SRFlow, ECCV2020]和圖像再縮放（image rescaling）[IRN, ECCV2020]任務(wù)上取得了驚人的效果。盡管這兩個(gè)任務(wù)有本質(zhì)的不同，但都具有高度的相似性?；谝陨蟽蓚€(gè)工作，來(lái)自蘇黎世聯(lián)邦理工學(xué)院計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)室的研究者提出了 HCFlow，使用一個(gè)統(tǒng)一的框架處理圖像超分辨率和圖像再縮放，并在通用圖像超分辨率、人臉圖像超分辨率和圖像再縮放上等任務(wù)上取得了最佳結(jié)果。該論文已被 ICCV2021 接收。

論文地址: https://arxiv.org/abs/2108.05301

Github 地址: https://github.com/JingyunLiang/HCFlow 

摘要

近期，歸一化流（Normalizing Flow）模型在底層視覺(jué)領(lǐng)域取得了驚人的效果。在圖像超分辨率上（image SR），可以用來(lái)從低分辨率圖像中預(yù)測(cè)出細(xì)節(jié)不同的高質(zhì)量高分辨率（?diverse photo-realistic）圖像。在圖像再縮放（image rescaling）上，可以用來(lái)聯(lián)合建模下采樣和上采樣過(guò)程，從而提升性能。

本文提出了一個(gè)統(tǒng)一的框架 HCFlow，可以用于處理這兩個(gè)問(wèn)題。具體而言，HCFlow 通過(guò)對(duì)低分辨率圖像和丟失的高頻信息進(jìn)行概率建模，在高分辨率和低分辨率圖像之間學(xué)習(xí)一個(gè)雙射（bijection）。其中，高頻信息的建模過(guò)程以一種多層級(jí)的方式條件依賴于低分辨率圖像。在訓(xùn)練中，該研究使用最大似然損失函數(shù)進(jìn)行優(yōu)化，并引入了感知損失函數(shù)（perceptual loss）和生成對(duì)抗損失函數(shù)（GAN loss）等進(jìn)一步提升模型效果。

實(shí)驗(yàn)結(jié)果表明，HCFlow 在通用圖像超分辨率、人臉圖像超分辨率和圖像再縮放等任務(wù)上取得了最佳的結(jié)果。

 圖像超分辨率 v.s. 圖像再縮放

圖像超分辨率的目標(biāo)是從低分辨率圖像中重建出高分辨率圖像。低分辨率圖像空間一般是給定的。例如，雙三次降采樣 （bicubic downsampling）圖像。

圖像再縮放的目標(biāo)是將高分辨率圖像下采樣到視覺(jué)效果較好的低分辨率圖像，并且保證可以很好地恢復(fù)出原本的高分辨率圖像。與圖像超分任務(wù)不同，圖像再縮放中低分辨率圖像空間是可以自己定義的。它的主要應(yīng)用場(chǎng)景是減少圖像存儲(chǔ)和帶寬。

方法

 歸一化流簡(jiǎn)單介紹

歸一化流（Normalizing Flow）模型致力于在目標(biāo)空間（例如高分辨率圖像 x）和隱空間（例如服從高斯分布的隱變量 z）之間學(xué)習(xí)一個(gè)雙射。它的模型結(jié)構(gòu)通常是由多層可逆變換組成的一個(gè)可逆神經(jīng)網(wǎng)絡(luò)（invertible neural network）：

根據(jù)變量變換公式（change of variable formula）和鏈?zhǔn)椒▌t，模型參數(shù)可以通過(guò)下面的最大似然損失函數(shù)進(jìn)行優(yōu)化：

更多入門信息可以參考：

RealNVP論文：https://arxiv.org/abs/1605.08803

Glow論文：https://arxiv.org/abs/1807.03039

Eric Jang博客：https://blog.evjang.com/2018/01/nf1.html

滑鐵盧大學(xué)CS480：https://www.youtube.com/watch?v=3KUvxIOJD0k

低分辨率圖像空間建模

圖像超分辨率和圖像再縮放任務(wù)實(shí)際上都有一個(gè)圖像退化（降采樣）和圖像超分（上采樣）的過(guò)程?；跉w一化流模型，該研究可以在高分辨率圖像 x 和低分辨率圖像 y 以及一個(gè)編碼高頻信息的隱變量 a 之間學(xué)習(xí)一個(gè)可逆雙射變換。由于直接對(duì)自然圖像進(jìn)行概率建模是很難的，該研究設(shè)計(jì)了一個(gè)基于真實(shí)低分辨率圖像 y * 的條件分布模型：

理想情況下，研究者希望 y 和 y * 越接近越好，所以他們將 p(y|y*)表示為狄拉克函數(shù)，并通過(guò)一個(gè)具有極小方差的高斯分布來(lái)近似表示 p(y|y*)：

由于高頻信息 p(a|y)可以通過(guò)另一個(gè)歸一化流模型變換為一個(gè)高斯分布 p(z)，整個(gè)模型可以定義為：

這樣，高分辨率圖像 x 就可以通過(guò)一個(gè)可逆神經(jīng)網(wǎng)絡(luò)變換為低分辨率圖像 y 和編碼高頻信息的隱變量 z，且都服從參數(shù)已知的高斯分布。因此，我們可以方便地通過(guò)計(jì)算最大似然損失函數(shù)來(lái)優(yōu)化模型。

 多層級(jí)網(wǎng)絡(luò)結(jié)構(gòu)

為了更好地建模低分辨率圖像和高頻信息之間的關(guān)系（即 p(a|y)），該研究進(jìn)一步提出了一個(gè)多層級(jí)條件依賴建?？蚣?。在保持整體網(wǎng)絡(luò)可逆性的條件下，逐步恢復(fù)高頻信息，重建出高分辨率圖像。如下圖所示，歸一化流的前向過(guò)程類似于二叉樹(shù)的深度優(yōu)先遍歷，而反向過(guò)程則從最深層逐步計(jì)算至第一層。y 和 a 分別代表各層的低頻和高頻信息，數(shù)字代表計(jì)算順序，藍(lán)色箭頭代表?xiàng)l件依賴關(guān)系。

具體的網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。

實(shí)驗(yàn)

 圖像超分辨率

該研究使用最大似然損失函數(shù)訓(xùn)練模型，并使用 L1 損失函數(shù)，感知損失函數(shù)（perceptual loss）和生成對(duì)抗損失函數(shù)（GAN loss）進(jìn)一步提升模型效果。在參數(shù)量下降 1/3 的情況下，HCFlow 在通用圖像超分辨率和人臉圖像超分辨率上，都取得了最佳的結(jié)果。在不同的隨機(jī)采樣中，可以生成細(xì)節(jié)不同的高質(zhì)量高分辨率圖像。值得注意的是，與 基于 GAN 的模型類似，基于歸一化流的模型主要關(guān)注視覺(jué)效果，PSNR 通常有所下降。

圖像再縮放

由于圖像再縮放通常不關(guān)注重建結(jié)果的多樣性，HCFlow 采用與 IRN （ECCV2020）一致的訓(xùn)練策略，將前向過(guò)程和反向過(guò)程分別視為編碼和解碼過(guò)程。訓(xùn)練損失函數(shù)包括在高分辨率圖像和低分辨率圖像上的 L1 損失函數(shù)，以及在隱變量上的約束。在相近的模型參數(shù)量下，取得了 0.10-0.34dB 的提升。

更多的模型細(xì)節(jié)請(qǐng)閱讀 [論文原文] 和已開(kāi)源的[代碼]。