01

02

論文鏈接：https://yudeng.github.io/GRAM/
傳統(tǒng)的生成對抗網(wǎng)絡(luò)（GAN）已經(jīng)具備生成以假亂真二維圖像的能力。但它們并不考慮生成圖像中物體背后的三維幾何性質(zhì)，因此無法生成物體的多視角圖像。近兩年，一些能夠?qū)崿F(xiàn)三維視角控制的生成對抗網(wǎng)絡(luò)逐漸出現(xiàn)。給定一類物體的單視角圖像集作為訓(xùn)練數(shù)據(jù)，這些方法可以利用圖像上的對抗學(xué)習(xí)過程生成物體的多視角圖像。實(shí)現(xiàn)這一點(diǎn)的關(guān)鍵因素是將物體的三維表達(dá)與圖像生成過程相結(jié)合，其中最先進(jìn)的方法利用了神經(jīng)輻射場（NeRF）作為物體表達(dá)。
然而，已有的、基于 NeRF 的生成對抗網(wǎng)絡(luò)的圖像生成質(zhì)量與傳統(tǒng)的二維圖像生成對抗網(wǎng)絡(luò)仍有較大的差距。研究員們觀察到，造成這一問題的一個(gè)重要原因是 NeRF 的體渲染過程與對抗學(xué)習(xí)過程相結(jié)合時(shí)內(nèi)存開銷較大，限制了體渲染時(shí)每條光線允許的采樣點(diǎn)個(gè)數(shù)。在采樣點(diǎn)數(shù)量有限時(shí)，NeRF 表征不能有效的處理物體的精細(xì)幾何紋理，且其渲染圖像中含有明顯的噪聲圖案，嚴(yán)重影響了對抗學(xué)習(xí)過程的穩(wěn)定性。
本文提出了一種新型的神經(jīng)輻射流形表達(dá)來解決 NeRF 與對抗學(xué)習(xí)結(jié)合時(shí)的上述問題。神經(jīng)輻射流形將輻射場的學(xué)習(xí)與圖像渲染時(shí)的采樣點(diǎn)限制在三維空間中的一簇二維曲面流形上，有助于網(wǎng)絡(luò)在曲面上學(xué)習(xí)物體的精細(xì)結(jié)構(gòu)，并有效避免了圖像渲染時(shí)的噪聲圖案。實(shí)驗(yàn)表明，基于神經(jīng)輻射流形表征，研究員們極大地提高了生成圖像的真實(shí)感與其視角變化下的三維一致性。
圖2：基于神經(jīng)輻射流形的圖像生成過程示意圖

03

 論文鏈接：https://www.microsoft.com/en-us/research/publication/styleswin-Transformer-based-gan-for-high-resolution-image-generation/
以生成對抗網(wǎng)絡(luò)為代表的圖像生成模型在過去幾年間取得了巨****展。其早期的研究主要集中在讓對抗訓(xùn)練更加穩(wěn)定，而近年來生成質(zhì)量的突破則主要受益于更具表達(dá)能力的網(wǎng)絡(luò)的提出，如引入注意力機(jī)制、采用更大的網(wǎng)絡(luò)以及 Style-based 生成器。
近期，Transformer 獲得了極大的關(guān)注，并在一系列判別任務(wù)中取得巨大成功。受此啟發(fā)，微軟亞洲研究院的研究員們嘗試探究 Transformer 的一系列優(yōu)異特性，尤其是長距離建模能力，是否對生成任務(wù)也有幫助。而構(gòu)建基于 Transformer 的生成器網(wǎng)絡(luò)，就需要克服在高分辨率圖像生成時(shí)計(jì)算復(fù)雜度過高的問題。為此研究員們采用了微軟亞洲研究院提出的 Swin Transformer 作為基本模塊，以在計(jì)算復(fù)雜度和模型表達(dá)能力間取得良好的平衡。
研究員們還進(jìn)一步提出了若干改進(jìn)，使得 Swin Transformer 可以更好的適配圖像生成任務(wù)。首先，整個(gè)生成器采用了 Style-based 結(jié)構(gòu)，并探究若干種適于 Transformer 模塊的風(fēng)格注入機(jī)制。其次，研究員們提出用 double attention 來代替 Swin Transformer 中的重疊窗口，使得每一層 Transformer 模塊有更大的注意力范圍。此外，研究員們指出對于生成模型，有必要同時(shí)采用相對位置編碼和絕對位置編碼。
圖3：（左）StyleSwin 網(wǎng)絡(luò)結(jié)構(gòu)，（右）256x256生成結(jié)果穩(wěn)定超越 StyleGAN
更重要的，研究員們發(fā)現(xiàn)局部窗口內(nèi)計(jì)算注意力會有產(chǎn)生類似于 DCT 壓縮時(shí)的塊狀瑕疵（blocking artifact），這個(gè)問題僅在生成任務(wù)中才會被注意到。為此，研究員們提出了基于小波變換的判別器模型在頻域空間識別這種塊狀瑕疵的方法，有效提升了肉眼感知下的生成質(zhì)量。
本文提出的 StyleSwin 在若干數(shù)據(jù)集，F(xiàn)FHQ, CelebA-HQ, LSUN church, LSUN car等標(biāo)準(zhǔn)數(shù)據(jù)集上都取得了有競爭力的生成質(zhì)量。在256x256分辨率上，StyleSwin 超越了現(xiàn)有所有 GAN 的方法，在1024x1024分辨率上取得和 StyleGAN2 相當(dāng)?shù)膱D像質(zhì)量。本文的意義在于首次驗(yàn)證了 Transformer 模型在高分辨率、高質(zhì)量圖像生成任務(wù)中的有效性，對生成網(wǎng)絡(luò)基礎(chǔ)網(wǎng)絡(luò)的發(fā)展做出了新的啟發(fā)。

04

論文鏈接：https://arxiv.org/abs/2111.14822
文本到圖像的生成是近些年來的一個(gè)熱點(diǎn)生成問題。之前的相關(guān)工作主要分為生成對抗網(wǎng)絡(luò)和自回歸模型兩大類。生成對抗網(wǎng)絡(luò)受限于擬合能力，往往只能擬合單個(gè)場景或者類別的圖像。自回歸模型則將圖像生成問題轉(zhuǎn)換成了序列化生成問題，然而，該方法具有單向偏差、誤差累積的問題，并且生成圖像的速度較慢。本文提出了一種新型生成模型，量化去噪擴(kuò)散模型（VQ-Diffusion），該方法能很好地解決以上問題。具體來說，該方法首先利用矢量量化變分自編碼器（VQVAE）將圖像編碼成離散編碼，再利用條件化的去噪擴(kuò)散模型（DDPM）擬合隱空間的分布。
與連續(xù)空間的量化去噪模型不同，為了擬合離散的數(shù)據(jù)分布，研究員們利用概率轉(zhuǎn)移矩陣而不是高斯噪聲，在去噪擴(kuò)散模型的加噪步驟中對目標(biāo)分布加噪。具體來說，本文提出了遮擋與替換的加噪策略，可以成功地避免誤差累積的問題。此外，通過利用雙向注意力機(jī)制進(jìn)行去噪，該方法避免了單向偏差的問題。本文還提出了給離散擴(kuò)散模型加上重參數(shù)化技巧，從而有效地平衡生成速度和圖像質(zhì)量。量化去噪擴(kuò)散模型的示意圖如圖4所示：
圖4：VQ-Diffusion 的算法流程圖
本文在很多文本到圖像生成的數(shù)據(jù)集上做了實(shí)驗(yàn)，包括 CUB-200，Oxford-102，以及 MSCOCO。與自回歸模型相比，采用相似參數(shù)量時(shí)，量化擴(kuò)散模型能在生成速度快15倍的情況下，獲得更好的生成結(jié)果。與之前基于生成對抗網(wǎng)絡(luò)的文本到圖像生成的方法相比，該算法則能處理更復(fù)雜的場景，極大提升生成圖像的質(zhì)量。此外，該方法還具有普適性，可用于無條件圖像生成（如 FFHQ）和條件圖像生成（如 ImageNet）。

05

06

論文鏈接：https://arxiv.org/abs/2203.07004
作為一種自監(jiān)督學(xué)習(xí)方法，對比學(xué)習(xí)近年來被當(dāng)作預(yù)訓(xùn)練的主要方法廣泛應(yīng)用于視頻和圖像領(lǐng)域。由于對比學(xué)習(xí)使用數(shù)據(jù)的不同“視角”互相監(jiān)督，學(xué)習(xí)到的數(shù)據(jù)表示往往只包含“視角”之間的的共享信息，而排斥它們的非共享信息。換言之，對比學(xué)習(xí)最終的結(jié)果是學(xué)習(xí)到了不同“視角”之間的最小充分表示。這樣就產(chǎn)生了一個(gè)疑問——被排斥掉的非共享信息是不是包含對下游任務(wù)有貢獻(xiàn)的內(nèi)容？由于“視角”的產(chǎn)生高度依賴增強(qiáng)方法，而下游任務(wù)相關(guān)的信息在預(yù)訓(xùn)練階段往往是缺失的，所以從直觀上看這種可能性的確存在。
通過從信息論方面進(jìn)行嚴(yán)謹(jǐn)?shù)耐评碜C明和實(shí)驗(yàn)驗(yàn)證，微軟亞洲研究院的研究員們發(fā)現(xiàn)最小充分表示排斥的非共享信息中確實(shí)包含下游任務(wù)相關(guān)的有用信息，從而揭示了對比學(xué)習(xí)有過擬到“視角”共享信息的風(fēng)險(xiǎn)。這種風(fēng)險(xiǎn)會嚴(yán)重降低預(yù)訓(xùn)練模型的通用性和在下游任務(wù)上的性能。為此，研究員們認(rèn)為對比學(xué)習(xí)應(yīng)該學(xué)習(xí)“視角”之間的充分表示而不是最小充分表示，并且提出了一種簡單有效而且通用的方法：增加對比學(xué)習(xí)中“視角”之間的互信息。簡單來說，就是在學(xué)習(xí)“視角”共享信息的同時(shí)，也盡可能學(xué)習(xí)下游任務(wù)相關(guān)的非共享信息。在此基礎(chǔ)上，研究員們提出了兩種通用的預(yù)訓(xùn)練策略，一種是通過重構(gòu)輸入數(shù)據(jù)引入更多的原始輸入信息達(dá)到增加非共享信息的目的；另一種是通過加入正則項(xiàng)計(jì)算互信息的下限來直接提高互信。大量的實(shí)驗(yàn)結(jié)果表明，我們提出的預(yù)訓(xùn)練策略在分類，檢測和分割等一系列下游任務(wù)中都極大地提高了精度。
圖6：對比學(xué)習(xí)中充分表示和最小充分表示的信息分布圖

07

論文鏈接：https://arxiv.org/abs/2111.09886代碼地址：https://github.com/microsoft/SimMIM
掩碼信號建模（Masked Signal Modeling）是一種通過利用部分可見信息來預(yù)測不可見信息的預(yù)訓(xùn)練方法。其在自然語言處理（NLP）領(lǐng)域中的應(yīng)用——掩碼語言建模（Masked Language Modeling, MLM）已經(jīng)成為了 NLP 領(lǐng)域中最具代表性且應(yīng)用最廣泛的預(yù)訓(xùn)練方法。
事實(shí)上，在計(jì)算機(jī)視覺領(lǐng)域也出現(xiàn)了一系列使用掩碼圖像建模（Masked Image Modeling, MIM）來進(jìn)行視覺模型預(yù)訓(xùn)練的嘗試，但之前的方法往往需要引入額外的設(shè)計(jì)。本文中，研究員們提出了一種簡單的預(yù)訓(xùn)練框架 SimMIM，證明了僅使用簡單的隨機(jī)掩碼策略以及單層線性****來恢復(fù)原始圖像信號就可以實(shí)現(xiàn)良好的視覺模型預(yù)訓(xùn)練，并學(xué)習(xí)到高質(zhì)量的圖像表征。
圖7：SimMIM 使用簡單的隨機(jī)掩碼策略和一個(gè)輕量的單層線性****來重構(gòu)圖像的原始信號，并使用簡單的 l1 損失函數(shù)進(jìn)行預(yù)訓(xùn)練。

SimMIM 可以適配任意的基礎(chǔ)網(wǎng)絡(luò)，包括 ViT，Swin 以及 ConvNets。如圖8（左）所示，在使用 ViT-B 時(shí)，SimMIM 取得了比其他方法更好的微調(diào)性能，同時(shí)花費(fèi)的訓(xùn)練成本更低。
圖8：（左）SimMIM 與其他方法在使用 ViT-B 時(shí)的性能比較。（右）SimMIM 在使用 Swin 時(shí)與有監(jiān)督預(yù)訓(xùn)練（Supervised Pre-training）的比較。
圖8（右）則展示了 SimMIM 在使用 Swin 時(shí)取得了比有監(jiān)督預(yù)訓(xùn)練（Supervised pre-training）更好的性能，并且模型越大，SimMIM 的優(yōu)勢就越明顯，這說明 SimMIM 是一個(gè)良好的模型擴(kuò)展學(xué)習(xí)器（model scalable learner）。通過使用 SimMIM，具有3B參數(shù)量的 Swin-G 可以在 ImageNet-1K 圖像分類任務(wù)中取得90.2%的 Top-1 Acc。
SimMIM 不僅適用于基于 Transformer 的網(wǎng)絡(luò)，其對 ConvNets 也同樣有效。ResNet-50×4 使用 SimMIM 可以取得81.6%的 Top-1 Acc，高于有監(jiān)督預(yù)訓(xùn)練獲得的80.7%的結(jié)果。這些實(shí)驗(yàn)證明了 SimMIM 的廣泛適用性。

08