在此之前，阿里巴巴提出的 Composer 已經(jīng)證明了組合性對圖像生成可控性的提升具有極大的幫助，而 VideoComposer 這項研究同樣是基于組合式生成范式，在解決以上三大挑戰(zhàn)的同時提高視頻生成的靈活性。具體是將視頻分解成三種引導條件，即文本條件、空間條件、和視頻特有的時序條件，然后基于此訓練 Video LDM (Video Latent Diffusion Model)。特別地，其將高效的 Motion Vector 作為重要的顯式的時序條件以學習視頻的運動模式，并設計了一個簡單有效的時空條件編碼器 STC-encoder，保證條件驅動視頻的時空連續(xù)性。在推理階段，則可以隨機組合不同的條件來控制視頻內容。

實驗結果表明，VideoComposer 能夠靈活控制視頻的時間和空間的模式，比如通過單張圖、手繪圖等生成特定的視頻，甚至可以通過簡單的手繪方向輕松控制目標的運動風格。該研究在 9 個不同的經(jīng)典任務上直接測試 VideoComposer 的性能，均獲得滿意的結果，證明了 VideoComposer 通用性。

圖 （a-c）VideoComposer 能夠生成符合文本、空間和時間條件或其子集的視頻；（d）VideoComposer 可以僅僅利用兩筆畫來生成滿足梵高風格的視頻，同時滿足預期運動模式（紅色筆畫）和形狀模式（白色筆畫）

方法介紹

Video LDM

隱空間。Video LDM 首先引入預訓練的編碼器將輸入的視頻映射到隱空間表達，其中。然后，在用預先訓練的**** D 將隱空間映射到像素空間上去。在 VideoComposer 中，參數(shù)設置。

擴散模型。為了學習實際的視頻內容分布，擴散模型學習從正態(tài)分布噪聲中逐步去噪來恢復真實的視覺內容，該過程實際上是在模擬可逆的長度為 T=1000 的馬爾可夫鏈。為了在隱空間中進行可逆過程，Video LDM 將噪聲注入到中，得到噪聲注入的隱變量。然后其通過用去噪函數(shù)作用在和輸入條件 c 上，那么其優(yōu)化目標如下：

為了充分探索利用空間局部的歸納偏置和序列的時間歸納偏置進行去噪，VideoComposer 將實例化為一個 3D UNet，同時使用時序卷積算子和交叉注意機制。

VideoComposer

組合條件。VideoComposer 將視頻分解為三種不同類型的條件，即文本條件、空間條件和關鍵的時序條件，它們可以共同確定視頻中的空間和時間模式。VideoComposer 是一個通用的組合式視頻生成框架，因此，可以根據(jù)下游應用程序將更多的定制條件納入 VideoComposer，不限于下述列出的條件：

• 文本條件：文本 (Text) 描述以粗略的視覺內容和運動方面提供視頻的直觀指示，這也是常用的 T2V 常用的條件；

• 空間條件：

• 單張圖 (Single Image)，選擇給定視頻的第一幀作為空間條件來進行圖像到視頻的生成，以表達該視頻的內容和結構；
• 單張早圖 (Single Sketch)，使用 PiDiNet 提取第一個視頻幀的草圖作為第二個空間條件；
• 風格（Style），為了進一步將單張圖像的風格轉移到合成的視頻中，選擇圖像嵌入作為風格指導；

• 時序條件：

• 運動矢量（Motion Vector），運動矢量作為視頻特有的元素表示為二維向量，即水平和垂直方向。它明確地編碼了相鄰兩幀之間的逐像素移動。由于運動矢量的自然屬性，將此條件視為時間平滑合成的運動控制信號，其從壓縮視頻中提取標準 MPEG-4 格式的運動矢量；
• 深度序列（Depth Sequence），為了引入視頻級別的深度信息，利用 PiDiNet 中的預訓練模型提取視頻幀的深度圖；
• 掩膜序列（Mask Sequence），引入管狀掩膜來屏蔽局部時空內容，并強制模型根據(jù)可觀察到的信息預測被屏蔽的區(qū)域；
• 草圖序列（Sketch Sequnce），與單個草圖相比，草圖序列可以提供更多的控制細節(jié)，從而實現(xiàn)精確的定制合成。

時空條件編碼器。序列條件包含豐富而復雜的時空依賴關系，對可控的指示帶來了較大挑戰(zhàn)。為了增強輸入條件的時序感知，該研究設計了一個時空條件編碼器（STC-encoder）來納入空時關系。具體而言，首先應用一個輕量級的空間結構，包括兩個 2D 卷積和一個 avgPooling，用于提取局部空間信息，然后將得到的條件序列被輸入到一個時序 Transformer 層進行時間建模。這樣，STC-encoder 可以促進時間提示的顯式嵌入，為多樣化的輸入提供統(tǒng)一的條件植入入口，從而增強幀間一致性。另外，該研究在時間維度上重復單個圖像和單個草圖的空間條件，以確保它們與時間條件的一致性，從而方便條件植入過程。

通過 STC-encoder 處理條件后，最終的條件序列具有與相同的空間形狀，然后通過元素加法融合。最后，沿通道維度將合并后的條件序列與連接起來作為控制信號。對于文本和風格條件，利用交叉注意力機制注入文本和風格指導。

訓練和推理

兩階段訓練策略。雖然 VideoComposer 可以通過圖像 LDM 的預訓練進行初始化，其能夠在一定程度上緩解訓練難度，但模型難以同時具有時序動態(tài)感知的能力和多條件生成的能力，這個會增加訓練組合視頻生成的難度。因此，該研究采用了兩階段優(yōu)化策略，第一階段通過 T2V 訓練的方法，讓模型初步具有時序建模能力；第二階段在通過組合式訓練來優(yōu)化 VideoComposer，以達到比較好的性能。

推理。在推理過程中，采用 DDIM 來提高推理效率。并采用無分類器指導來確保生成結果符合指定條件。生成過程可以形式化如下：

其中，ω 是指導比例；c1 和 c2 是兩組條件。這種指導機制在兩條件集合判斷，可以通過強度控制來讓模型具有更加靈活的控制。

實驗結果

在實驗探索中，該研究證明作為 VideoComposer 作為統(tǒng)一模型具有通用生成框架，并在 9 項經(jīng)典任務上驗證 VideoComposer 的能力。

該研究的部分結果如下，在靜態(tài)圖片到視頻生成（圖 4）、視頻 Inpainting（圖 5）、靜態(tài)草圖生成生視頻（圖 6）、手繪運動控制視頻（圖 8）、運動遷移（圖 A12）均能體現(xiàn)可控視頻生成的優(yōu)勢。

團隊介紹

公開信息顯示，阿里巴巴在視覺基礎模型上的研究主要圍繞視覺表征大模型、視覺生成式大模型及其下游應用的研究，并在相關領域已經(jīng)發(fā)表 CCF-A 類論文 60 余篇以及在多項行業(yè)競賽中獲得 10 余項國際冠軍，比如可控圖像生成方法 Composer、圖文預訓練方法 RA-CLIP 和 RLEG、未裁剪長視頻自監(jiān)督學習 HiCo/HiCo++、說話人臉生成方法 LipFormer 等均出自該團隊。