中山大學(xué) HCP 實(shí)驗(yàn)室聯(lián)合牛津大學(xué) TVG 實(shí)驗(yàn)室共同發(fā)表論文《Structure-Preserving 3D Modeling with Neural Sewing Machines》，該論文已被 NeurIPS 2022 接收。該工作主要由陳曦鵬、王廣潤博士等人完成。

3D 衣物建模是計(jì)算機(jī)領(lǐng)域的一個(gè)關(guān)鍵且具有挑戰(zhàn)性的任務(wù)，具體是指如何在計(jì)算機(jī)中構(gòu)建一件 3D 的虛擬衣物。構(gòu)建 3D 衣物具有多種實(shí)際應(yīng)用，包括 3D 虛擬試衣、虛擬數(shù)字人和服裝設(shè)計(jì)。最近基于學(xué)習(xí)的衣物建模方法收到越來越多的關(guān)注，然而，現(xiàn)有方法多針對(duì)特定類別或相對(duì)簡(jiǎn)單拓?fù)涞囊挛镞M(jìn)行建模。

本文提出了 Neural Sewing Machine (NSM)，一種新穎的保持 3D 衣物結(jié)構(gòu)的學(xué)習(xí)框架，可以有效表示多樣化形狀和拓?fù)浣Y(jié)構(gòu)的 3D 衣物，并應(yīng)用于 3D 衣物表征，3D 衣物重建和可控衣物編輯。

論文鏈接: https://arxiv.org/abs/2211.06701

背景

目前基于學(xué)習(xí)的方法要么使用固定的 3D 網(wǎng)格模板，將衣物表示為 SMPL 模型上的位移，或是借助人體的 UV 參數(shù)化來表示衣物。這些方法主要針對(duì)特定的衣物類別，或是拓?fù)浣Y(jié)構(gòu)相對(duì)簡(jiǎn)單的衣物進(jìn)行建模。那么是否存在一個(gè)模型可以表達(dá)不同種類且形狀各異的衣物呢？

縫紉紙樣（sewing pattern）是衣物建模和生產(chǎn)中廣泛使用的一種結(jié)構(gòu)?？p紉紙樣由一組 2D 面板以及面板間的縫合信息組成。例如，一條裙子的縫紉紙樣有 4 個(gè) 2D 面板（panel）。每個(gè)面板對(duì)應(yīng)于 3D 衣物的一部分。使用縫紉紙樣來建模 3D 衣物可帶來以下好處：

• 首先，可以表達(dá)各種不同類別和形狀的衣物

• 其次，描述了 3D 衣物的內(nèi)在結(jié)構(gòu)

• 最后，提供了衣物的 UV 參數(shù)化

模型

本文提出了 Neural Sewing Machine（NSM），一種保持 3D 衣物結(jié)構(gòu)的學(xué)習(xí)框架，能夠?qū)W習(xí)不同形狀和拓?fù)涞囊挛锏谋硎?，主要由以下三個(gè)模塊組成：

1）縫紉紙樣編碼模塊能夠?qū)⒉煌挛镱悇e的縫紉紙樣編碼到一個(gè)低維空間中。一件衣物可以分解為幾個(gè)基本部分，例如，一件夾克可以由帽子、袖子和背心部位組成。因此可以將衣服拆解成幾個(gè)基本的部件類別，并為每種類別計(jì)算一個(gè) PCA 子空間。通過拼接這些類別的 PCA 系數(shù)來獲得縫紉紙樣的特征編碼。

2）3D 衣物預(yù)測(cè)模塊負(fù)責(zé)從縫紉紙樣的特征編碼中解碼出 3D 衣物。本文引入了帶有掩模的 UV 位置圖（UV position maps with masks）來表示一件 3D 的衣物。具體來說，UV 位置圖將衣物的 3D 坐標(biāo)存儲(chǔ)在縫紉紙樣每一個(gè)面板的 UV 坐標(biāo)處，而掩模圖表示了縫紉紙樣每一個(gè)面板的形狀。其中 UV 位置圖是通過一個(gè) CNN ****預(yù)測(cè)得到，而預(yù)測(cè)的掩模圖通過 inverse PCA 解碼獲得。

3）為了保持 3D 衣物的內(nèi)在結(jié)構(gòu)，本文在框架的訓(xùn)練中引入了四個(gè)損失函數(shù): (a)3D 重建損失約束了預(yù)測(cè)的 UV 位置圖和 3D 標(biāo)簽相同。(b)面板內(nèi)結(jié)構(gòu)保護(hù)損失約束了縫紉紙樣與對(duì)應(yīng)的 3D 衣物在局部的拉伸保持一致。(c)面板間結(jié)構(gòu)保護(hù)損失將 3D 空間中兩個(gè)鄰接面板的邊緣縫合在一起。(d)表面法線損失約束了預(yù)測(cè)的 3D 衣物應(yīng)具有與 3D 標(biāo)簽相同的表面法線向量。

實(shí)驗(yàn)

實(shí)驗(yàn)表明了我們的框架能夠表示不同的形狀和拓?fù)浣Y(jié)構(gòu)下的 3D 衣物。同時(shí)，我們驗(yàn)證了基于單張圖像的 3D 衣物重建任務(wù)，可以看到我們的方法有助于保持衣物的細(xì)節(jié)結(jié)構(gòu)。我們還展示了可控的衣物編輯，通過在縫紉紙樣上進(jìn)行編輯來顯著改變衣物的 3D 形狀或是將衣物從一個(gè)類別變換到另一個(gè)類別。

消融實(shí)驗(yàn)驗(yàn)證了我們框架中每個(gè)組件的有效性。我們還展示了在縫紉紙樣的特征編碼上插值的結(jié)果?？梢钥吹?，2D 縫紉紙樣和 3D 衣物的變化是一致的。最后，我們展示了方法對(duì)真實(shí)場(chǎng)景具備一定的泛化能力，盡管我們的框架僅在合成數(shù)據(jù)進(jìn)行訓(xùn)練，合成數(shù)據(jù)與真實(shí)場(chǎng)景之間存在域差距，但結(jié)果證實(shí)了我們方法的具備一定的泛化能力。

實(shí)驗(yàn)室簡(jiǎn)介

中山大學(xué)人機(jī)物智能融合實(shí)驗(yàn)室 (HCP Lab) 由林倞教授于 2010 年創(chuàng)辦，圍繞人工智能前沿技術(shù)布局研究課題，獲得中國圖像圖形學(xué)會(huì)科技一等獎(jiǎng)、吳文俊自然科學(xué)獎(jiǎng)、省級(jí)自然科學(xué)一等獎(jiǎng)等榮譽(yù)；培養(yǎng)了梁小丹、王可澤等國家級(jí)青年人才。