本到 3D 模型生成的速度一下提升了 600 倍，代碼也已開源。

文本生成圖像的 AI 最近已經(jīng)火到了圈外，不論是 DALL-E 2、DeepAI 還是 Stable Diffusion，人人都在調(diào)用 AI 算法搞繪畫藝術(shù)，研究對 AI 講的「咒語」。不斷進化的技術(shù)推動了文生圖生態(tài)的蓬勃發(fā)展，甚至還催生出了獨角獸創(chuàng)業(yè)公司 Stability AI。

技術(shù)發(fā)展的腳步并沒有停止，下個突破可能是 3D 模型生成了：本周，OpenAI 開源的 3D 模型生成器 Point-E 引發(fā)了 AI 圈的新一輪熱潮，剛擺上 GitHub 一天就獲得了 800 多個 star。

根據(jù)與開源內(nèi)容一并發(fā)布的論文介紹，Point-E 可以在單塊 Nvidia V100 GPU 上在一到兩分鐘內(nèi)生成 3D 模型。相比之下，現(xiàn)有系統(tǒng)（如谷歌的 DreamFusion）通常需要數(shù)小時和多塊 GPU。

論文《Point-E: A System for Generating 3D Point Clouds from Complex Prompts》：

• 論文鏈接：https://arxiv.org/abs/2212.08751

• 項目鏈接：https://github.com/openai/point-e

Point-E 不輸出傳統(tǒng)意義上的 3D 圖像，它會生成點云，或空間中代表 3D 形狀的離散數(shù)據(jù)點集。Point-E 中的 E 是「效率」的縮寫，表示其比以前的 3D 對象生成方法更快。不過從計算的角度來看，點云更容易合成，但它們無法捕獲對象的細粒度形狀或紋理 —— 這是目前 Point-E 的一個關(guān)鍵限制。

為了解決這一問題，OpenAI 團隊訓(xùn)練了一個額外的人工智能系統(tǒng)來將 Point-E 的點云轉(zhuǎn)換為網(wǎng)格。

Point-E 架構(gòu)及運行原理

在獨立的網(wǎng)格生成模型之外，Point-E 主要由兩個模型組成：文本到圖像模型和圖像到 3D 模型。文本到圖像模型類似于 OpenAI 自家的 DALL-E 2 和 Stable Diffusion 等生成模型系統(tǒng)，在標記圖像上進行訓(xùn)練以理解單詞和視覺概念之間的關(guān)聯(lián)。在圖像生成之后，圖像到 3D 模型被輸入一組與 3D 對象配對的圖像，訓(xùn)練出在兩者之間有效轉(zhuǎn)換的能力。

當人們給出一個文本提示 —— 例如，「一個可 3D 打印的齒輪，一個直徑為 3 英寸、厚度為半英寸的齒輪」時，AI 會生成符合描述的內(nèi)容：

Point-E 通過 30 億參數(shù)的 GLIDE 模型生成綜合視圖渲染，內(nèi)容被饋送到圖像到 3D 模型，通過一系列擴散模型運行生成的圖像，以創(chuàng)建初始圖像的 3D RGB 點云 —— 先生成粗略的 1024 點云模型，然后生成更精細的 4096 點云模型。

Point-E 的點云擴散模型架構(gòu)。圖像通過一個凍結(jié)的、預(yù)訓(xùn)練的 CLIP 模型輸入，輸出網(wǎng)格作為標記輸入到 transformer 中。

OpenAI 研究人員表示，在經(jīng)過「數(shù)百萬 3D 對象和相關(guān)元數(shù)據(jù)的數(shù)據(jù)集上訓(xùn)練模型后，Point-E 擁有了生成匹配文本提示的彩色點云的能力。Point-E 的問題和目前的生成模型一樣，圖像到 3D 轉(zhuǎn)換過程中有時無法理解文本敘述的內(nèi)容，導(dǎo)致生成的形狀與文本提示不匹配。盡管如此，根據(jù) OpenAI 團隊的說法，它仍然比以前的最先進技術(shù)快幾個數(shù)量級。

Point-E 將點云轉(zhuǎn)換為網(wǎng)格。

OpenAI 在論文中表示，「雖然 Point-E 在評估中表現(xiàn)得比 SOTA 方法差，但它只用了后者一小部分的時間就可以生成樣本。這使得 Point-E 對某些應(yīng)用程序更實用，或者可以利用效率獲得更高質(zhì)量的 3D 對象?！?/span>

應(yīng)用前景及版權(quán)問題

也許你會問，Point-E 具體有哪些應(yīng)用呢？OpenAI 研究人員指出，Point-E 的點云可用于制作真實世界的對象，比如通過 3D 打印制作。再加上額外的網(wǎng)格轉(zhuǎn)換模型，系統(tǒng)在完善后可以用于游戲和動畫開發(fā)工作流程。

OpenAI 可能是最新一家涉足 3D 對象生成器領(lǐng)域的公司，但它并不是第一家。今年早些時候，谷歌就發(fā)布了 DreamFusion，它是谷歌 2021 年推出的生成式 3D 系統(tǒng) Dream Fields 的擴展版本。

雖然當前所有目光都集中在 2D 藝術(shù)生成器上，但模型合成 AI 可能是下一個重大的行業(yè)顛覆者?，F(xiàn)代電影、視頻游戲、VR 和 AR 的 CGI 效果、空間探索中的測繪任務(wù)、古跡遺址保護項目以及 Meta 等科技公司的元宇宙愿景都需要高性能的 3D 建模能力。在傳統(tǒng)行業(yè)中，建筑公司也會使用 3D 模型演示建筑物和景觀，工程師會利用模型設(shè)計新設(shè)備、車輛和結(jié)構(gòu)等。

Point-E 失敗的案例。

不過，制作 3D 模型通常需要一段時間，從幾小時到幾天不等。如果有一天解決了這一問題，像 Point-E 這樣的 AI 可以改變很多，并讓 OpenAI 獲得可觀的利潤。

潛在的問題是可能會產(chǎn)生知識產(chǎn)權(quán)糾紛。3D 模型有很大的市場，包括 CGStudio 和 CreativeMarket 在內(nèi)的幾個在線市場允許藝術(shù)家銷售他們創(chuàng)建的內(nèi)容。如果 Point-E 流行起來并投放到市場，模型藝術(shù)家們可能會抗議，并拿出現(xiàn)代生成式 AI 嚴重依賴其自身訓(xùn)練數(shù)據(jù)的證據(jù)，比如 Point-E 中有現(xiàn)成的 3D 模型。

與 DALL-E 2 一樣，Point-E 不承認也沒有引用任何可能影響其代代發(fā)展的藝術(shù)家的作品。OpenAI 沒有明確地說明這一問題，Point-E 論文及相應(yīng) GitHub 項目中也都沒有提到版權(quán)問題。

最后，OpenAI 研究人員預(yù)計 Point-E 還面臨著一些挑戰(zhàn)，例如訓(xùn)練數(shù)據(jù)存在的偏差以及對可能用于創(chuàng)建「危險對象」的模型缺乏保護措施。因此，OpenAI 謹慎地將 Point-E 描述為一個起點，并希望激勵文本到 3D 合成領(lǐng)域進一步發(fā)展。

不過按照 AI 作畫發(fā)展的速度，我們或許很快就會看見下一輪技術(shù)爆發(fā)了。

參考內(nèi)容：

https://www.engadget.com/openai-releases-point-e-dall-e-3d-text-modeling-210007892.html

https://techcrunch.com/2022/12/20/openai-releases-point-e-an-ai-that-generates-3d-models/