華為 HDC2022 發(fā)布了 3D 實景地圖，可以實現任意視角下 3D 物理環(huán)境的實景渲染。

千百年來，人類都致力于記錄和解釋身處的物理世界。隨著計算機科學的發(fā)展，將物理世界數字化重建，不僅是長遠的理想，更是千行百業(yè)努力的當下工作。真實的數字化重建三維物理環(huán)境，進而從任意視角觀察重建的環(huán)境，是圖形學、計算機視覺領域每個人的終極夢想，也是虛擬增強現實、元宇宙等眾多未來應用的基石。

華為 HDC2022 發(fā)布了令人震撼的 3D 實景地圖，可以實現任意視角下 3D 物理環(huán)境的實景渲染。通過 2500 張照片，僅需 30 分鐘就可以構建出 5 平方公里的超精細數字世界，擁有厘米級精細化建筑和真實光照還原能力。

華為 3D 實景地圖技術由畢業(yè)于斯坦福大學、現華為 2012 實驗室技術專家黃經緯博士及其團隊研發(fā)完成。先來看看使用實景渲染技術的室內外效果。

1 問題背景

從任意視角觀察一個三維場景被廣泛應用于游戲領域。通過美術師繪制的三維場景加以標準的 CG 渲染管線，用戶可以自由的探索場景的每個角落。為了用自動化的手段得到更加真實的場景，計算機視覺從業(yè)人員致力于采集真實的物理世界的數據，用以重建一個孿生的三維場景供人預覽。然而經過數十年的發(fā)展，重建模型的渲染效果仍不足以替代人工生產的場景。為了進一步改善復雜光照場景下的渲染效果，光場重建和渲染技術被提出，并在小場景下得到了驚艷的效果。近些年，神經輻射場（NeRF）的概念，可用于同時重建復雜的幾何和光照。然而對于復雜的大場景，這些方案都存在一定的局限性。華為 3D 實景地圖整合了各方案的優(yōu)勢，從而可以在復雜大場景下進行高質量的真實重建和快速渲染。

2 相關工作的局限與機遇

除去很多昂貴的三維重建解決方案，最接近商用的解決方案仍然是基于多視角圖片的三維重建。然而，重建技術往往假設表面在各視角下?lián)碛幸恢碌墓庹?，因此無法處理高光、半透明物體的重建。光場重建模型可以根據不同視角采集的光線加權來處理復雜光照，但在表面重建錯誤的情況下，新視角下的渲染往往存在殘影。雖然神經輻射場（NeRF）技術使用復雜的模型能正確的概括真實場景，但恢復模型參數往往需要稠密采集的圖片，否則就成為一個欠約束問題，在稀疏采集的大場景下新視角的泛化性尤為欠缺。

然而，各個方案亦有他們的優(yōu)勢。基于多視角圖片的各向同性光照假設，在大部分情況下都是實用的，基于搜索深度信息的本質使其擁有稀疏視角的高效重建并擁有很好的泛化性，能夠很好的彌補光場渲染和神經輻射場渲染的不足。光場渲染可以直接從采集的光線中獲取顏色，既保證真實，又無需像神經輻射場那樣優(yōu)化復雜的 MLP 或者球諧函數。神經輻射場作為一個全局模型，改善了傳統(tǒng)重建融合局部重建結果無法全局優(yōu)化的情況，同時引入不透明度下的體渲染增強了模型描述環(huán)境的能力。

3 解決方案

華為 3D 實景地圖結合了各家所長，提出了顯式輻射場模型，系統(tǒng)模塊如下：

第一階段，系統(tǒng)使用傳統(tǒng)三維重建方法對環(huán)境進行粗略構建，形成三角形網格。針對 3D 數字溪村場景，初始的幾何構建能力使系統(tǒng)能使用 500 米高空航拍的 2500 張圖片快速構建，并擁有新視角下渲染的泛化性。這個模型是粗模，雖然可以被直接用于渲染，但幾何和環(huán)境光照的恢復不夠真實。

在第二階段，粗模作為環(huán)境輪廓，被初始化為顯示輻射場。其具體的表達形式是純幾何的，即在粗模表面附近顯式的記錄不透明度為 1，其他地方不透明度為 0。接下來，系統(tǒng)使用采集的圖片和三維重建中獲取的圖片位姿進一步優(yōu)化輻射場模型。具體而言，可以對于每個局部區(qū)域進行區(qū)域增長式優(yōu)化不透明度，從而過濾重建粗模中的噪音，并補全模型的缺失幾何。在此過程中，不同于神經輻射場對光照模型用 MLP 或球諧函數來表達，而是直接使用類似于光場渲染的采樣技術，快速獲得特定位置和方向上的最佳模型光照。采樣中由于使用加權平均的限制，空間中沒有表面的點與對應采集圖片相應像素比，仍會引起較大的顏色誤差。因此，可以使用 L2 損失函數調整不透明度，從而優(yōu)化幾何體。

在最終階段，輻射場模型轉化為可用于渲染管線支持的網格模型。使用紋理模型進行光柵化渲染對性能尤為關鍵。系統(tǒng)將顯式的輻射場模型重構回網格，并根據光場渲染壓縮技術將表面光照壓縮成多個紋理，用于使用著色器進行快速渲染。對于大規(guī)模場景，系統(tǒng)對幾何進行 LOD 層次化，使模型渲染可以由粗至細加載進行。

借此，顯式輻射場技術綜合百家所長，能夠實現良好的視角泛化性、精細的幾何和真實光照效果，并以高效的渲染效率處理大規(guī)模場景。

4 效果展示

顯式輻射場技術，可以幫助重建的環(huán)境獲取真實的渲染光照效果。

對比傳統(tǒng)幾何重建（左），輻射場能夠更好的恢復精細的橋梁結構（右）。

同時，本技術可以恢復復雜的材質（如透明玻璃、高光桌面）效果和復雜的幾何體（植物、吊燈）。

5 挑戰(zhàn)與未來

雖然在技術上實現了顯著突破，但其商業(yè)價值仍需時間去發(fā)掘和思考，其主要問題在于環(huán)境采集的方式。為了得到優(yōu)質的環(huán)境重建，圖像的采集往往需要專業(yè)人士或者專業(yè)設備來實現。例如，大規(guī)模的室外環(huán)境可以通過專業(yè)的大飛機傾斜攝影完成。航飛場景往往容易遮擋地面，對于地面應用，如高自由度的街景，仍需要地面采集的數據以避免航飛帶來的遮擋問題。另外為了保證環(huán)境的高覆蓋采集，地面的采集往往需要使用全景設備，也為采集帶來了額外的成本而不適用于眾包生產。

從應用來看，未來最廣闊的市場仍屬于是廣大消費者，因此，對于大規(guī)模實景地圖的云渲染技術至關重要。另外，如何讓實景渲染的真實場景與有價值的應用結合帶來全新的用戶體驗，仍然是元宇宙行業(yè)需要思考的首要命題。對于 2B 場景，確實有大量的客戶需要實景渲染能力，然而其所帶來的價值以及生產成本的平衡，需要進一步探索，從而找到技術的真正落地點。

6 致謝

本技術由華為 2012 實驗室技術專家黃經緯，預研算法工程師郭曉陽、時北極，三維重建工程師張彥峰，空三與采集負責人張行航等成員共同完成。更多有關 3D 數字溪村的體驗可在 Petal Map 地圖應用中搜索松山湖溪村進行體驗。

• 歡迎訪問技術負責人主頁：https://cs.stanford.edu/~jingweih

• 或者通過郵件方式聯(lián)系作者：jingweih@cs.stanford.edu