VointConv是指對Voint空間上的操作進(jìn)行卷積運(yùn)算  。

• 它是一個(gè)可學(xué)習(xí)的函數(shù)，具有共享權(quán)重，并且在所有的Voint上進(jìn)行操作。
• 輸入是視圖特征大小為  的數(shù)據(jù)，輸出是視圖特征大小為  的數(shù)據(jù)，其中包含了   層。

一個(gè)簡單的VointConv操作的示例是將共享的多層感知機(jī) ( MLP ) 應(yīng)用于可見視圖特征。

• 在第4.2節(jié)中，提供了更多關(guān)于這種操作的詳細(xì)信息，導(dǎo)致了VointNet 的不同的變體。

VointNet 模型的目標(biāo)是：獲得可以隨后被任何點(diǎn)云處理 pipeline 使用的多視圖點(diǎn)云特征。

VointNet 模塊  定義如下。

其中  是任意點(diǎn)卷積運(yùn)算（例如共享 MLP 或 EdgeConv）。在將 VointMax 應(yīng)用于視圖特征以獲得點(diǎn)特征之前，VointNet  使用學(xué)習(xí)到的 VointConv   轉(zhuǎn)換各個(gè)視圖特征。

完整的 pipeline 如圖 2 所示。損失可描述如下：

其中 ：

• L 是在所有訓(xùn)練點(diǎn)  上定義的交叉熵 (CE) 損失， 定義了這些點(diǎn)的標(biāo)簽。
• 其他組件  均已在之前定義。

要聯(lián)合學(xué)習(xí)的權(quán)重是 2D 主干   的權(quán)重和使用相同 3D 損失的 VointNet  的權(quán)重?？梢赃x擇添加  上的輔助 2D 損失以在圖像級別進(jìn)行監(jiān)督。

對于分類，整個(gè)對象可以被視為單個(gè) Voint，每個(gè)視圖的全局特征將是該 Voint 的視圖特征。

本文對VointNet 進(jìn)行了基準(zhǔn)測試，使用了具有挑戰(zhàn)性和現(xiàn)實(shí)性的ScanObjectNN數(shù)據(jù)集。該數(shù)據(jù)集包含三個(gè)變體，包括背景和遮擋，共有15個(gè)類別和2,902個(gè)點(diǎn)云。

對于形狀檢索任務(wù)，我們使用ShapeNet Core55作為ShapeNet的子集進(jìn)行基準(zhǔn)測試。該數(shù)據(jù)集包含51,162個(gè)帶有55個(gè)對象類別標(biāo)簽的3D網(wǎng)格對象。根據(jù)MVTN的設(shè)置從每個(gè)網(wǎng)格對象中采樣5,000個(gè)點(diǎn)來生成點(diǎn)云。

另外，對于形狀部件分割任務(wù)，在ShapeNet Parts上進(jìn)行了測試，它是ShapeNet的一個(gè)子集，包含來自16個(gè)類別和50個(gè)部分的16,872個(gè)點(diǎn)云對象。

對于遮擋魯棒性測試，遵循MVTN的方法，在ModelNet40數(shù)據(jù)集上進(jìn)行測試，該數(shù)據(jù)集由40個(gè)類別和12,311個(gè)3D對象組成。

評估指標(biāo)方面：

• 對于3D點(diǎn)云分類任務(wù)，展示了整體精度。

• 對于形狀檢索任務(wù)，使用測試查詢的平均精度（mAP）進(jìn)行評估。

• 對于語義分割任務(wù)，使用點(diǎn)云上的平均交并比（mIoU）進(jìn)行評估。

• 對于部件分割任務(wù)，展示了實(shí)例平均mIoU（Ins. mIoU）。

作為基線方法，包括 PointNet、PointNet++和DGCNN 作為使用點(diǎn)云的基線。

還與一些基于多視圖的方法進(jìn)行了比較，包括 MVCNN、SimpleView和MVTN，用于分類和檢索任務(wù)，并使用了一些基于多視圖的分割方法（如標(biāo)簽融合和Mean Fusion）用于部件分割任務(wù)。

等式 (3) 中的 VointNet 依賴于 VointConv 操作   作為基本構(gòu)建塊。

在這里，簡要描述了 VointNet 使用的三個(gè)  操作示例。

這是最基本的 VointConv公式。

對于層 ，視圖  處的 Voint  的特征被更新到層   為：，其中 ρ 是共享 MLP，其權(quán)重為 ，然后是歸一化和非線性函數(shù)（例如 ReLU）。

此操作獨(dú)立應(yīng)用于所有 Voint，并且僅涉及每個(gè)Voint 的可見視圖特征。該公式擴(kuò)展了 PointNet 的共享MLP 公式，以處理 Voints 的視圖特征。

通過創(chuàng)建一個(gè)連接到所有視圖特征的虛擬中心節(jié)點(diǎn)來聚合它們的信息（類似于 ViT 中的 “cls” token 來為每個(gè) Voint 定義一個(gè)全連接的圖。

然后，圖卷積可以被定義為共享 MLP（如上所述）但在所有視圖特征之間的邊緣特征上，然后是圖形鄰居上的最大池化。在最終輸出之前使用額外的共享 MLP。

圖注意力操作可以像上面的 GCN 操作一樣定義，但是在對它們進(jìn)行平均之前，在圖鄰居的特征上學(xué)習(xí)注意力權(quán)重。共享 MLP 計(jì)算這些權(quán)重。

在pipeline 中選擇來自 Pytorch3D的可微點(diǎn)云渲染器 R，因?yàn)樗乃俣群团cPytorch 庫的兼容性。在尺寸為  的多視圖圖像上渲染點(diǎn)云。

根據(jù)點(diǎn)的法線值對點(diǎn)進(jìn)行著色，如果法線不可用，則將它們保持為白色。按照與 (Wei et al, 2020;Hamdi et al, 2021) 類似的程序，視點(diǎn)設(shè)置在訓(xùn)練期間隨機(jī)化（使用  個(gè)視圖）并在測試中固定為球面視圖（使用  個(gè)視圖）。

對于二維主干 C，使用 ViT-B（具有來自 TIMM 庫的預(yù)訓(xùn)練權(quán)重）進(jìn)行分類，使用 DeepLabV3進(jìn)行分割。

在 3D 點(diǎn)云輸出上使用 3D CE 損失以及在像素上定義損失時(shí)的 2D CE 損失。VointNet 架構(gòu)的特征維度為 d = 64，深度在  中為  = 4  層。

主要結(jié)果基于VointNet (MLP)，除非在第 6 節(jié)中另有說明，在第6 節(jié)中詳細(xì)研究了 VointConv  和 C 的影響。

分兩個(gè)階段訓(xùn)練，首先在點(diǎn)的2D 投影標(biāo)簽上訓(xùn)練 2D 主干，然后端到端地訓(xùn)練整個(gè)pipeline，同時(shí)將訓(xùn)練重點(diǎn)放在 VointNet 部分。

使用 AdamW 優(yōu)化器 ，初始學(xué)習(xí)率為 ，步長學(xué)習(xí)率為每 12 個(gè)epoch 33.3%，持續(xù) 40 個(gè)epoch 。

使用一個(gè) NVIDIATesla V100 GPU 進(jìn)行訓(xùn)練。不使用任何數(shù)據(jù)擴(kuò)充。

有關(guān)訓(xùn)練設(shè)置（損失和渲染）、VointNet 和 2D 骨干架構(gòu)的更多詳細(xì)信息，請參見附錄。

表3：3D 形狀檢索。

• 報(bào)告了 ShapeNet Core55 上的 3D 形狀檢索 mAP。
• VointNet 在此基準(zhǔn)測試中取得了最先進(jìn)的結(jié)果。

表 4：ShapeNetPart 上的穩(wěn)健 3D 部件分割。

在 ShapeNetPart 的 3D 分割中，VointNet 的 mIoU 與其他方法的對比。

Voint 的主要測試結(jié)果總結(jié)在表 2、3、4 和 5 中。在 3D 分類、檢索和穩(wěn)健的 3D 零件分割任務(wù)中實(shí)現(xiàn)了最先進(jìn)的性能。

• 更重要的是，在 ScanObjectNN 和 ShapeNetParts 的真實(shí)旋轉(zhuǎn)設(shè)置下，分別與點(diǎn)基線 相比，提高了 7.2% 以上的Acc和 25% mIoU 。
• 按照 Hamdi 等人 (2021) 的慣例，在基準(zhǔn)表中報(bào)告了四次運(yùn)行中的最佳結(jié)果，但附錄中提供了詳細(xì)結(jié)果。

表 2 報(bào)告了 ScanObjectNN  上 3D點(diǎn)云分類任務(wù)的分類精度。它將 VointNet 與其他最近的強(qiáng)大基線進(jìn)行基準(zhǔn)測試 。

• VointNet 展示了所有變體的最新結(jié)果，包括具有挑戰(zhàn)性的 Hardest (PB_T50_RS) 變體，其中包含具有挑戰(zhàn)性的旋轉(zhuǎn)和平移對象場景。
• 該變體的性能提升 (+2.6%)非常顯著，突出了 Voints 在具有挑戰(zhàn)性的場景中的優(yōu)勢，并在第 5.4 節(jié)中進(jìn)一步證實(shí)了結(jié)果。遵循與MVTN 中完全相同的程序。

圖 3：部件分割的定性比較。

• 將 VointNet 3D 分割預(yù)測與使用相同訓(xùn)練的 2D 主干的 Mean Fuse進(jìn)行比較。
• 請注意 VointNet 如何區(qū)分細(xì)節(jié)部分（例如車窗框)。

表 5：3D 分類的遮擋穩(wěn)健性。

報(bào)告了 ModelNet40上針對不同數(shù)據(jù)遮擋率的測試準(zhǔn)確性，以衡量不同 3D 方法的遮擋穩(wěn)健性。

表 3 在 ShapeNet Core55上對 3D 形狀檢索 mAP 進(jìn)行了基準(zhǔn)測試。

VointNet 在 ShapeNet Core55 上實(shí)現(xiàn)了最先進(jìn)的性能。報(bào)告了基線結(jié)果。

表 4 報(bào)告了 VointNet 的實(shí)例平均分割 mIoU 與ShapeNet Parts 上的其他方法相比。報(bào)告了基準(zhǔn)測試的兩個(gè)變體：未旋轉(zhuǎn)的歸一化設(shè)置和旋轉(zhuǎn)的真實(shí)設(shè)置。

• 對于旋轉(zhuǎn)設(shè)置，遵循之前的 3D 文獻(xiàn)通過在測試時(shí)（十次運(yùn)行）隨機(jī)旋轉(zhuǎn)擾動 ShapeNet 部件中的形狀來測試訓(xùn)練模型的穩(wěn)健性，并在表 4 中報(bào)告平均值。
• 注意 VointNet ，在未旋轉(zhuǎn)的設(shè)置上，盡管這兩個(gè)基線使用與 VointNet 相同的經(jīng)過訓(xùn)練的 2D 主干。
• 此外，對于旋轉(zhuǎn)設(shè)置，點(diǎn)方法也不起作用。表 4 中的所有結(jié)果均由代碼在同一設(shè)置中重現(xiàn)（請參閱補(bǔ)充材料中隨附的代碼）。

圖 3 顯示了 VointNet 和 Mean Fuse 的定性 3D 分割結(jié)果與ground truth相比。

最近研究的 3D 分類模型的穩(wěn)健性方面之一是它們對遮擋的穩(wěn)健性，如 MVTN  所述。這些模擬遮擋在測試時(shí)引入，并報(bào)告每個(gè)裁剪率的平均測試精度。

• 將 VointNet 與表 5 中的最新基線進(jìn)行了基準(zhǔn)測試。
• PointNet 和 DGCNN 被用作基于點(diǎn)的基線，MVTN 被用作多視圖基線。

圖 4：視圖數(shù)量的影響。繪制 Ins。

• 3D 分割的mIoU 與 ShapeNet 部件推理中使用的視圖數(shù) (M)。
• 請注意 VointNet 對 Mean Fuse  和 Label Fuse的持續(xù)改進(jìn)。
• 兩個(gè)基線都使用與 VointNet 相同的經(jīng)過訓(xùn)練的 2D 主干，并在相同的未旋轉(zhuǎn)設(shè)置上進(jìn)行測試。

表 6：3D 分割的消融研究。

• 消融了 VointNet 的不同組件（2D 主干和VointConv 選擇）并報(bào)告 Ins。
• mIoU 在 ShapeNetPart上的表現(xiàn)。

研究了視圖數(shù)量 M 對使用多個(gè)視圖的 3D 部件分割性能的影響。將 Mean Fuse  和 Label Fuse 與我們的VointNet 進(jìn)行比較，因?yàn)樗鼈兌季哂邢嗤挠?xùn)練的2D 主干。

• 視圖是隨機(jī)選擇的，實(shí)驗(yàn)重復(fù)四次。具有置信區(qū)間的 mIoU 如圖 4 所示。
• 觀察到VointNet 在不同數(shù)量的視圖中比其他兩個(gè)基線有一致的改進(jìn)。

消融了 2D 主干的選擇和 VointNet 中使用的VointConv 操作，并報(bào)告了分割 Ins。表 6 中的 mIoU結(jié)果。

• 請注意 2D 主干如何極大地影響性能，而VointConv 操作類型不會。
• 這種消融突出了 2D 主干在 VointNet 中的重要性，并激發(fā)了 VointNet (MLP) 最簡單變體的使用。

在附錄中提供了更多因素以及計(jì)算和內(nèi)存成本的詳細(xì)研究。

這項(xiàng)工作介紹了 Voint cloud表示，它繼承了點(diǎn)云的優(yōu)點(diǎn)和多視圖投影的豐富視覺特征，導(dǎo)致增強(qiáng)的多視圖聚合和在許多 3D 視覺任務(wù)上的強(qiáng)大性能。

• 限制 Voints 性能的一個(gè)方面是 2D 主干對下游 3D 任務(wù)的訓(xùn)練。在大多數(shù)情況下，必須使用足夠的數(shù)據(jù)對 2D 主干進(jìn)行預(yù)訓(xùn)練，以便為 VointNet 學(xué)習(xí)有意義的信息。
• 限制Voint-cloud 功能的另一個(gè)方面是如何正確選擇用于分割的視點(diǎn)。滿足于在訓(xùn)練時(shí)隨機(jī)化視圖。

解決這些局限性是未來工作的重要方向。此外，將Voint 學(xué)習(xí)擴(kuò)展到更多 3D 任務(wù)（如 3D 場景分割和 3D對象檢測）留給未來的工作。