下圖展示了這篇文章所構(gòu)建的因子圖，這篇文章針對(duì)場(chǎng)景中需要構(gòu)建的各個(gè)不同種類的路標(biāo)各自建立了不同的參數(shù)模型，并通過圖優(yōu)化的方式對(duì)各個(gè)路標(biāo)進(jìn)行狀態(tài)更新。

Initialization of ground and pole objects:

下面介紹上述的5個(gè)參數(shù)模型的初始化方法：

1.當(dāng)GNSS-VIO軌跡給定時(shí)，通過三角化特征點(diǎn)的方式獲取位姿估計(jì)。

2.我們使用它們所包含的deep points在XOY平面上進(jìn)行二維線擬合。

3.之后，如果沒有檢測(cè)到地面初始化的地面標(biāo)志，我們就使用每一幀中檢測(cè)到的車道凸包內(nèi)的傳統(tǒng)特征點(diǎn)，并應(yīng)用RANSAC三維平面擬合策略來去除移動(dòng)車輛上的關(guān)鍵點(diǎn)。

Inilization of splines:

Offline mapping case

在這些變量被初始化后，我們根據(jù)常見的視覺-慣性測(cè)距約束推導(dǎo)出一個(gè)因子圖優(yōu)化，為了數(shù)值穩(wěn)定，在上述因子上添加了Cauchy損失函數(shù)，并將第一幀的位姿固定。所有的關(guān)鍵幀和檢測(cè)到的實(shí)例都參與到最后的BA調(diào)整中，以共同解決位姿和位置問題。

Online localization case

在在線定位過程中，我們從語義地圖中反序列化固定的語義地標(biāo)，即spline的控制點(diǎn)和常規(guī)的三維點(diǎn)，并將它們固定在公式4和5中，以增加對(duì)攝像機(jī)和地圖坐標(biāo)之間的相對(duì)位置的約束。在這個(gè)階段，不再需要像公式6那樣的共面約束。我們將在第II-I節(jié)中進(jìn)一步介紹這些因素是如何通過提議的地圖查詢策略構(gòu)建的。

Re-Identification and Feature Merging

我們進(jìn)行3D-3D關(guān)聯(lián)來重新識(shí)別語義對(duì)象，而不是進(jìn)行框架式的詞包查詢。原因是重復(fù)對(duì)象的密度（幾十米）相對(duì)于測(cè)繪過程中GNSS-VIO測(cè)距的定位不確定性要稀疏一些，而且這些標(biāo)準(zhǔn)化的道路元素之間的視覺外觀過于相似，無法區(qū)分。在實(shí)例化的物體和車道關(guān)聯(lián)過程中，我們將其中心點(diǎn)之間的距離小于5.0米（或車道為0.5米）的三角形物體視為相同的物體，然后以匈牙利策略逐級(jí)合并其包含的深層點(diǎn)和經(jīng)典點(diǎn)的觀測(cè)結(jié)果。深層點(diǎn)的語義類型被用于拒絕不匹配。而對(duì)于每個(gè)伴隨的GFTT點(diǎn)，我們使用它們?cè)诙鄮械腇REAK描述符進(jìn)行投****。我們使用union-find算法來合并它們的觀察結(jié)果，并進(jìn)行另一輪全局狀態(tài)優(yōu)化。

Data Structure of Semantic Maps

對(duì)于每個(gè)觀測(cè)c，我們?cè)谌肿鴺?biāo)TC中存儲(chǔ)其估計(jì)姿態(tài)，以及用于在線GPS查詢的最近的GNSS測(cè)量。對(duì)于每個(gè)分層語義地標(biāo)，我們存儲(chǔ)語義標(biāo)簽和所包含的深度和GFTT點(diǎn)的三維位置。在我們的語義地圖中，既不存儲(chǔ)FREAK描述符，也不存儲(chǔ)框架性描述符。

Localization Based on Semantic Maps

我們使用上圖所示的狀態(tài)機(jī)來評(píng)估在線定位的位姿質(zhì)量，并相應(yīng)地執(zhí)行不同的策略。從地圖未初始化的狀態(tài)開始，在這個(gè)狀態(tài)下，從地圖坐標(biāo)到當(dāng)前全局坐標(biāo)TM的全局變換是未知的，我們使用粗略的GPS測(cè)量來檢索相應(yīng)的地圖分區(qū)，以獲得相應(yīng)的觀測(cè)。

在局部搜索模式下，我們可以獲得地標(biāo)子集LM=G(OM)，用于通過索引的深層物體關(guān)鍵點(diǎn)建立二維三維PnP-Ransac關(guān)聯(lián)。要接受這樣一個(gè)估計(jì)的PnP姿態(tài)是有效的，至少需要來自5個(gè)不同實(shí)例的12個(gè)傳入點(diǎn)，以切換到兩個(gè)跟蹤狀態(tài)并初始化TM。

我們使用兩個(gè)階段的跟蹤狀態(tài)，根據(jù)其位姿質(zhì)量應(yīng)用不同的閾值。在這兩種跟蹤狀態(tài)下，重建的關(guān)聯(lián)將通過公式4和5被添加到滑動(dòng)窗口優(yōu)化中，其中幀到全局變換的原始TC被幀到地圖變換的TCM取代，而TM被視為優(yōu)化過程中的一個(gè)額外的可優(yōu)化變量。

在這樣的兩種跟蹤模式中，我們將所有的地圖實(shí)例投射到在線檢測(cè)的幀c上，并使用以下標(biāo)準(zhǔn)，通過匈牙利式匹配接受投影關(guān)聯(lián)，如。

Experimental Evaluation

Datasets

本文所構(gòu)建的系統(tǒng)在KAIST數(shù)據(jù)集以及作者自己錄制的兩個(gè)數(shù)據(jù)集上進(jìn)行了測(cè)試。

Performance

結(jié)果顯示了我們訓(xùn)練的深度模型在KAIST數(shù)據(jù)集上的表現(xiàn)，由于它們?cè)趫D像上的不同表現(xiàn)，盒子里的物體被分為三個(gè)有代表性的子類型（電線桿、交通標(biāo)志和地面標(biāo)志）。我們?cè)跍y(cè)試集上分別評(píng)估這些任務(wù)，得出它們的分類精度、檢測(cè)召回率，另外，表中的提取像素誤差，下圖為像素誤差的分布直方圖。

Evaluations on Localization and Mapping

在這個(gè)測(cè)試中，我們對(duì)每個(gè)序列運(yùn)行兩次，分別進(jìn)行測(cè)繪和地圖輔助定位。圖7列出了測(cè)試序列的結(jié)果。我們提出的方法所產(chǎn)生的語義圖需要的文件大小要少得多，同時(shí)提供了有競(jìng)爭(zhēng)力的定位性能。例如，KAIST-38的語義地圖占據(jù)了1.54MB的磁盤空間來達(dá)到0.46米的定位精度，而傳統(tǒng)的地圖在設(shè)置K=8時(shí)需要7.60MB來達(dá)到0.75米。對(duì)杭州序列的測(cè)試也反映了同樣的趨勢(shì)?？偟膩碚f，我們提出的方法中的語義圖要比那些設(shè)定的覆蓋點(diǎn)特征圖小近5倍，才能達(dá)到類似的定位性能。

Cross-Relocalization

下表顯示了這種對(duì)等的交叉定位結(jié)果。可以看出，我們提出的含有方框物體和道路車道的語義地圖的方法在所有交叉驗(yàn)證測(cè)試中都完成了成功的定位。對(duì)于傳統(tǒng)地圖，我們用包括全尺寸地圖在內(nèi)的多種設(shè)置進(jìn)行測(cè)試。不幸的是，由于在不同季節(jié)和時(shí)間段捕獲的視覺特征的嚴(yán)重變化，在28序列的地圖上運(yùn)行KAIST-38序列的定位始終失敗。因此，集合覆蓋稀疏化需要應(yīng)用更大的K值來進(jìn)行交叉重定位，以保持足夠可靠的特征。對(duì)于Maplab來說，由于保留的信息量大的三維點(diǎn)通常與更多的局部視覺描述符有關(guān)，因此結(jié)果的地圖大小比預(yù)期的要大。相比之下，我們提出的方法依賴于從標(biāo)準(zhǔn)化和持久化的道路元素中提取的深層特征?？傊@種語義替換在交叉定位上比傳統(tǒng)地圖和Maplab都有更大的優(yōu)勢(shì)，對(duì)杭州序列的實(shí)驗(yàn)也反映了同樣的趨勢(shì)，這表明在緊湊性和定位精度上都有優(yōu)勢(shì)。

Modular and Efficiency Analysis

下表表示我們的定位所涉及的兩種跟蹤狀態(tài)的統(tǒng)計(jì)數(shù)據(jù)。在大多數(shù)情況下，我們的方法在緊密跟蹤模式下運(yùn)行，這反映了更好的定位精度。

下表顯示了來自不同語義實(shí)例的平均用點(diǎn)數(shù)量。由于相機(jī)可以觀察和檢測(cè)到比地面物體相對(duì)較遠(yuǎn)的有效的電線桿和標(biāo)志物，這些物體對(duì)定位的貢獻(xiàn)最大。

我們還分析了不同定位模式下語義對(duì)象關(guān)聯(lián)的時(shí)間消耗。在在線定位期間，感知和地圖查詢模塊都在一個(gè)獨(dú)立的線程中運(yùn)行。在感知模塊中，如果單獨(dú)檢測(cè)，車道需要17.6毫秒/693MB，車道線檢測(cè)需要7.5毫秒/422MB，其他物體和關(guān)鍵點(diǎn)檢測(cè)需要17.3毫秒/1177MB。在地圖查詢模塊中，本地搜索模式的平均時(shí)間消耗約為300毫秒，而對(duì)于占主導(dǎo)地位的松耦合跟蹤或緊耦合跟蹤模式，它減少到不到1毫秒?？傮w時(shí)間消耗低于我們?cè)O(shè)計(jì)的定位查詢頻率（1Hz）。

Stability of Semantic Mapping

下表顯示了經(jīng)典和語義建圖方法中的建圖誤差。這表明引入語義對(duì)象并不明顯影響建圖的質(zhì)量

Conclusion

本文提出了一個(gè)語義建圖和定位流程。包括電桿、標(biāo)志和公路車道在內(nèi)的實(shí)例被檢測(cè)到并被參數(shù)化，以形成一個(gè)緊湊的語義圖，從而實(shí)現(xiàn)高效和準(zhǔn)確的定位。