增強現(xiàn)實（AR）和虛擬現(xiàn)實（VR）技術(shù)近年在產(chǎn)業(yè)界和學術(shù)界吸引了極高的關(guān)注度，它們豐富了現(xiàn)實世界環(huán)境，或用模擬環(huán)境替代現(xiàn)實世界。然而，AR/VR設(shè)備存在的端到端延遲會嚴重影響用戶體驗。尤其是動顯延遲（Motion-to-photons latency，定義為從用戶發(fā)生動作到該動作觸發(fā)的反饋顯示在屏幕上所需要的時間），它是限制AR/VR應用的主要挑戰(zhàn)之一。例如，動顯延遲高于20 ms就會導致用戶惡心或眩暈。

因此，減少動顯延遲對于改善用戶的虛擬體驗至關(guān)重要。減少動顯延遲的一種常見方法是通過預判用戶的移動來預測未來的頭部方向，使AR/VR設(shè)備能夠提前渲染接下來的場景。因此，開發(fā)能夠在AR/VR設(shè)備中準確預測頭部方向的算法至關(guān)重要。當然，除了AR/VR應用，方向預測在無人機、機器人和導航系統(tǒng)等其他實際應用中也至關(guān)重要。

方向預測需要利用各種測量源（例如慣性傳感器或單目/立體相機）的信息來預先估算當前方向。例如，之前已有研究合并利用慣性傳感器和相機測量數(shù)據(jù)以估算物體的方向，其中慣性傳感器用于通過積分測量來確定方向，而相機輸出用于補償誤差。然而，相機視覺信息增加了估算過程的復雜性，不適合資源有限的設(shè)備。

此外，照明變化也會影響基于相機的算法性能。MEMS技術(shù)的進步推動了慣性測量單元（IMU）的小型化和經(jīng)濟性。憑借其高采樣率、低延遲和小尺寸，IMU已被用于現(xiàn)代AR/VR設(shè)備，以獲取用于定位和方向的數(shù)據(jù)。

頭部方向預測示意圖

商用IMU通常包括三軸陀螺儀、三軸加速度計和/或磁力計。陀螺儀測量角速度并隨時間進行積分以確定方向角。然而，積分過程也會累積傳感器誤差；因此，隨著時間的推移，估算方向會偏離真實方向，影響可靠性。加速度計用于測量地球的引力場來克服這個問題，從而產(chǎn)生用于校正估算方向的參考矢量。測量地球磁場的磁力計也用于校正角速度。不過，由于其對磁干擾（如金屬或電氣設(shè)備產(chǎn)生的磁干擾）非常敏感，使其適用性受到限制。

此外，已有研究利用IMU基于卡爾曼濾波（KF）和粒子濾波（PF）開發(fā)了多種用于AR/VR設(shè)備的方向預測算法?；诳柭鼮V波的算法通過遞歸地執(zhí)行兩步預測和校正來導出最優(yōu)估計。在預測步驟中，濾波器預測未來方向及其不確定性。一旦觀察到實際測量結(jié)果，就使用加權(quán)平均來校正預測，其中不確定性較低的估計值被分配更大的權(quán)重。相比之下，粒子濾波是一種遞歸貝葉斯狀態(tài)估算模型，利用隨機樣本表示系統(tǒng)狀態(tài)的概率密度函數(shù)。因為粒子濾波可以以任何形式使用狀態(tài)空間模型，所以它們可以應用于廣泛的模型。然而，盡管粒子濾波更復雜，但與卡爾曼濾波相比，粒子濾波并未表現(xiàn)出顯著的改進。

因此，卡爾曼濾波更常用于方向估算和預測。由于標準卡爾曼濾波是僅在線性假設(shè)下的最優(yōu)估算，因此其變體，例如擴展卡爾曼濾波（EKF）和無跡卡爾曼濾波（UKF），廣泛用于非線性系統(tǒng)中的方向預測。特別是擴展卡爾曼濾波通過將基于先前估算的狀態(tài)轉(zhuǎn)移函數(shù)線性化到當前估算來預測方向。

然而，當狀態(tài)轉(zhuǎn)移和觀測模型高度非線性時，擴展卡爾曼濾波可能由于不確定度的傳播而表現(xiàn)出較差的性能。在無跡卡爾曼濾波中，線性化被稱為無跡變換的確定性采樣方案所取代，該方案在均值附近選擇一組采樣點。因此，基于無跡卡爾曼濾波的算法不適用于AR/VR等計算能力有限的設(shè)備。

據(jù)麥姆斯咨詢介紹，韓國東國大學多媒體工程系的一支研究團隊近期提出了一種新的方向預測算法，通過解決傳統(tǒng)預測算法的局限性來提高預測精度。所提出的算法通過從當前方向估算線性位移及隨后的調(diào)整來補償線性預測引起的誤差。

當前預測基于先前預測的準確性進行調(diào)整。為此，確定先前線性預測和當前方向之間的方向差異。然后，研究人員定義了一個權(quán)重矩陣，基于方向差確定當前預測的最優(yōu)調(diào)整。

與卡爾曼濾波的推導相似（不確定性較低的差異被分配更大的權(quán)重），使用當前和先前預測的方向之間的預測誤差，獲得最佳權(quán)重矩陣作為最小均方誤差（MMSE）估算。

總體來說，研究人員提出了一種配備IMU（包括三軸陀螺儀和三軸加速度計）、基于類卡爾曼誤差補償?shù)腁R/VR設(shè)備方向預測算法。這項研究的主要貢獻是基于先前的預測精度提高當前的預測精度，并基于方向差確定預測的最佳調(diào)整。實驗結(jié)果表明，該算法在多個開放數(shù)據(jù)集上優(yōu)于傳統(tǒng)的方向預測算法。

來源：MEMS