摘要：為了使頭顯VR達(dá)到沉浸式效果，需要在視覺、聽覺以及用戶體驗上提高，這對處理器及工具軟件提出了挑戰(zhàn)，高通已有相關(guān)的解決方案。

VR時代正在到來

　　VR(虛擬現(xiàn)實)是劃時代的革命產(chǎn)品，可以給人們帶來真實的感受，可以讓你去一些你無法去的地方，讓你身臨其境地感受到現(xiàn)實生活中無法感受到的一些體驗，比如觀看美國大峽谷的日落，可以360°欣賞景色，還可以聽到真實的鳥鳴和瀑布聲。

　　上個世紀(jì)90年代曾掀起過VR熱，但那時僅僅是曇花一現(xiàn)，因為當(dāng)時無論從生態(tài)鏈的內(nèi)容角度還是從技術(shù)角度，都沒有達(dá)到一個可以使VR進(jìn)入到平常百姓家的能力。VR今天已經(jīng)是時候爆發(fā)了，日本等地已經(jīng)把2016年看作是VR元年，而且VR很可能成為繼電腦和手機(jī)之后的下一個熱潮。

　　移動手機(jī)業(yè)對于未來最被看好的VR主流形態(tài)——一體機(jī)VR有巨大的推動作用?，F(xiàn)在很多做VR設(shè)備的人是做手機(jī)和平板的設(shè)備廠商，不管從硬件系統(tǒng)架構(gòu)還是從生態(tài)鏈和供應(yīng)鏈上，跟手機(jī)的關(guān)系是非常緊密的。手機(jī)擁有很大的體量，擁有大規(guī)模效應(yīng)，可以極大拉低從芯片到外圍器件的成本。手機(jī)還有非常快的迭代周期，大部分廠商一年甚至不到一年就能替代一代產(chǎn)品?？梢姡謾C(jī)和VR打通管道之后，能夠被大眾接受的難度就大大降低了。

　　從設(shè)備體驗看，需要從三個角度來提供手機(jī)的沉浸式體驗的感受(如圖1)。首先，視覺方面，需要有超高分辨率的支持，需要在芯片前端做圖像轉(zhuǎn)換的功能;聲音側(cè)也會提供真實的分辨率聲音、高清聲音以及3D聲音的一些算法;在交互上，高通也會針對目前所提供的用戶調(diào)查報告以及人體工程學(xué)的數(shù)據(jù)，從頭部運(yùn)動到畫面隨動上面，從用戶交互、手勢跟蹤、眼球跟蹤等方面，以及用戶頭部旋轉(zhuǎn)和運(yùn)動移動的位置跟蹤上，優(yōu)化移動VR的體驗。

視覺

　　*視覺處理

　　視覺是體驗感最關(guān)鍵的因素。如果我們把目前的2K手機(jī)插到VR盒子里看，可以明顯地看到三格效應(yīng)。因為人的視角非常廣闊，有超過180°的視角，但真正能感受到比較多信息的視角約在50°~60°(如圖2)。當(dāng)視角超過100°、120°的情況下，目前的手機(jī)或者電腦的最高分辨率也無法達(dá)到目前我們對VR的需求。目前手機(jī)4K被普遍認(rèn)為是沒有必要的，只是額外增加手機(jī)功耗。但對于VR來說，4K、8K遠(yuǎn)遠(yuǎn)沒有達(dá)到要求，有可能到10K以后才能達(dá)到視網(wǎng)膜屏幕的解析度。

　　目前市面上已經(jīng)出現(xiàn)了眼球跟蹤技術(shù)及產(chǎn)品發(fā)布。所謂眼球跟蹤技術(shù)，因為人真正能注意到的視角很窄，可能只有20°、30°，余光看到50°、60°以外是獲取不到太多信息的。根據(jù)人體功能學(xué)的這一特點，我們可以在畫面渲染時增加眼球跟蹤技術(shù)，這樣就可以知道目前用戶的眼睛盯在什么地方，并在眼睛盯著的范圍之內(nèi)重點做100%的全景渲染，而在周邊區(qū)域可以慢慢降低渲染程度，比如只渲染一半的像素，另一半像素只需要通過一些其他算法做一些模糊效果即可。所以當(dāng)眼球跟蹤技術(shù)的時延達(dá)到一定程度，人的眼睛是完全感覺不到的。此技術(shù)最大的好處是大大減少了CPU圖形渲染的工作量，同時提高了渲染效果以及CPU運(yùn)行的效率。

　　另外，目前VR領(lǐng)域因為鏡片的簡單造成了圖片的畸變。因為現(xiàn)在的VR眼鏡不可能像傳統(tǒng)的專業(yè)單反相機(jī)或?qū)I(yè)鏡頭，可以用多組鏡頭實現(xiàn)?，F(xiàn)在的VR基本上是一組凸透鏡，這是無法達(dá)到中間和邊緣都一致的效果。所以如果一個正方形的圖像顯示在VR屏幕上，且僅通過一組透鏡到達(dá)人眼的效果，會發(fā)現(xiàn)四個角會被明顯拉長(如圖3右上)。所以在CPU側(cè)的前端要做一些補(bǔ)償。

　　CPU怎么補(bǔ)償?我們會在顯示上做一個桶形的圖像(如圖3左下)，如果你看手機(jī)上一些這種類型的VR，看的時候把手機(jī)摘下來，你會發(fā)現(xiàn)左右的形狀是桶形，但是最后通過凸透鏡可以變成正方形。

　　還有一點也是目前VR沒法改變的情況，就是在邊緣處，由于可見光的不同顏色的光的波長不一樣，會通過透鏡邊緣出現(xiàn)色散的問題(如圖4上)，這需要色彩校正。方法是做反向處理，將原來一個點變成三個點，通過凸透鏡折射之后，形成一個方向的曲線，這樣可以看到邊緣和中間一樣清晰。所有這些技術(shù)都需要在送到顯存的時候就要做優(yōu)化。

　　*360°全景

　　VR宣稱可以360°看到圖像，所以從源端到設(shè)備端都需要整個產(chǎn)業(yè)鏈共同推進(jìn)。我們看到源端360°采集是多種多樣的，從大而笨重的設(shè)備去采集，到現(xiàn)在由于算法升級，所以攝像頭的相機(jī)數(shù)量可以減少到三四個、兩個魚眼鏡頭，所以我們可以不斷地推進(jìn)，包括采集設(shè)備、360°全景照片的編碼格式等，都需要整個業(yè)界做促進(jìn)和統(tǒng)一。

　　而在VR設(shè)備端，需要針對目前沒有達(dá)到統(tǒng)一的360°視頻形式做各種適應(yīng)的編/解碼，甚至需要左、右眼區(qū)別對待。

　　*3D效果

　　3D帶來景深效果。當(dāng)我們看3D電影或者玩3D游戲時，可能需要CPU分辨左、右眼，讓大家感受到景深/3D效果。原理眾所周知，因為人的左、右眼之間有距離，不同景深對應(yīng)人的左、右眼的圖像不一樣。當(dāng)圖6中一個紅點遮擋汽車時，左、右眼不僅在視網(wǎng)膜上投影有位移，同時汽車的位置也有位移。所以我們在很多全景游戲和3D游戲方面，需要在CPU上做左、右眼的渲染。

聽覺

　　目前VR的聽覺雖然沒有視覺那么被重視，但是在整個VR的沉浸式體驗中也是非常重要的，其中包括高分辨率的聲音以及基于3D的定位聲音。目前如果我們用手機(jī)或者電腦來聽音樂、看電影，如果要分辨聲音從什么地方傳過來，通常是通過聲音的強(qiáng)度來判斷的：如果來自左聲道，你會發(fā)現(xiàn)左聲道聲音大，右聲道聲音小，但是這遠(yuǎn)遠(yuǎn)達(dá)不到3D的效果。我們還需要聲音達(dá)到左、右耳時有微小的時延，而且不僅是左右，還有上下、前后，以及斜前方、斜后方等位置。我們還要通過算法，體驗到聲音已到我們面前了;我們也可以隨時改變這個函數(shù)，達(dá)到最真實的效果。

　　另外，當(dāng)聲源開始移動時，這時也一樣可以通過傳輸?shù)暮瘮?shù)計算出來，在任何一個時刻它傳到左、右耳的效果是什么樣。而且還有根據(jù)人體工程學(xué)和耳道模型做的耳道傳輸函數(shù)，會考慮人的耳廓、外耳、中耳和內(nèi)耳的人體工程學(xué)結(jié)構(gòu)，考慮到你的反射，以達(dá)到最好的效果。

　　還有一些聲源在不同的室內(nèi)環(huán)境，諸如浴室、臥室、客廳，或者在展館、室外，會產(chǎn)生不同的反射和效果，這是游戲開發(fā)者在做游戲時需要重點考慮的方面。目前PC游戲基本可以達(dá)到令人滿意的效果，但是在VR上要考慮人的頭部轉(zhuǎn)動和聲源變動，因此變量復(fù)雜得多，計算過程也更復(fù)雜。

　　目前高通領(lǐng)先的手機(jī)芯片驍龍820會支持音頻的功能，像高分辨率的音頻及噪聲技術(shù)，以及同時進(jìn)行音頻和視頻的處理。

用戶交互體驗

　　時延被認(rèn)為越短越好。關(guān)于頭部的運(yùn)動，目前市面上看到的大部分一體機(jī)或者分體機(jī)，基本有三個維度的頭部運(yùn)動：X軸、Y軸和Z軸(如圖7)，手機(jī)陀螺儀就用于此，只不過VR上把陀螺儀頻率提高了一點，提高到1000Hz或者800Hz。

　　但是實際上，當(dāng)考慮三個維度時，陀螺儀已無法達(dá)到準(zhǔn)確控制了，因為會有很多漂移。但是我們有一種技術(shù)——結(jié)合攝像頭技術(shù)，攝像頭可以放在VR前端，這樣攝像頭再結(jié)合陀螺儀的感應(yīng)器一起工作，再通過復(fù)雜的算法，就不需要任何外界設(shè)施，只需要安裝兩個可以發(fā)出可見光或者不可見光的掃描設(shè)備做移動的檢測，利用周圍靜止的物體作為參考，再結(jié)合陀螺儀就達(dá)到頭部轉(zhuǎn)動、垂直和平移的跟蹤。

　　*延遲

　　很短暫的延遲是讓用戶沒有任何感覺的，但是當(dāng)延遲達(dá)到一定程度后，用戶會感覺到有明顯的眩暈感覺。時間是多少比較合適?20ms是目前VR不感到頭暈的時間點。

　　為此我們主要做三件事情，1.頭部運(yùn)動旋轉(zhuǎn)一個角度時，需要感應(yīng)頭部的運(yùn)動。目前手機(jī)是在100Hz，采樣周期10ms，但這么低的頻率是沒法滿足要求的。我們考慮高頻方案，在三個采樣上只浪費(fèi)了不到1ms。2.圖像處理之后，我們需要根據(jù)運(yùn)動隨時產(chǎn)生新的圖像，同時需要根據(jù)特殊情況產(chǎn)生左右眼分別兩幅圖像，然后再進(jìn)行渲染，以及做到色差的校正。3.送到顯存，再通過TFT顯示讓用戶感覺到圖像隨著頭部在做運(yùn)動。

　　如上所述，我們需要在每一件事情上做優(yōu)化，VR顯示技術(shù)是用了響應(yīng)時間較短的屏幕刷新來實現(xiàn)較高的刷新率，例如90Hz、100Hz，這也是大大減少VR延遲的好辦法。所以中間這部分就留給高通等芯片廠商做GPU或者CPU的處理。

VR對處理器芯片的需求特點

　　在移動VR設(shè)備當(dāng)中有一個很艱難的挑戰(zhàn)，它不像目前的PC的VR可以通過PC來取電，因而比較輕便。但是移動VR設(shè)備的工作量卻沒有降低，完全不輸于PC的CPU，而電源功耗要求會比PC的VR嚴(yán)格很多。在系統(tǒng)端，從CPU到屏幕，整個系統(tǒng)的功耗決定了VR設(shè)備的體驗。

　　這兩個需求是相悖的，但是又是相互關(guān)聯(lián)的。當(dāng)芯片顯示技術(shù)做到較好的省電技術(shù)，這時留給工程師做設(shè)計的空間就大了很多。所以高通立志在芯片端提高電池效率，包括眼球跟蹤技術(shù)可以極大提高CPU效率，這樣讓VR設(shè)備廠商在VR設(shè)計時可以有更大的自由度，設(shè)計出更加輕便、省電、漂亮的VR設(shè)備。

　　目前VR對于芯片端的功能模塊的需求是非常高的，因此高通主推高端手機(jī)芯片—驍龍820。驍龍820里面有DPU、DSP、GPU以及CPU等。此外，高通也發(fā)布了針對于游戲和視頻開發(fā)者的SDK(開發(fā)者套件)，包含很多東西，有針對用戶交互體驗以及視覺、聽覺優(yōu)化出來的用戶接口，可以供開發(fā)者去調(diào)用，比如有DSP的技術(shù)以降低時延，也有色差校正來提高邊緣的效果，還有雙眼的渲染，單顯存的機(jī)制。

小結(jié)

　　視覺、聽覺和交互提高了移動式一體機(jī)的體驗。我們堅信一體機(jī)最終會成為市場的一個主流，可以替代目前移動不便的PC的VR，也可以替代目前為了追求低成本而制造出來的插卡式手機(jī)VR，而達(dá)到一個理想的沉浸式體驗。高通驍龍820將把領(lǐng)先的技術(shù)集成到VR當(dāng)中去。

本文來源于中國科技期刊《電子產(chǎn)品世界》2016年第5期第15頁，歡迎您寫論文時引用，并注明出處。