裸眼3D立體顯示技術(shù)詳解
引言
本文引用地址:http://cafeforensic.com/article/201710/366567.htm眾所周知,現(xiàn)實世界是一個三維空間,除去時間這一維度,現(xiàn)實世界是由長度、寬度和高度三個維度組成,我們每天就生活在這個三維世界中,而現(xiàn)有的顯示設備大多數(shù)都只能顯示二維信息,并不能帶給人真實的三維感覺。為了使顯示的物體和場景具有深度感(也就是3D),人們紛紛對3D顯示技術(shù)展開研究,經(jīng)歷了二十幾年的發(fā)展,目前已取得了十分豐碩的成果。
裸眼3D顯示器被廣泛應用于廣告、傳媒、示范教學、展覽展示以及影視等各個不同領(lǐng)域。區(qū)別于傳統(tǒng)的雙目3D顯示技術(shù),裸眼3D顯示由于擁有其裸眼的獨特特性,即不需要觀眾佩戴眼鏡或頭盔便可觀賞3D效果,且其逼真的景深及立體感,又極大提高了觀眾在觀看體驗時的視覺沖擊力和沉浸感,成為產(chǎn)品推廣、公眾宣傳及影像播放的最佳顯示產(chǎn)品。
然而,觀眾不佩戴任何設備又是如何感知3D的呢?
1、裸眼如何感知3D
現(xiàn)實世界是三維世界,人眼觀看物體時看到的圖像具有位差,兩幅圖像之間的偏差我們稱之為視差(disparity/parallax)。正是這種視差,使人們能區(qū)別物體的遠近,并獲得立體感。根據(jù)視差值的不同,視差又可分為正視差(positive parallax),負視差(negativeparallax)和零視差(zero parallax)。當觀眾在觀看時,正視差使人產(chǎn)生物體深入屏幕的感覺;負視差使人產(chǎn)生物體懸浮于屏幕外的感覺;零視差是正視差和負視差的分界,物體剛好被投射到屏幕上,即我們常說的零平面。夏天夜晚的星星離我們很遠,我們觀看星星的視線幾乎是平行的,這時視差接近于零,人眼難以區(qū)分星星的距離,因而我們覺得星星距離我們同樣遠,繁星仿佛在一個平面上沒有立體感。
人的大腦是一個極其復雜的神經(jīng)系統(tǒng),它可以將映入雙眼的兩幅具有視差的圖像,經(jīng)視神經(jīng)中樞的融合反射,以及視覺心理反應便可產(chǎn)生三維立體感覺。利用這個原理,我們可以將兩幅具有視差的左右圖像通過顯示器顯示,將其分別送給左右眼,從而獲得3D感。
裸眼3D顯示的原理一般是通過光柵或透鏡將顯示器顯示的圖像進行分光,從而使人眼接收到不同的圖像,這樣便實現(xiàn)了3D顯示。狹縫光柵顯示器通過在顯示面板前方放置一個參數(shù)合適的狹縫,對顯示的內(nèi)容進行遮擋,在經(jīng)過一定距離后,到達人眼的光線便可被分開,雙眼接收到兩幅含有視差的圖像。圖 1 中人眼就能分別看到藍色和綠色,這樣就能產(chǎn)生立體效果。
圖 1 狹縫光柵顯示原理
Fig. 1 Principle of parallax barriers display
柱狀透鏡式采用了相同的原理,只是實現(xiàn)的方式由狹縫換成了透鏡,透鏡通過對光的折射作用,將不同的顯示內(nèi)容折射到空間中不同的地方,到達人眼時顯示的內(nèi)容被分開,人眼接收到兩幅含有視差的圖像,這樣便產(chǎn)生了立體效果,如圖 2 所示。
圖 2 柱狀透鏡顯示原理
Fig. 2 Principle of lenticular lenses display
因而,裸眼立體顯示仍基于立體視覺原理,只是通過改進立體顯示器,以特定光學遮擋和光路傳播控制的方式,實現(xiàn)將含有視差的圖像分別傳送到我們的左右眼睛,進而觀看到立體影像。
2、3D視頻源格式
目前3D視頻源格式有多種,不同的視頻格式具有不同的優(yōu)缺點,本節(jié)將對幾種常見的3D視頻源格式做簡要的分析與介紹。
2.1 左右視圖
左右視圖格式采用左視圖和右視圖并排傳輸?shù)姆绞剑鐖D 3 所示。傳統(tǒng)的立體電影或立體電視一般采用基于左右視點兩路 2D 視頻的表達方式,這是由于左右視圖格式雖然水平分辨率損失了一半,但完整的保存了原左右視圖的垂直分辨率。
MPEG-2 MVP(Multi-view Profile)使用時域伸縮工具,提供了對雙目立體視頻的編碼支持。將一路視頻(左視)作為基本層,另一路視頻(右視)作為增強層。MPEG-4通過使用MAC(Multiple Auxiliary Component)存放視差信息,支持雙目立體視頻的編碼。采用左右視圖格式的3D視頻源,解碼重建原始視點的計算比較簡單,但在繪制其它虛擬視點時需要做立體匹配,因而計算較復雜,且隨著繪制視圖的視差值增大,合成的視圖質(zhì)量將隨之下降。因此,左右視圖格式較適合雙目立體顯示,在多視點自由立體顯示中應用較少。
圖 3 左右視圖3D格式
Fig.3 Side-by-side3Dformat
2.2 上下視圖
上下視圖格式采用左視圖和右視圖上下排列的方式傳輸,如圖 4 所示,這種格式與左右視圖格式類似,只是它完整的保存了原左右視圖的水平分辨率,而垂直分辨率損失了一半。
圖 4 上下視圖3D格式
Fig. 4 Top-and-bottom3Dformat
2.3 視頻+深度圖(video plus depth, V+D)
“V+D”格式包含了一幅彩色圖和相應的深度圖,如圖 5 所示,其中深度圖表達了 2D 圖像中的像素點與3D場景中真實點之間的距離,即空間信息,深度信息是非常重要的幾何信息,對3D場景的編碼和重構(gòu)具有重要的意義。采用 DIBR(Depth-Image Based Rendering)算法可以方便的繪制出任意視點。歐洲的 ATTEST 項目采用了“V+D”格式,其中 2D 彩色視頻采用MPEG-2 編碼,深度采用 MPEG-2、MPEG-4或H.264 進行編碼,“V+D”的3D格式已標準化為 MPEG-C Part3,即 ISO/IEC 23002-3。Philips已發(fā)布了基于“V+D”格式的3D顯示器接口規(guī)范白皮書,并且推出了相應的顯示器產(chǎn)品。本文采用的3D輸入視頻源格式即為“V+D”,作為DIBR系統(tǒng)的視頻輸入,通過 DIBR 系統(tǒng)繪制得到多個視點視圖,生成裸眼3D內(nèi)容。
圖 5 “V+D”3D格式
Fig. 5 Video plus depth3Dformat
2.4 多路視頻+深度(multi-view video plus depth, MVD)
由于多路視點視頻需要傳輸多路數(shù)據(jù),因而傳輸數(shù)據(jù)量太大,在實際中難以實現(xiàn),采用 MVD 格式可以有效的解決這個問題。與“V+D”格式類似,MVD 格式傳輸 2D 視頻序列和相應的深度圖序列,通過 DIBR 繪制得到虛擬視點,而與“V+D”格式不同的是,MVD 格式需要傳輸多路 2D 視頻和深度序列,多路視頻中的信息互補可以有效地解決遮擋、空洞問題,擴展視角范圍,從而使繪制的虛擬視點質(zhì)量得到了大大提高。圖 6 顯示了ballet 序列 MVD 格式。
(a) 第一個攝像機在時刻 1~4 拍攝的 ballet 彩色圖以及對應的深度圖
?。╞) 第二個攝像機在時刻 1~4 拍攝的 ballet 彩色圖以及對應的深度圖
圖 6 MVD3D格式
Fig. 6 Multi-view video plus depth3Dformat
2.5 分層深度視頻(layered depth video, LDV)
分層深度視頻格式即消除遮擋格式,是由 Philips 在“V+D”格式的基礎(chǔ)上提出的,即 LDI(layered depth image),通過再增加一層“V+D”,描述背景中被遮擋區(qū)域的視頻及深度,將3D場景分解為前景和背景,用兩層“V+D”來描述。圖 7分別為“V+D”“全背景消除遮擋”格式和“V+D”“去冗余消除遮擋”格式,全背景消除遮擋格式包含全部的背景信息及其深度圖,去冗余消除遮擋格式包含背景中被遮擋的 2D 圖像及其深度圖。此種格式較適用于深度平滑的背景上疊加虛擬合成的動畫對象的場景,對于深度層次豐富的自然場景,特別是對法線與光軸方向接近垂直的物體表面的信息,還是不能很好地表達。
圖 7 LDV3D格式
Fig. 7 Layered depth video3Dformat
3、裸眼3D顯示技術(shù)
根據(jù)顯示原理和光學結(jié)構(gòu)的不同,裸眼3D顯示技術(shù)主要有光屏障式(parallaxbarrier)、柱狀透鏡技術(shù)(lenticular arrays)以及集成成像技術(shù)(integral imaging)。
下面簡要介紹這幾種技術(shù)。
3.1 光屏障式技術(shù)
夏普公司歐洲實驗室的工程師們經(jīng)過 10 年的研究,開發(fā)了光屏障式技術(shù),基于該技術(shù)的自由立體顯示可以在三維/二維模式間進行切換,憑借該技術(shù)夏普在2002 年底成功的向市場推出了自動立體液晶顯示器。如圖 8 所示,光屏障式技術(shù)由高分子液晶層、LCD 面板、開關(guān)液晶屏及偏振膜等組成,視差障壁是通過利用液晶層和偏振膜產(chǎn)生方向為 90°的一系列垂直條紋形成的,這些垂直條紋寬幾十微米,當光通過時就形成了垂直的細條柵模式。
視差障壁是該技術(shù)實現(xiàn)裸眼3D顯示的關(guān)鍵所在,在3D顯示模式下,安置在 LCD面板及背光模塊間的視差障壁,實現(xiàn)了左眼和右眼分別接收到不同的視圖,從而使觀眾感受到3D效果。
優(yōu)點:兼容現(xiàn)有的 LCD 液晶制造工藝,因而在成本和量產(chǎn)上較具優(yōu)勢。
缺點:顯示分辨率與視點數(shù)成反比,畫面顯示亮度較低。
圖 8 光屏障式技術(shù)示意圖
Fig. 8 Illustration of parallax barrier
3.2 柱狀透鏡技術(shù)
菲利普公司基于傳統(tǒng)的微柱透鏡方法對裸眼3D顯示技術(shù)展開研究,其開發(fā)的裸眼3D顯示器是在液晶顯示屏的前面加上一層微柱透鏡,每個柱透鏡下面的圖像像素被分成 R、G、B 子像素,每個子像素通過透鏡以不同的方向投影,觀眾便可從不同的方向觀看到不同的視圖,如圖 9 所示。該技術(shù)的缺點是放大了像素間的距離,所以簡單的疊加子像素是一種難以取得好的顯示效果的做法,一種更好的方法是使一組子像素交叉排列,且讓柱透鏡與像素列呈一定的傾斜角度。
優(yōu)點:顯示亮度高,3D沉浸感更好。
缺點:與現(xiàn)有 LCD 液晶制造工藝不兼容,需要更高的成本。
圖 9 柱狀透鏡技術(shù)示意圖
Fig. 9 Illustration of lenticular lenses
3.3 集成成像技術(shù)
集成成像(最初被稱為集成攝影)已有 100 多年的歷史,集成成像使用一組球形、方形或六角形的透鏡產(chǎn)生三維圖像,它可以同時提供水平和垂直視差,屬于真三維顯示。最早提出集成成像顯示技術(shù)的實時拍攝方法是 NHK(日本廣播公司)科學與技術(shù)研究實驗室。在拍攝采集步驟中,每個鏡頭或針孔將記錄采集到的對象,這些對象被稱為元素圖像,大量小型和并列的元素圖像將在透鏡陣列后方的錄制設備上成像,圖 10 顯示了集成成像采集和顯示的原理。
優(yōu)點:屬于真三維立體顯示,在視角范圍內(nèi)可以提供近乎連續(xù)變化的視差。
缺點:技術(shù)尚不成熟,圖像顯示分辨率低,視角較小。
?。╝) 采集與顯示原理
(b) 采集與顯示過程
圖 10 集成成像技術(shù)示意圖
Fig. 10 Illustration of integral imaging
立體顯示還包含多種實現(xiàn)方式,比如:全息技術(shù)(holographicdisplay technology)、裸眼3D投影技術(shù)、頭部跟蹤技術(shù)(head tracking technology)等。
全息技術(shù)能實現(xiàn)真正的三維立體顯示,觀眾可以在不同的角度裸眼觀看影像,全息技術(shù)涉及復雜的光學技術(shù),其顯示的圖像漂浮在空中,顯示效果非常震撼。目前主要有全像式、透射式、反射式等全息顯示技術(shù),這些技術(shù)仍處于研究階段。
裸眼3D投影技術(shù)也稱建筑3D立體投影,分為建筑外巨幅墻面投影和建筑內(nèi)巨幅墻面投影兩種,目前國外應用較多的巨幅墻面投影是建筑外巨幅墻面投影。巨幅墻面投影具有科技感濃郁、3D畫面巨大、顯示效果震撼,能夠吸引社會中的不同人群駐足觀看,具有非常高的關(guān)注度,因而在產(chǎn)品宣傳、主題傳播上可以獲得很好的效果。
頭部跟蹤技術(shù)可以在只提供單視點的條件下,實現(xiàn)具有運動視差的立體顯示。
在眾多的自由立體顯示系統(tǒng)中,基于光柵的 LCD 自由立體顯示設備因其易于加工、多視點立體效果好,因而成為了市面上最早出現(xiàn)的裸眼立體顯示器,包括任天堂公司的3DS,都采用了狹縫光柵式結(jié)構(gòu),對于顯示器和電視機這種像素點距固定的設備,一般柱鏡光柵不好匹配,因此使用狹縫可以有效的解決匹配問題。
用于自由立體顯示器的光柵可以分為三大類:狹縫光柵、棱柱鏡光柵、點陣式光柵。其中,點陣式光柵很少見,本文方法主要基于狹縫光柵和棱柱鏡光柵。
評論