墻也能變?yōu)椤扮R子”？拐角處的物體也能成像？

畢業(yè)于美國(guó)西北大學(xué)的李馮強(qiáng)博士，在幾天前與合作者在 Nature Communications 發(fā)表的論文中[1]，詳細(xì)介紹了所涉及的主要技術(shù)——合成波長(zhǎng)全息術(shù)。

借助該技術(shù)可對(duì)拐角處成像，當(dāng)駕車(chē)穿過(guò)山口或蜿蜒曲折道路時(shí)，可通過(guò)顯示附近看不見(jiàn)的其他車(chē)輛或動(dòng)物，來(lái)防止交通事故的發(fā)生。

這就好比汽車(chē)行走在彎道時(shí)，在墻上安裝了一面虛擬鏡子，哪怕你的視線被擋住，依然能看到其他地方來(lái)的車(chē)輛。

另外由于是主動(dòng)成像，該技術(shù)可在夜晚甚至有霧情況下工作。其次，也可用做工業(yè)檢測(cè)，在無(wú)需拆卸的情況下，即可對(duì)設(shè)備內(nèi)部進(jìn)行高精度成像和檢修。

另一個(gè)應(yīng)用是醫(yī)學(xué)成像領(lǐng)域，由于該技術(shù)可對(duì)透過(guò)散射介質(zhì)成像，因此可以對(duì)皮膚下組織比如毛細(xì)血管進(jìn)行非侵入式高精度成像，甚至可以對(duì)胸腔中跳動(dòng)的心臟成像。

來(lái)自于湖北荊門(mén)的李馮強(qiáng)博士，本科畢業(yè)于華中科技大學(xué)光電信息工程專業(yè)，碩士就讀于美國(guó)里海大學(xué)電子工程專業(yè)，2020 年在美國(guó)西北大學(xué)取得計(jì)算機(jī)科學(xué)的博士學(xué)位，期間主要從事計(jì)算成像方面的工作。在攻讀博士期間，李博士和萊斯大學(xué)、威斯康辛麥迪遜大學(xué)、南衛(wèi)理公會(huì)大學(xué)、阿貢國(guó)家實(shí)驗(yàn)室，以及大連海事大學(xué)的趙明博士有廣泛的合作。

李博士目前就職于蘋(píng)果公司，從事三維計(jì)算機(jī)視覺(jué)方面的算法研發(fā)工作。來(lái)到蘋(píng)果之前，他曾在谷歌 X 實(shí)驗(yàn)室和 Facebook Reality Labs 分別實(shí)習(xí)過(guò)，期間進(jìn)行機(jī)器視覺(jué)和 AR/VR 的研究工作。本次發(fā)表的論文，是他讀博期間的代表作。

他表示，該研究是對(duì)位于遮擋或者散射介質(zhì)后的物體進(jìn)行成像，也可稱為非視線成像。與之前的非視線成像技術(shù)相比，該方法能以亞毫米的精度，快速捕獲大面積的全場(chǎng)圖像。

之前大部分非視線成像技術(shù)是基于飛行時(shí)間傳感技術(shù) （time-of-flight），這類非視線成像需要通過(guò)振鏡掃描來(lái)捕獲全場(chǎng)圖像，這種基于機(jī)械掃描的方式不僅耗時(shí)，而且也限制了圖像的分辨率。

另外一些基于記憶效應(yīng) (memory effect) 的非視線成像技術(shù)，雖然擁有較小的探測(cè)區(qū)域、以及出色的空間分辨率，但是這些技術(shù)的掃描視角極小一般在 2 度以下，故此這類技術(shù)在應(yīng)用上會(huì)受到限制。

而該研究提出的非視線成像技術(shù)是基于合成波長(zhǎng)全息術(shù) (synthetic wavelength holography)。由于光波的波長(zhǎng)較短大約有幾百個(gè)納米，當(dāng)光波照射到粗糙的墻面的時(shí)候，會(huì)發(fā)生散射效應(yīng)，從而導(dǎo)致光波平面被破壞，也就無(wú)法得到光波所攜帶的物體結(jié)構(gòu)的信息，因?yàn)檫@些信息很難被解碼。

如果波長(zhǎng)變長(zhǎng)的話，波平面就會(huì)不容易被破壞，甚至可以穿透墻體成像比如聲波。從物理課中我們知道，當(dāng)兩個(gè)頻率相近但不同的聲波發(fā)生干涉時(shí)，會(huì)得到一個(gè)頻率是原先兩個(gè)聲波頻率之差的聲波，這個(gè)頻率之差的絕對(duì)值被稱為差頻 (beat frequency)。

而合成波長(zhǎng)全息術(shù)正是基于這一想法，通過(guò)兩束頻率相近的激光光束，來(lái)得到一個(gè)頻率低和波長(zhǎng)較長(zhǎng)的（cm）的光波，這樣即可實(shí)現(xiàn)把墻面變“鏡面”，從而對(duì)拐角處的物體成像，以及穿透散射介質(zhì)后的對(duì)物體進(jìn)行成像。

在非視線成像中，基于合成波長(zhǎng)全息術(shù)可使用更小的探測(cè)區(qū)域、更大的角度視場(chǎng)、以及更高的空間分辨率。同時(shí)在成像系統(tǒng)中，使用焦平面陣列相機(jī)還可避免之前研究中的機(jī)械掃描，從而獲得更高的時(shí)間分辨率，這樣就能具備對(duì)移動(dòng)目標(biāo)的成像能力。

盡管這項(xiàng)工作目前還處于研究階段，但其具有很多潛在的應(yīng)用。我們知道在平常拍照時(shí)，相機(jī)只能記錄暴露在相機(jī)視場(chǎng)的物體信息而無(wú)法記錄被物體遮擋的信息。而非視線成像正是打破這一限制。

舉例來(lái)說(shuō)，通過(guò)門(mén)縫可以看到房間里的信息，這是因?yàn)楣饩€存在彎折。如果用傳統(tǒng)相機(jī)拍照的話，則無(wú)法通過(guò)門(mén)縫看到房里面的信息，這時(shí)就可借助該技術(shù)通過(guò)門(mén)縫也能看到房間內(nèi)所有物體的信息。

另外以汽車(chē)預(yù)警導(dǎo)航為例，汽車(chē)駕駛在彎道時(shí)通常會(huì)放置一個(gè)曲面鏡。這樣就可看到對(duì)面方向來(lái)的車(chē)，從而避免交通事故。非視線成像的實(shí)現(xiàn)起到類似的作用，假設(shè)車(chē)輛行走在道路蜿蜒時(shí)看不到前方的車(chē)，借助拐角成像，就可在拐角處看到平常用相機(jī)拍不到的信息，進(jìn)而看到彎道后面的車(chē)輛信息，最終實(shí)現(xiàn)避免交通事故的發(fā)生。

再比如說(shuō)，通過(guò)一面墻看到墻拐角的物體地方，我們可以把墻面理解成一個(gè)散射介質(zhì)，這時(shí)使用傳統(tǒng)相機(jī)無(wú)法透過(guò)墻面這一散射介質(zhì)看到拐角信息。但是，因?yàn)樵撗芯繋?lái)的合成波長(zhǎng)足夠長(zhǎng)，墻面帶來(lái)散射影響并不是很大，所以墻面就能變成一個(gè)反射鏡。

對(duì)于透射介質(zhì)來(lái)說(shuō)，比如通過(guò)皮膚看皮下組織信息時(shí)，我們可以把皮膚看作是一個(gè)遮擋物，它會(huì)阻礙相機(jī)對(duì)皮下組織的成像，但是該研究提出的合成波由于波長(zhǎng)足夠長(zhǎng)，使其可穿過(guò)遮擋物對(duì)皮下組織進(jìn)行成像。

據(jù)介紹，這項(xiàng)研究由李博士的同事弗洛里安·威洛米策（Florian Willomitzer）博士領(lǐng)導(dǎo)，李博士作為共同作者參與了整個(gè)項(xiàng)目的研發(fā)，包括項(xiàng)目論證以及理論分析，實(shí)驗(yàn)平臺(tái)搭建以及實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果分析和討論，重建算法開(kāi)發(fā)等，其博士導(dǎo)師西北大學(xué)計(jì)算機(jī)科學(xué)副教授奧利弗·科薩特（Oliver Cossairt）則負(fù)責(zé)指導(dǎo)該研究。

這項(xiàng)研究的靈感，來(lái)自該團(tuán)隊(duì)在飛行時(shí)間三維成像技術(shù)的工作。之前，該團(tuán)隊(duì)通過(guò)使用合成光波實(shí)現(xiàn)了對(duì)大尺度的物體高精度的三維掃描，相關(guān)論文發(fā)表在 IEEE International Conference on Computational Photography （ICCP）2018和 IEEE Transactions on Pattern Analysis and Machine Intelligence 2021。李博士作為第一作者和通訊作者領(lǐng)導(dǎo)了這兩項(xiàng)工作。

與此同時(shí)由于是計(jì)算成像，該研究涉及到各種交叉學(xué)科，包含物理建模，光學(xué)設(shè)計(jì)，電子器件的耦合控制，數(shù)據(jù)的采集及處理，以及圖形處理和重建及優(yōu)化算法開(kāi)發(fā)。

在本次研究中，該團(tuán)隊(duì)先是跟南衛(wèi)理公會(huì)大學(xué)幾位合作者進(jìn)行了理論分析，接著進(jìn)行仿真模擬實(shí)驗(yàn)，模擬在不同的粗糙墻面單波長(zhǎng)和合成波長(zhǎng)的反射以及散射效應(yīng)，并且開(kāi)發(fā)了二維和三維重建算法。

通過(guò)模擬實(shí)驗(yàn)，該團(tuán)隊(duì)更深一步地理解了在整個(gè)成像過(guò)程中的物理效應(yīng)和原理。最后，李博士等人進(jìn)行實(shí)際實(shí)驗(yàn)論證、搭建實(shí)驗(yàn)平臺(tái)、開(kāi)發(fā)實(shí)驗(yàn)采集、數(shù)據(jù)處理以及重建算法，并在不同的非視線成像情況 包括拐角處以及散射介質(zhì)后，對(duì)物體進(jìn)行成像。

相比于之前的研究，該團(tuán)隊(duì)提出了一種全新的非視線成像的解決方案，審稿人也給出了積極評(píng)價(jià)，對(duì)于研究結(jié)果也很興奮。

據(jù)李博士介紹，他們?cè)谘芯恐幸灿龅搅艘恍├щy。他表示在實(shí)驗(yàn)驗(yàn)證時(shí)碰到和解決各種工程問(wèn)題，很多問(wèn)題在模擬仿真中并未被注意到。

比如，實(shí)驗(yàn)平臺(tái)搭好以后發(fā)現(xiàn)得到的合成波長(zhǎng)全息圖非常的弱，排查了所有硬件和處理算法后，發(fā)現(xiàn)是參考光和物光的強(qiáng)度不匹配，通過(guò)調(diào)整參考光的強(qiáng)度，他們最終順利得到了預(yù)想中的合成波長(zhǎng)全息圖。

對(duì)于該研究的后續(xù)工作，據(jù)李博士介紹，該團(tuán)隊(duì)計(jì)劃在圖像采集速度，成像質(zhì)量，圖像處理上進(jìn)一步提高。同時(shí)在系統(tǒng)集成上，該團(tuán)隊(duì)也希望使整體系統(tǒng)更加小型和輕便化。

-End-

參考：

1.Willomitzer, F., Rangarajan, P.V., Li, F. et al. Fast non-line-of-sight imaging with high-resolution and wide field of view using synthetic wavelength holography. Nat Commun12, 6647 (2021). https://doi.org/10.1038/s41467-021-26776-w