隨著AR和VR設(shè)備開始成為我們工作和娛樂方式的重要組成一環(huán)，我們?nèi)绾卧谡鎸?shí)世界和虛擬世界之間保持無(wú)縫的社交聯(lián)系呢？換句話說(shuō)，AR/VR體驗(yàn)之外和之內(nèi)的人們?nèi)绾卧谝粋€(gè)共享空間中保持“社交共在感”呢？
Facebook Reality Labs Research（FRL）在在SIGGRAPH大會(huì)就VR頭顯的共在感提出了一個(gè)新概念：“反向透視虛擬現(xiàn)實(shí)（Reverse Passthrough VR）”。簡(jiǎn)單來(lái)說(shuō)，反向透視這個(gè)實(shí)驗(yàn)性研究演示允許外界看到頭顯用戶的眼睛。這與Quest如今通過(guò)PasstThrough+和實(shí)驗(yàn)性PasstThrough API可以實(shí)現(xiàn)的功能形成對(duì)比，后者是利用外置攝像頭幫助頭顯用戶輕松看到周遭物理環(huán)境。
多年來(lái)，Oculus在實(shí)現(xiàn)透視功能方面已經(jīng)取得了長(zhǎng)足的進(jìn)步。這項(xiàng)實(shí)驗(yàn)性的反向透視研究由研究科學(xué)松田內(nèi)森（Nathan Matsuda）提出。有一次，他在辦公室里體驗(yàn)啟用Passthrough功能的Quest頭顯，并思考如何提高混合現(xiàn)實(shí)在社交和職業(yè)環(huán)境中無(wú)縫性。利用透視，他可以清楚地看到周圍的同事，但對(duì)方卻看不到自己的表情變化。所以每次在對(duì)話時(shí)，別人都會(huì)說(shuō)無(wú)法進(jìn)行眼神交流有多么奇怪。所以，松田提出了一個(gè)問(wèn)題：如果能看到對(duì)方的眼睛會(huì)如何？這會(huì)給社交帶來(lái)什么變化嗎？
當(dāng)松田在2019年第一次向FRL首席科學(xué)家邁克爾·亞伯拉什（Michael Abrash）演示反向透視時(shí)，亞伯拉什對(duì)這項(xiàng)研究的實(shí)用性并不信服。在演示中，松田佩戴了一個(gè)前端配備了顯示屏的定制Rift S頭顯。然后，游戲引擎可以粗略渲染松田的浮動(dòng)面容3D圖像，并利用眼動(dòng)追蹤攝像頭發(fā)出的信號(hào)來(lái)重新生成眼睛注視。
亞伯拉什回憶道：“我的第一反應(yīng)是，這是一個(gè)愚蠢的想法，最多只能算是新奇玩意。但我不會(huì)告訴研究人員應(yīng)該怎么做，因?yàn)槿绻麤]有嘗試新概念的自由，你就無(wú)法獲得創(chuàng)新。這是好事，因?yàn)楝F(xiàn)在這顯然是一個(gè)非常具有前景的獨(dú)特想法。”
在首次演示過(guò)去兩年后，3D顯示技術(shù)和研究原型有了顯著的進(jìn)展，擁有了專門構(gòu)建的光學(xué)、電子、軟件和一系列支持技術(shù)，能夠幫助設(shè)備捕獲和繪制逼真的3D人臉。這一進(jìn)展十分具有前景，但研究依然只是實(shí)驗(yàn)性質(zhì)：存在一系列的線纜，遠(yuǎn)不是一體式設(shè)備，而且眼睛和面容渲染不夠逼真。然而，這是一個(gè)以FRL核心的自由探索理念為精神設(shè)計(jì)的研究原型。盡管研究離實(shí)際的產(chǎn)品路線圖尚十分遙遠(yuǎn)，但它確實(shí)提供了關(guān)于反向透視如何應(yīng)用到未來(lái)協(xié)作空間的一瞥。
左邊：沒有啟用外置顯示器的頭顯原型；中間：采用2D顯示器的頭顯原型；右邊：采用FRL團(tuán)隊(duì)的3D顯示器的頭顯原型
1. 反向透視
反向透視的關(guān)鍵要素是外置3D顯示器。你可以簡(jiǎn)單地在頭顯前端放置一塊2D顯示器，并在上面顯示用戶面容的平面投影。但對(duì)于這種解決方案，實(shí)際人臉到頭顯前端的任何偏移都會(huì)產(chǎn)生不和諧、不自然的視覺感知，并嚴(yán)重影響真正的眼神交流。隨著研究原型的發(fā)展，3D顯示器顯然是一個(gè)正確的方向，因?yàn)樗梢詫⒂脩舻难劬兔嫒蒌秩镜秸_的空間位置。隨著第三方相對(duì)于3D顯示器移動(dòng)時(shí)，這能夠保持相關(guān)眼神面容的對(duì)齊。
顯示3D圖像存在多種已確立的方法。在這項(xiàng)研究中，F(xiàn)RL團(tuán)隊(duì)采用了微透鏡陣列光場(chǎng)顯示器，因?yàn)樗浅１?，結(jié)構(gòu)簡(jiǎn)單，并且基于現(xiàn)有的消費(fèi)者LCD技術(shù)。這種顯示器采用一個(gè)微型透鏡網(wǎng)格，由不同的LCD像素向不同的方向發(fā)射光線。這樣，當(dāng)?shù)谌綇牟煌姆较蚩聪蝻@示器時(shí)，其可以看到不同的圖像。圖像的透視角度會(huì)自然變化，所以房間中的所有人都可以看到光場(chǎng)顯示，看到其位置的正確透視圖。
與任何早期的研究原型一樣，這種硬件依然存在非常大的局限性：第一，視角不能太大；第二，原型只能顯示距離物理屏幕表面幾厘米以內(nèi)的清晰焦點(diǎn)對(duì)象。對(duì)話需要面對(duì)面進(jìn)行，這自然限制了反向透視視角。
當(dāng)然，人臉離實(shí)際屏幕表面只有幾厘米，這非常適合當(dāng)前的情況，而如果虛擬現(xiàn)實(shí)頭顯繼續(xù)縮小尺寸，采用全息光學(xué)元件等方法，效果會(huì)進(jìn)一步提升。
2. 打造研究原型
FRL的研究人員在早期的探索中使用了Rift S。隨著概念的演進(jìn)，團(tuán)隊(duì)開始用Half Dome 2進(jìn)行迭代，以構(gòu)建今年在SIGGRAPH展示的研究原型。機(jī)械研究工程師喬爾·赫格蘭（Joel Hegland）用最基礎(chǔ)的裸架提供了一個(gè)大約50毫米厚的VR頭顯，以作為最新反向透視演示的基礎(chǔ)。然后，光學(xué)科學(xué)家布賴恩·惠爾賴特（Brian Wheelwright）設(shè)計(jì)了一個(gè)裝載到頭顯前端的微透鏡陣列。
最終的頭顯包含兩個(gè)彼此鏡像的顯示盒。它們具有一個(gè)LCD面板和用于基礎(chǔ)VR顯示的透鏡。一圈紅外LED照亮由裸架覆蓋的人臉。在透鏡和屏幕之間搭載一面只反射紅外光的鏡子，這樣紅外攝像頭就可以幾乎正面地觀察眼睛。在不可見的紅外波段進(jìn)行所述操作可以避免眼睛成像系統(tǒng)分散用戶對(duì)VR顯示器本身的注意力。然后，裸架的前端包括另一個(gè)帶有微透鏡陣列的LCD。
3. 在3D中成像雙眼和面容
由光場(chǎng)顯示器成像交錯(cuò)的3D圖像本身就是一個(gè)重大挑戰(zhàn)。對(duì)于這個(gè)研究原型，松田及其團(tuán)隊(duì)選擇使用一對(duì)立體攝像頭來(lái)生成面容的表面模型，然后將眼睛視圖投影到所述表面。盡管產(chǎn)生的投影眼睛和面容并不逼真，但這只是為日后發(fā)展鋪平道路的短期解決方案。
FRL的Codec Avatars研究指明了下一代的成像方案。Codec Avatars是人臉、表情、聲音和身體的真實(shí)表示。通過(guò)深度學(xué)習(xí)，它可以由VR頭顯實(shí)采集的一組緊湊測(cè)量數(shù)據(jù)中驅(qū)動(dòng)。所述虛擬化身對(duì)于反向透視應(yīng)該更為有效，允許實(shí)現(xiàn)一個(gè)統(tǒng)一的人臉表現(xiàn)系統(tǒng)。
如下所示，這是FRL匹茲堡實(shí)驗(yàn)室的一個(gè)Codec Avatar研究，由反向透視頭顯原型運(yùn)行。與使用當(dāng)前立體攝像頭方法拍攝的圖像相比，相關(guān)圖像及其隨時(shí)間的運(yùn)動(dòng)看起來(lái)要逼真得多。這表明，所述系統(tǒng)在與遠(yuǎn)程臨場(chǎng)感系統(tǒng)協(xié)同工作時(shí)可以提供進(jìn)一步的改進(jìn)。
顯示Codex Avatar面容構(gòu)建的反向透視原型
4. 通向社交共在感的道路
完全沉浸式VR和AR眼鏡是兩種根本不同的技術(shù)。從長(zhǎng)遠(yuǎn)來(lái)看，這兩種技術(shù)可能最終會(huì)為不同場(chǎng)景中的不同用戶提供服務(wù)。在特定情況下，人們需要AR眼鏡的透明光學(xué)系統(tǒng)；在其他情況下，用戶更喜歡VR的沉浸感。在邁克爾·亞伯拉什的指導(dǎo)下，F(xiàn)acebook Reality Labs Research在探索新技術(shù)概念方面采用了廣撒網(wǎng)的策略，以便在這兩種顯示架構(gòu)中向前推進(jìn)。充分探索這一領(lǐng)域?qū)⒋_保實(shí)驗(yàn)室掌握未來(lái)AR/VR設(shè)備的所有可能性和局限性，并最終以一種支持大多數(shù)人機(jī)交互的方式來(lái)將所述發(fā)現(xiàn)付諸實(shí)踐。
反向透視是這類研究的代表：一個(gè)來(lái)自實(shí)驗(yàn)室的想法是如何推動(dòng)VR頭顯實(shí)用性的向前發(fā)展。在今年下半年，團(tuán)隊(duì)將對(duì)所述顯示系統(tǒng)研究進(jìn)行更為全面的介紹，并展示從變焦、全息光學(xué)、眼動(dòng)追蹤、失真校正到反向透等是如何協(xié)作，并通過(guò)虛擬現(xiàn)實(shí)版的視覺圖靈測(cè)試。
團(tuán)隊(duì)表示：“最終，這些創(chuàng)新和更多的創(chuàng)新將共同創(chuàng)造出緊湊、輕便、全天可佩戴的虛擬現(xiàn)實(shí)頭顯，并將高質(zhì)量的虛擬圖像與高質(zhì)量的真實(shí)圖像混合在一起。這樣，不管對(duì)方是在地球的另一邊還是站在旁邊，你都可以和世界上的任何人共在一起。實(shí)現(xiàn)這一目標(biāo)是我們Facebook Reality Labs Research的目標(biāo)。”
