AR/VR和神經(jīng)接口研究將為未來的元宇宙奠定基礎(chǔ)，但眼見為實。對于這項由Reality Labs首席科學(xué)家邁克爾·亞伯拉什（Michael Abrash）領(lǐng)導(dǎo)的研究，大部分緩都需要數(shù)年的時間才能與消費者見面，而且不是每個人都能前往Reality Labs位于美國華盛頓州雷得蒙德的實驗室親身體驗。
但證據(jù)就在產(chǎn)品之中。很快，你將能夠親自體驗Quest Pro，并親眼感受團隊的部分研究成果，例如手部追蹤和Pancake光學(xué)模組。所述兩個項目都是從研究項目開始，而經(jīng)過多年的實驗室原型制作后，研究和產(chǎn)品團隊作為一個整體終于能夠?qū)⑺黾夹g(shù)帶到人們手里。
當(dāng)然，團隊將會繼續(xù)為大家?guī)眢@喜。Reality Labs正在發(fā)明一個全新的計算平臺，一個圍繞人、聯(lián)結(jié)和關(guān)系構(gòu)建的平臺。在Meta Connect大會，亞伯拉什與首席執(zhí)行官馬克·扎克伯格分享了Reality Labs研究工作的最新進展。下面是具體的整理：
1. 下一代界面
隨著計算機在過去半個世紀的發(fā)展，個人電腦、筆記本電腦、平板電腦和智能手機應(yīng)運而生，圖形用戶界面（GUI）在很大程度上定義了人們對數(shù)字世界的體驗，為與之交互提供了全新的可能性。但當(dāng)我們展望未來的AR眼鏡和下一代VR頭顯時，我們看到了人機交互模式轉(zhuǎn)變的必要性，而這將有助于新設(shè)備在一天中可能遇到的各種情況下發(fā)揮作用，同時允許你完全活在當(dāng)下，專注于世界和周圍的人和事。
對于新的輸入方式（Mea押注于使用肌電圖（EMG）進行基于手腕的交互），Meta對未來的展望需要能夠與未來設(shè)備（尤其是AR眼鏡）協(xié)同工作，從而感知和重建周圍世界，并理解設(shè)備環(huán)境的個性化人工智能。有了這樣的理解，人工智能將能夠提出建議并采取相應(yīng)行動，幫助你完成任務(wù)（理想情況下，你甚至可能不會注意到）。
將個性化人工智能與肌電圖相結(jié)合： 肌電圖將通過手腕的神經(jīng)肌肉信號直接作為輸入信號，這樣你將擁有一個直觀、幾乎無摩擦的界面。這將是第一個真正以人為中心的界面，部分原因是它不會強迫人們學(xué)習(xí)一個困難的新型控制方案。相反，未來的設(shè)備將在你使用時學(xué)習(xí)并適應(yīng)你。通過將機器學(xué)習(xí)和神經(jīng)科學(xué)相結(jié)合，這種未來的界面將適用于不同的人員，同時通過一種稱為“共同適應(yīng)學(xué)習(xí)”的過程來解釋他們在生理、大小等方面的差異。
在第一個演示內(nèi)容中，你可以看到兩個人使用基于手腕的肌電圖開玩街機游戲。盡管他們都在游戲中使用相同的手勢進行控制，但他們的手勢執(zhí)行方式略有不同。每次他們中的一個人執(zhí)行手勢時，算法都會適應(yīng)解釋這個特定人員的信號，所以每個人的自然手勢都能快速可靠地識別出來。換句話說，隨著時間的推移，系統(tǒng)能夠更好地理解它們。協(xié)同適應(yīng)學(xué)習(xí)的潛力不僅限于全手勢，而且包括微手勢。算法能夠?qū)崟r學(xué)習(xí)如何對肌電信號作出反應(yīng)，即人們激活并發(fā)送到手上的肌電信號，只需手部的輕微動作。
系統(tǒng)可以解碼手腕信號并將其轉(zhuǎn)換為數(shù)字命令，從而識別用戶決定執(zhí)行的動作。這樣你幾乎不需要任何手部動作就可以將想要實現(xiàn)的動作傳達給計算機。正如GUI標(biāo)志著我們與計算機交互方式的巨大變化一樣，EMG有潛力徹底改變我們與數(shù)字世界的交互方式：我們不僅可以做更多的事情，而且可以以我們想要的方式實現(xiàn)。在Connect大會，扎克伯格展示了一個可以通過運動神經(jīng)元信號控制AR/VR設(shè)備的演示內(nèi)容。
通過微妙的動作，你可以查看信息和進行拍照等等。手勢越微妙，體驗就越流暢和輕松。你不必掏出手機就可以完成操作。
這只是開始。真正的AR眼鏡及其未來的界面有望解鎖更加有用的交互，例如能夠右鍵單擊物理對象或位置以獲取相關(guān)詳細信息，更好地控制我們的設(shè)備而無需遠離我們周圍的世界，并從個性化的AI數(shù)字助理獲取主動幫助。它們將共同為計算提供一種更加自然、以人為中心的方法，并可能為我們帶來尚未想到的全新可能性。
這種未來的接口將真正改變我們的生活。一個特別鼓舞人心的例子是卡內(nèi)基梅隆大學(xué)的NavCog項目：幫助視力受損者。
2.RealityLabs與卡內(nèi)基梅隆大學(xué)合作的最新情況
Reality Labs兩年前在Connect大會亮相了Project Aria。這個全新的研究項目旨在幫助團隊構(gòu)建第一代可穿戴AR設(shè)備。作為公告的一環(huán)，Meta宣布與卡內(nèi)基梅隆大學(xué)及其Cognitive Assistance Laboratory實驗室進行合作試點，共同構(gòu)建博物館和機場的3D地圖。這種地圖將具有多種應(yīng)用，包括幫助視覺障礙患者更好地在室內(nèi)導(dǎo)航，因為室內(nèi)GPS信號通常無法到達。
今天，Reality Labs分享了這個項目的最新情況。
NavCog是由卡內(nèi)基梅隆大學(xué)開發(fā)的智能手機應(yīng)用，旨在幫助視覺障礙者更好地在室內(nèi)環(huán)境中導(dǎo)航?？▋?nèi)基梅隆大學(xué)的研究人員利用Project Aria繪制了匹茲堡國際機場的3D地圖。然后，他們可以使用所述地圖來訓(xùn)練在手機端運行的人工智能本地化模型。有了NavCog，人們可以知道自己在機場的什么地方，無需依賴機場周圍的外部藍牙信標(biāo)。這是一個重要的發(fā)展，因為它表明了最終大規(guī)模部署NavCog的能力。
3. 將物理對象引入元宇宙
構(gòu)建和操作3D對象的能力將在元宇宙中發(fā)揮關(guān)鍵作用。例如，想象一下在Horizon Home中展示一件珍貴的傳家寶，或者能夠在購買實物家具之前通過AR查看相應(yīng)的效果。從零開始構(gòu)建3D對象十分困難，使用物理對象作為模板可能更容易、更快速。但目前尚沒有無縫的方法來實現(xiàn)這一目標(biāo)，所以Reality Labs正在研究兩種不同的技術(shù)來幫助解決這個問題。
第一種方法使用基于機器學(xué)習(xí)的神經(jīng)輻射場（NeRFs），從不同角度拍攝的多個2D圖像重建3D對象的外觀。這種方法甚至可以再現(xiàn)對象的最精細細節(jié)。
盡管需要一定的處理時間，但結(jié)果令人印象深刻。紋理非常清晰，你可以拾取細膩的細節(jié)，如單根毛發(fā)。
第二種技術(shù)直接捕獲幾何圖形和外觀。團隊使用一種稱為Inverse Rendering反向渲染的不同技術(shù)來掃描一個對象，并將其數(shù)字孿生帶到VR或AR。它能夠動態(tài)響應(yīng)VR環(huán)境中的照明。當(dāng)你把它拋向空中，把它扔到墻上，或者把它彈離地面時，它的反應(yīng)與實物的反應(yīng)相同。
這兩種技術(shù)暫時都無法實時運行，而且都有其局限性。但對于幫助人們輕松地將物理對象變成虛擬世界一部分的這一目標(biāo)，它們都是重要的一步。
4. Codec Avatars更新
元宇宙中的Avatar將有多種風(fēng)格。但如果你能真正忠實地再現(xiàn)自己，并用它與其他人互動呢？這將是迄今為止最強大的遠程聯(lián)結(jié)技術(shù)，并創(chuàng)造一種真正的社交體驗。你會感覺自己就在那里，與其他人共在一起。在2021年，Reality Labs已經(jīng)分享了全身Codec Avatars的早期進展。與你可能見過的其他高質(zhì)量Avatar相比，Codec Avatars的區(qū)別在于，它們可以實時自動生成和驅(qū)動，匹配真實人員的外觀和暈動。這意味著它們不限于預(yù)設(shè)動作，你可以實時控制他們。Reality Labs正繼續(xù)開發(fā)這項技術(shù)，而在今天的大會中，他們表示現(xiàn)在已經(jīng)可以改變Codec Avatars的虛擬服飾。
這意味著，未來你將能夠無縫地從動作游戲會話跳到重要的商務(wù)會議，然后回到你的首空間環(huán)境，與朋友或家人在元宇宙中閑逛。
Meta同時展示了他們在Codec Avatars 2.0方面的最新進展。相關(guān)的研究項目旨在幫助合成的面部表情能夠更真實地契合我們的身體形態(tài)。
團隊令Codec Avatars 2.0更具表現(xiàn)力。除了看左、看右、看上、看下等簡單的動作外，Reality Labs同時整合了人們相互交流和理解語氣所依賴的非語言線索，比如揚眉、瞇眼和睜大眼睛。通過更好地捕捉微妙的表情，Codec Avatars 2.0現(xiàn)在更加逼真和自然。你甚至可以控制Codec Avatars 2.0的照明，從而添加另一個維度的真實感。
Codec Avatars令人印象深刻，但它們需要很長時間才能生成，所以Reality正在研究一種更快的解決方案來供人們在未來使用：Instant Codec Avatars。
Instant Codec Avatars比Codec Avatars更快、更容易制作。掃描所需只是智能手機和像樣的照明。以中性表情從多個角度掃描人臉大約30秒，然后在繼續(xù)掃描時再花90秒做出各種表情即可。目前，在掃描過程之后生成一個Instant Codec Avatars需要幾個小時，但團隊正在努力減少總體處理時間。
Reality Labs在Instant Codec Avatars方面取得了非常大的進展。盡管它們的質(zhì)量和逼真度不如Codec Avatars 2.0，但Instant Codec Avatars依然令人感覺逼真和富有表現(xiàn)力。另外，因為掃描所需的只是你的手機，所以它們更容易普及。
團隊強調(diào)，這項工作依然處于研究階段，它可能會，或者可能永遠不會成為實際產(chǎn)品。不過，這只是未來五到十年技術(shù)發(fā)展方向的一瞥。Reality Labs評論道：“我們在過去數(shù)年的研究為未來的發(fā)展奠定了堅實的基礎(chǔ)?！?/p>
