去年 Meta 推出了其 MR 開發(fā)平臺 Presence Platform，這是該公司的機器感知和 AI 功能套件，使開發(fā)人員能夠構建 MR 和基于自然交互的體驗。近日，隨著 Meta Quest Pro 在 Connect 2022 大會上推出，該公司正在解鎖全彩 MR，并為其存在平臺的核心堆棧引入新的支柱：社交存在。
使用運動 SDK 進行社交展示
Meta 推出了運動 SDK，這是其 Presence Platform 的最新功能。運動 SDK 由 Meta 的眼睛、面部和三點式身體跟蹤功能組成，這些功能使虛擬化身能夠使用 Meta Quest Pro 的內(nèi)向傳感器實時模仿面部動作，這也是在 Meta Horizon Worlds 及其工作室中驅(qū)動化身的相同基礎技術。
眼部和面部跟蹤功能
運動 SDK 包括 Meta Quest Pro 中新技術開辟的眼睛和面部跟蹤功能，在頭顯內(nèi)部有五個紅外傳感器指向用戶的臉部。其中三個傳感器指向眼睛和上臉，兩個傳感器指向下臉。據(jù)該公司稱，面部跟蹤由機器學習模型驅(qū)動，該模型可讓 Meta Quest Pro 檢測各種面部動作。
為了使化身看起來富有表現(xiàn)力但仍然感覺自然，通過運動 SDK 輸出的抽象面部運動數(shù)據(jù)由基于“面部動作編碼系統(tǒng)（FACS）”的線性混合形狀表示，一系列零對一的值，對應于一組通用面部動作（例如鼻子的揉搓或眉毛皺起）。
Meta 表示，這些信號將使開發(fā)人員在將信號從面部跟蹤 API 映射到角色裝備時更容易保留用戶原始動作的語義含義，無論他們的角色是人形還是其他東西。Meta 與內(nèi)部藝術家團隊合作，創(chuàng)造了一個名為 Aura 的外星角色，Aura 將作為示例提供，開發(fā)人員本月晚些時候可以從 GitHub 下載。
除了社交存在之外，開發(fā)人員還可以使用對某人在 VR 中查看位置的估計作為輸入來構建新的交互和體驗，類似于手部跟蹤。根據(jù) Meta 的說法，這意味著人們將能夠根據(jù)他們正在尋找的位置與虛擬內(nèi)容進行交互。
從隱私的角度來看，Meta 表示，應用程序永遠不會從這些功能中獲取用戶眼睛和面部的原始圖像數(shù)據(jù)，而只能訪問一組數(shù)字，這些數(shù)字可以估計某人在 VR 中的位置及其面部運動。開發(fā)人員和 Meta 無法訪問眼睛和面部圖像，因為它們在處理后會被刪除，并且永遠不會離開頭顯。
身體追蹤接口
運動 SDK 現(xiàn)已推出，還包括 Meta 的身體跟蹤 API。該 API 根據(jù)控制器或手相對于頭顯的位置使用三點跟蹤。為了保持沉浸感，Meta 表示它使用一個大型的真實人類運動數(shù)據(jù)集來學習和糾正簡單反向運動學（IK）方法常見的錯誤。
身體跟蹤 API 在玩家使用控制器或僅使用手時都有效。在這兩種情況下，還提供了包括手在內(nèi)的完整模擬上半身骨架。該 API 還會自動處理玩家放下控制器并開始使用手的情況，而無需開發(fā)人員進行任何額外的邏輯處理。
據(jù)該公司稱，身體追蹤 API 適用于 Meta Quest Pro 和 Meta Quest 2，它將適用于未來的 Meta Quest VR 設備，未來幾年將通過相同的 API 提供對身體追蹤的新改進。
混合現(xiàn)實功能
該公司推出的新混合現(xiàn)實功能包括：場景理解、全彩色 Passthrough 和共享空間定位點。
場景理解
Meta 的場景理解功能于今年早些時候發(fā)布，使開發(fā)人員能夠創(chuàng)建 MR 體驗，以適應用戶的個人空間，從而提高沉浸感。數(shù)字內(nèi)容可以與物理世界進行交互，支持遮擋、碰撞、導航網(wǎng)格和斑點陰影，所有這些都可以提高 MR 中的沉浸感和真實感。
全彩色 Passthrough
Passthrough 為 VR 中的人們提供了周圍物理世界的實時表示，并允許開發(fā)人員構建將虛擬內(nèi)容與物理世界融合在一起的體驗。Meta Passthrough 功能的下一步是顯而易見的是全彩色Passthrough。雖然 Meta Quest 2 使用了黑白 Passthrough 模式，但 Meta Quest Pro 就是為此設計的。使用 Passthrough 構建的 Quest 2 應用程序仍然可以在 Meta Quest Pro 上使用。
借助 Meta Quest Pro 的高級傳感器和 4 倍像素數(shù)量，開發(fā)人員現(xiàn)在可以構建體驗，讓人們參與虛擬世界，同時保持全彩在物理空間中的存在。這要歸功于該公司對高級立體視覺算法的投資，這些算法有助于為特寫和房間規(guī)模的 MR 場景提供更高質(zhì)量、更舒適的 Passthrough 體驗、更好的深度感知和更少的視覺失真。
共享空間定位點
Meta 將在今年晚些時候推出其空間定位點的更新，并引入共享空間定位點。此更新將使開發(fā)人員能夠通過為多個用戶創(chuàng)建共享的世界鎖定參考框架來構建本地多人游戲體驗。例如，開發(fā)人員可以構建游戲和應用程序，其中兩個或更多人可以在同一物理空間中協(xié)作或一起玩，并與相同的虛擬內(nèi)容進行交互。
在 Connect 上，Meta展示了 Magic Room 的預覽版，這是一種 MR 體驗，它正在為利用共享空間定位點的 Meta Horizon Worlds 工作室構建。Magic Room 允許任何混合的人一起在同一個物理房間中協(xié)作。
Meta 表示，隨著其硬件的不斷發(fā)展，其 Presence Platform 將創(chuàng)造更多機會將 MR、自然交互和社交存在帶入 VR，并使開發(fā)人員能夠努力實現(xiàn)公司的元宇宙愿景。
