Meta最新公布的connect大會(huì)流程里，有什么是短期就能有希望實(shí)際體驗(yàn)到的項(xiàng)目，以及聊聊這兩天Meta的Reality Lab開(kāi)發(fā)測(cè)試全身追蹤的研究視頻。
第一個(gè)要說(shuō)的就是，Meta有關(guān)人員會(huì)向大家展示手勢(shì)追蹤2.1的新功能，以及如何使用Meta的Interaction SDK來(lái)構(gòu)建像之前那個(gè)官方應(yīng)用，F(xiàn)irst Hand一樣的手勢(shì)追蹤體驗(yàn)，目前Quest2已經(jīng)支持手勢(shì)追蹤2.0，相信這個(gè)2.1的版本也會(huì)很快向用戶呈現(xiàn)出來(lái)，不過(guò)看版本命名，應(yīng)該不會(huì)像之前1.0到2.0那樣有大的提升。
同時(shí)根據(jù)Meta開(kāi)發(fā)者中心官網(wǎng)在22號(hào)公布的文章，手勢(shì)追蹤2.0將擴(kuò)大到對(duì)第一代Meta Quest機(jī)型的支持，而且宣布將在2023年4月徹底廢棄1.0API，所有應(yīng)用程序，在今年12月開(kāi)始默認(rèn)為使用2.0，需要已經(jīng)使用手勢(shì)追蹤的開(kāi)發(fā)者注意跟進(jìn)。
從小編個(gè)人實(shí)際體驗(yàn)角度來(lái)說(shuō)，目前Quest2非游戲場(chǎng)景，小編百分之九十時(shí)間都是使用手勢(shì)追蹤，小編覺(jué)得完全夠用。真正要改的反而是交互方式，就是能不能做一個(gè)專屬于手勢(shì)追蹤的菜單UI和交互，實(shí)現(xiàn)在裸手的時(shí)候就自動(dòng)切換過(guò)去，拋棄利用射線進(jìn)行選擇的邏輯。
尤其是在輸入鍵盤(pán)這些場(chǎng)景，實(shí)際上用手柄射線在那個(gè)鋪開(kāi)的，巨型的鍵盤(pán)里一個(gè)個(gè)點(diǎn)字母也是很費(fèi)力的。明明現(xiàn)有支持手勢(shì)追蹤的游戲，都知道應(yīng)該讓玩家直接用手像觸摸機(jī)關(guān)一樣，跟虛擬的菜單面板進(jìn)行觸控，在系統(tǒng)菜單層怎么就想不到呢？
第二個(gè)就是Meta將發(fā)布他們第一個(gè)沉浸式的WebXR應(yīng)用體驗(yàn)，并成為學(xué)習(xí)案例讓webXR開(kāi)發(fā)者能夠吸取經(jīng)驗(yàn)，同時(shí)他們也會(huì)帶來(lái)Meta Quest VR瀏覽器的新進(jìn)展，包括介紹給PWA開(kāi)發(fā)者的新功能，和相關(guān)的一些即將進(jìn)入商店的最新應(yīng)用。
老實(shí)說(shuō)，在這之前小編完全沒(méi)想到，在VR系統(tǒng)里有需要PWA漸進(jìn)式網(wǎng)頁(yè)應(yīng)用的存在，大家可以理解為就是網(wǎng)頁(yè)版的小程序，比如你在手機(jī)里，用谷歌瀏覽器看網(wǎng)頁(yè)微博，然后把網(wǎng)頁(yè)保存到桌面屏幕出現(xiàn)的微博Lite，這個(gè)就是PWA版微博。
后來(lái)小編想了一下，其實(shí)在Quest2里的instagram的程序是有點(diǎn)像的，你打開(kāi)之后就完全是網(wǎng)頁(yè)版instagram的頁(yè)面排版，并沒(méi)有說(shuō)是專門(mén)為在VR里使用，做了個(gè)適配。有可能Meta在這一塊，是為了提升2D平面應(yīng)用的多任務(wù)處理功能，比如有沒(méi)有可能將來(lái)，discord，流媒體或者播客網(wǎng)站都做一個(gè)這種輕便的小程序來(lái)使用。
至于VR瀏覽器，上次看到的大新聞還是火狐VR瀏覽器的關(guān)閉，很開(kāi)心能看到Meta能在webXR這一塊一般用戶不太會(huì)去體驗(yàn)的地方，也依然在貢獻(xiàn)自己的一份力量。但是這個(gè)所謂他們的官方webXR應(yīng)用小編第一反應(yīng)就是會(huì)不會(huì)是Horizon Wordls網(wǎng)頁(yè)版？畢竟之前Meta的CTO Boz在推特上說(shuō)，未來(lái)計(jì)劃推出Horizon Worlds的Web版，這個(gè)web版可能在VR瀏覽器里是沉浸式的，在手機(jī)或者電腦上的web端也能訪問(wèn)，但只是傳統(tǒng)平面的。
所以第三個(gè)要說(shuō)的就是Meta正打算把Horizon Worlds，和他們自家的UGC創(chuàng)作平臺(tái)Crayta打通，在這次connect大會(huì)里，總共有三個(gè)流程內(nèi)容分享都是圍繞此主題展開(kāi)，比如兩個(gè)平臺(tái)開(kāi)發(fā)者互相的經(jīng)驗(yàn)分享，以及討論如何將虛擬形象連通使用，但又不會(huì)互相影響。這是個(gè)野心勃勃的想法，但小編很懷疑Meta的實(shí)際進(jìn)展能有多少讓人期待的。時(shí)至今日，Horizon Worlds依然沒(méi)有敞開(kāi)所有的大門(mén)，面向全球的用戶，還時(shí)不時(shí)的要被各種嘲諷，相比之下，小編還不如期待那個(gè)傳聞中的Roblox VR版的誕生呢。
接下來(lái)要分享的就是這兩天曝光率很高的Meta黑科技，就是在不使用額外的追蹤器或者攝像頭的基礎(chǔ)上，單單利用現(xiàn)有Quest2頭顯本體和兩個(gè)手柄的運(yùn)動(dòng)數(shù)據(jù)來(lái)實(shí)現(xiàn)，常規(guī)性姿態(tài)下的全身追蹤效果。
除了現(xiàn)在大家看到的這個(gè)視頻畫(huà)面還有配套的論文發(fā)表，小編覺(jué)得咱們?cè)诶斫庵埃梢院煤每纯凑撐牡念}目，簡(jiǎn)單的翻譯過(guò)來(lái)就是：使用模擬化的虛擬化身和稀疏的傳感器進(jìn)行人體運(yùn)動(dòng)跟蹤，但是通常以前的動(dòng)捕小編們應(yīng)該是這樣形容的，使用某種方式或設(shè)備捕捉人體運(yùn)動(dòng)跟蹤的數(shù)據(jù)，從而獲取高精度同步的虛擬化身，你會(huì)意識(shí)到這一次的實(shí)驗(yàn)邏輯它是反著來(lái)的。
這就是大家看到都感覺(jué)不可思議的原因，因?yàn)樗_實(shí)不是大家之前認(rèn)知的那種動(dòng)作捕捉，更準(zhǔn)確的說(shuō)法應(yīng)該是叫動(dòng)作模仿，而且還是由虛擬形象來(lái)模仿匹配現(xiàn)實(shí)的動(dòng)作。
Meta研究認(rèn)為利用這個(gè)QuestSim AI框架，通過(guò)頭顯和手柄的位置和方向的信息，來(lái)估計(jì)用戶的全身姿態(tài)是合理的，而且畫(huà)面是72幀錄制的。這個(gè)框架能夠區(qū)分各種運(yùn)動(dòng)模式、轉(zhuǎn)彎之類的轉(zhuǎn)換，以及能夠跟蹤上半身和下半身關(guān)聯(lián)性較小的運(yùn)動(dòng)，比如在白板上寫(xiě)字、走路或是慢跑。
在論文里有簡(jiǎn)單提到，在板上寫(xiě)字時(shí)，當(dāng)系統(tǒng)注意到頭部的垂直位置逐漸開(kāi)始下降，就是暗示著用戶是蹲著的，而且必須是彎曲膝關(guān)節(jié)，除此以外，手柄和頭部之間幾乎沒(méi)有任何關(guān)聯(lián)。而在行走的過(guò)程中，手柄會(huì)在水平方向上擺動(dòng)，尤其是相對(duì)于頭部位置會(huì)有明顯擺動(dòng)，而與行走相反，在慢跑時(shí)，VR頭顯的頭部對(duì)比水平方向，反而顯示出非常獨(dú)特和高頻率的豎直方向的振蕩，所以就是通過(guò)這種運(yùn)動(dòng)位置數(shù)據(jù)的差異的強(qiáng)化學(xué)習(xí)來(lái)推測(cè)出不同的姿態(tài)。
而且視頻里的虛擬化身是有物理模擬的，他們的姿態(tài)會(huì)受到與虛擬環(huán)境中的地面、物體碰撞的影響。比如地面對(duì)跟蹤姿勢(shì)的調(diào)整可以彌補(bǔ)傳感器數(shù)據(jù)的缺失，并使人物與虛擬世界融合。同理遇到一個(gè)虛擬的物體，慢跑中的虛擬化身就有可能有被絆倒的危險(xiǎn)。
看上去很美好但目前離小編們所期望的動(dòng)捕效果肯定還很遙遠(yuǎn)，他們提到目前無(wú)法應(yīng)付，急停這種加速度快速變化的狀態(tài)，而且演示里也看不到細(xì)節(jié)到，在關(guān)節(jié)方向扭轉(zhuǎn)動(dòng)作變化的模擬，更重要的是META的CTO在今年2月份說(shuō)過(guò)，用現(xiàn)有的頭顯，使用內(nèi)向外的追蹤方式，實(shí)現(xiàn)下半身追蹤是不可行的，但是他們有在考慮，給虛擬化身配備一個(gè)虛擬腿，但是這個(gè)虛擬的腿，用戶第一人稱又是看不到，只有其它用戶能看得到。
其實(shí)小編們把QuestSim AI 的研究方向和這個(gè)虛擬腿的需求，一聯(lián)系起來(lái)就完全合理了，首先就是VR玩家第一人稱，看到跟現(xiàn)實(shí)不匹配四肢動(dòng)作會(huì)感到不適，所以第一人稱依然沒(méi)腿是合理的，實(shí)際上第一人稱的時(shí)候，也不會(huì)有人經(jīng)?？醋约旱南掳肷?，其次QuestSim AI 能模擬出相應(yīng)的姿態(tài)動(dòng)作，但是不需要跟真實(shí)匹配，就是對(duì)方用戶蹲下了，只需要有半蹲，全蹲，單腿蹲幾個(gè)預(yù)設(shè)固定的姿態(tài)來(lái)匹配就行了，并不要完全的把現(xiàn)實(shí)的精準(zhǔn)動(dòng)作映射到VR里。
至于真正的全身動(dòng)捕，等Meta想通了，愿意在頭顯底下加攝像頭估計(jì)就成了，畢竟他們的AI沒(méi)攝像頭都這么牛皮了，當(dāng)然他們的虛擬化身沒(méi)有腿不是他們做不出來(lái)，而是不希望像其它VR游戲里那樣，一些虛擬形象到最后動(dòng)起來(lái)都是個(gè)奇行種，在不能保證完全合理的姿態(tài)且具有的統(tǒng)一美觀性下，還不如不要腿了。這算是屬于他們自己的偏執(zhí)，當(dāng)然你可以說(shuō)是一種保守。
