不久前，微軟正式推出了Mesh平臺(tái)，此舉透露了微軟下一步想要主導(dǎo)MR領(lǐng)域的野心。Mesh將成為其中的重要一環(huán)，這尤其體現(xiàn)在企業(yè)客戶方面。
但除了公告中包含的一些細(xì)節(jié)外，真正讓一些業(yè)內(nèi)人士感到興奮的是Mesh發(fā)布時(shí)附帶的演示視頻。它看起來(lái)就像鋼鐵俠全息實(shí)驗(yàn)室里的東西，但有非常真實(shí)的傳感器和顯示技術(shù)的支持。
為了解讀Mesh對(duì)于HoloLens 2和整個(gè)MR領(lǐng)域的真正意義，微軟的混合現(xiàn)實(shí)業(yè)務(wù)主管Greg Sullivan接受了外媒采訪，并回答了關(guān)于Mesh的許多問(wèn)題。
核心能力：為用戶帶來(lái)臨場(chǎng)感
Greg Sullivan表示，微軟的Mesh平臺(tái)是一項(xiàng)Azure服務(wù)，它是一個(gè)協(xié)作的沉浸式平臺(tái)，使用Azure來(lái)為用戶提供這些功能。其解釋道：“它將利用我們幾年前推出的Azure遠(yuǎn)程渲染技術(shù)，并使用Azure來(lái)管理用戶身份，無(wú)論是通過(guò)Azure Active Directory還是通過(guò)用戶的微軟賬戶?！?/p>
Sullivan指出，Mesh的核心能力之一是一種臨場(chǎng)感，使用戶能感覺(jué)到就好像真的身處于距離數(shù)百或數(shù)千英里的地方一樣。Mesh為用戶帶來(lái)臨場(chǎng)感的方式之一是讓虛擬化身出現(xiàn)在某個(gè)地方。
其說(shuō)道：“我們?yōu)橛脩舫尸F(xiàn)臨場(chǎng)感的方式之一就是虛擬化身。我們從《AltspaceVR》的虛擬化身形象系統(tǒng)開(kāi)始，團(tuán)隊(duì)把它帶到了Azure平臺(tái)上，所以現(xiàn)在它將具備Azure的所有企業(yè)級(jí)管理和安全性，以及人們所期望的其他東西?！?/p>
圖源：Microsoft
當(dāng)用戶佩戴著HoloLens時(shí)，由于該設(shè)備擁有位置跟蹤和環(huán)境感應(yīng)攝像頭，因此HoloLens中的傳感器能夠在用戶移動(dòng)時(shí)進(jìn)行追蹤。有趣的是，在Mesh中，HoloLens 2還可以做到完整的手部跟蹤。
正如人們所看到的，HoloLens 2在每只手上都能追蹤到25個(gè)不同的關(guān)節(jié)點(diǎn)。所以當(dāng)用戶佩戴著HoloLens并使用Mesh時(shí)，會(huì)在虛擬世界中成為一個(gè)虛擬化身，而且這個(gè)虛擬化身會(huì)擁有完全的手部動(dòng)作。
Sullivan還指出，需要更多的傳感器才能實(shí)現(xiàn)完全的容積捕獲。目前HoloLens中的傳感器并不能捕捉用戶的容積，它們現(xiàn)在只能捕捉用戶在空間中的6DoF運(yùn)動(dòng)，以及所有的手部動(dòng)作。
“如果你仔細(xì)看視頻，你會(huì)看到我們對(duì)Azure Kinect開(kāi)發(fā)者套件和相機(jī)的參考。Azure Kinect深度感應(yīng)相機(jī)與HoloLens 2中的深度感應(yīng)傳感器相同，” Sullivan說(shuō)道。
“這種特殊的相機(jī)是我們?cè)贙inect中使用過(guò)的ToF紅外相機(jī)。這比僅使用HoloLens內(nèi)置的傳感器來(lái)追蹤用戶，并且僅僅將用戶表現(xiàn)為虛擬化身要更上一層樓?！?/p>
但如果使用Mesh的用戶并沒(méi)有HoloLens 2，又能夠使用怎樣的工具來(lái)連接這個(gè)平臺(tái)呢？
對(duì)此，Sullivan表示：“我想先把Mesh平臺(tái)和云服務(wù)區(qū)分開(kāi)來(lái)。通過(guò)云服務(wù)，開(kāi)發(fā)者可以把這些Mesh平臺(tái)的功能構(gòu)建到自己的應(yīng)用中去，這是一個(gè)沉浸式的協(xié)作云服務(wù)。任何開(kāi)發(fā)者都可以用同樣的方式進(jìn)行編程，就像游戲開(kāi)發(fā)者為Xbox編寫一款游戲那樣，只要插入Xbox Live，就可以自動(dòng)讓它成為一款多人聯(lián)網(wǎng)游戲?！?/p>
“Mesh通過(guò)插入Mesh SDK并將該功能添加到應(yīng)用程序中，使任何應(yīng)用都能成為沉浸式、協(xié)作式的混合現(xiàn)實(shí)應(yīng)用程序。所以這個(gè)應(yīng)用可以在HoloLens上運(yùn)行，也可以在Oculus上運(yùn)行......你可以在Windows MR頭顯中，也可以在PC、Mac或智能手機(jī)上使用。所以，Mesh應(yīng)用的執(zhí)行環(huán)境是跨平臺(tái)的?！?/p>
Sullivan進(jìn)一步指出，微軟的愿景是無(wú)論用戶使用何種設(shè)備，都能在某種程度上參與Mesh。人們能在多種設(shè)備上運(yùn)行支持Mesh的應(yīng)用，這樣就可以與朋友或同事在三維的虛擬空間中進(jìn)行協(xié)作。區(qū)別在于使用不同的硬件會(huì)有不同的體驗(yàn)。如果大家都通過(guò)HoloLens 2運(yùn)行一個(gè)Mesh應(yīng)用，那么將能夠以虛擬化身的形式進(jìn)行互動(dòng)和協(xié)作。
Sullivan表示，雖然不能透露具體時(shí)間，但微軟將推出支持Mesh的Microsoft Teams。如果用戶是通過(guò)筆記本電腦加入會(huì)議，那么只能通過(guò)二維屏幕顯示內(nèi)容，雖然設(shè)備中沒(méi)有內(nèi)置位置跟蹤功能，但仍然能夠通過(guò)支持Mesh的Microsoft Teams加入會(huì)議。
圖源：Microsoft
“如果我們構(gòu)建的這個(gè)平臺(tái)只有在有HoloLens的情況下才能使用，那就限制了實(shí)際能使用這個(gè)平臺(tái)的人數(shù)?？诖镅b著智能手機(jī)的人遠(yuǎn)比擁有HoloLens的人要多得多。所以我們看中的是所有的終端，以及現(xiàn)在人們能體驗(yàn)MR的所有方式，無(wú)論是《精靈寶可夢(mèng)GO》還是其他東西，”
Sullivan說(shuō)道?！斑@些智能設(shè)備有AR框架、iOS和Android、ARKit和ARCore，我們可以為它們添加新的能力，讓開(kāi)發(fā)者可以為平臺(tái)構(gòu)建應(yīng)用，不管是在iPhone，還是Mac或PC端，他們都可以為應(yīng)用添加Mesh能力。”
賦能開(kāi)發(fā)者，開(kāi)發(fā)Mesh的創(chuàng)造性應(yīng)用
在微軟宣布推出Mesh并進(jìn)行演示后，有人認(rèn)為這個(gè)平臺(tái)與另一個(gè)遠(yuǎn)程協(xié)作平臺(tái)Spatial很相似，同時(shí)微軟也與Spatial保持著密切的合作關(guān)系。
對(duì)于二者在功能上是否有重疊或潛在競(jìng)爭(zhēng)關(guān)系這個(gè)問(wèn)題，Sullivan表示：“任何開(kāi)發(fā)者都可以在他們的應(yīng)用中構(gòu)建協(xié)作、共享的沉浸式體驗(yàn)。這將意味著Spatial可以與我們合作，對(duì)協(xié)作平臺(tái)基底進(jìn)行探索維護(hù)，然后他們可以進(jìn)行補(bǔ)充，并集中精力進(jìn)行投資和資源投入，以使他們的服務(wù)和應(yīng)用與眾不同。”
Sullivan在采訪中表示，目前Spatial已經(jīng)有了一個(gè)良好開(kāi)端，他們對(duì)自己能提供的價(jià)值有了非常清晰的認(rèn)識(shí)，這在某些方面上將使他們能更專注于自己的產(chǎn)品。但人們?nèi)匀恍枰腥藖?lái)提供一個(gè)通用的基礎(chǔ)，在這個(gè)基礎(chǔ)上，開(kāi)發(fā)者們可以建立屬于自己的應(yīng)用，并滿足特定受眾的需求。
其說(shuō)道：“這更像是一些底層標(biāo)準(zhǔn)……要考慮的是如何解決一些基礎(chǔ)性的管道問(wèn)題。然后你可以在這個(gè)基礎(chǔ)上進(jìn)行構(gòu)建?！?/p>
從Sullivan的說(shuō)法來(lái)看，如果舉例來(lái)說(shuō)，微軟的Mesh平臺(tái)就像我們正在使用的網(wǎng)絡(luò)瀏覽器，而開(kāi)發(fā)者們可以在此基礎(chǔ)上為人們創(chuàng)建可以滿足各種需求的瀏覽器。
Sullivan還表示，微軟將通過(guò)SDK免費(fèi)為開(kāi)發(fā)者提供Mesh平臺(tái)，就像游戲開(kāi)發(fā)者可以免費(fèi)為Xbox Live構(gòu)建應(yīng)用一樣，開(kāi)發(fā)者同樣能夠免費(fèi)構(gòu)建含有Mesh功能的應(yīng)用。
其還透露，微軟希望能通過(guò)預(yù)覽版Mesh獲得開(kāi)發(fā)者的反饋。“當(dāng)我們開(kāi)發(fā)Kinect時(shí)，能看到開(kāi)發(fā)者對(duì)如何使用Kinect充滿了創(chuàng)造力。人們用很多非常有趣的方式來(lái)使用Kinect的深度感應(yīng)攝像頭，而且這些用例都與Xbox游戲無(wú)關(guān)。這也是開(kāi)發(fā)者們發(fā)揮創(chuàng)造力的直接結(jié)果。”
“現(xiàn)在我們的Mesh正處于預(yù)覽階段，我們期待著將這個(gè)平臺(tái)交給開(kāi)發(fā)者后，能讓我們學(xué)到很多關(guān)于如何使用它的創(chuàng)新方法?！?/p>
疫情推動(dòng)人們接受新概念
在疫情的影響之下，遠(yuǎn)程工作已經(jīng)逐漸成為常態(tài)。許多人都在通過(guò)遠(yuǎn)程協(xié)作軟件進(jìn)行視頻會(huì)議，并已經(jīng)開(kāi)始將AR和VR技術(shù)視作替代方案。Sullivan表示，在疫情的背景下，他們意識(shí)到了臨場(chǎng)感的重要性。
其說(shuō)道：“每個(gè)人在使用Zoom或者Teams的時(shí)候都會(huì)或多或少產(chǎn)生倦怠感。這些工具很神奇，它們能讓我們?cè)谔厥鈺r(shí)期繼續(xù)進(jìn)行自己的工作，但它也凸顯了一些我們無(wú)法從這些體驗(yàn)中獲得的東西。”
“我們無(wú)法通過(guò)這些工具獲得真正的臨場(chǎng)感。我們無(wú)法在走廊上對(duì)話，在對(duì)話時(shí)無(wú)法望向?qū)Ψ降难劬?，也沒(méi)有正在合作的實(shí)感，這些都是我們很想念的事情。有些時(shí)候，人們確實(shí)需要臨場(chǎng)感，并且希望能夠面對(duì)面交流。”
圖源：Microsoft
“在這過(guò)去的一年中，我們看到了技術(shù)如何改善我們的工作方式，”Sullivan說(shuō)道。
“對(duì)我個(gè)人來(lái)說(shuō)，我已經(jīng)不再需要通勤了。因此，我認(rèn)為在這種情況下，技術(shù)可以真正幫助我們解決一些現(xiàn)在所面臨的問(wèn)題。在過(guò)去的一年里，這場(chǎng)疫情已經(jīng)成為推動(dòng)人們接受這一概念的加速器。我不認(rèn)為它從根本上改變了什么，但在某種意義上來(lái)說(shuō)，它加速了一些可能會(huì)發(fā)生的事情的進(jìn)程。”
來(lái)源：VR陀螺
