在三月初舉辦的Ignite 2021大會(huì)上，微軟推出了全新的MR協(xié)作平臺(tái)Mesh，揭示了微軟邁向MR主導(dǎo)企業(yè)（尤其是在行業(yè)應(yīng)用領(lǐng)域）的下一步重要行動(dòng)。
除了公告中包含的普通細(xì)節(jié)外，真正能夠令人感到興奮的是Mesh演示視頻，展示了在當(dāng)前傳感器和顯示技術(shù)的支持下，能夠做出的酷炫MR應(yīng)用。
但大家仍然還保留著一絲疑問：視頻中的內(nèi)容真的可以實(shí)現(xiàn)嗎？如果是，如何開發(fā)出視頻中的某些應(yīng)用內(nèi)容？Microsoft如果真正專注于企業(yè)領(lǐng)域，那么以消費(fèi)者為中心的示例（例如Microsoft與Niantic聯(lián)手展示的Pokemon Go概念視頻）背后的含義是什么？為了了解Mesh對(duì)HoloLens 2和AR領(lǐng)域的真正意義，NextReality對(duì)Microsoft的Greg Sullivan進(jìn)行了一次專訪，以解答大家對(duì)于Mesh的一些疑惑。
以下是對(duì)采訪內(nèi)容的整理：
Q：Mesh精美的演示視頻簡(jiǎn)直不可思議。我認(rèn)為，很多人對(duì)視頻感到興奮是因?yàn)樗粌H僅看起來像科幻小說中的情節(jié)，而且我們現(xiàn)在可以通過HoloLens和Kinect等技術(shù)來將它實(shí)現(xiàn)。
但是，視頻中呈現(xiàn)的更加逼真立體的全息影像需要更多的傳感器才能實(shí)現(xiàn)，目前大多數(shù)的在線協(xié)作只是基于一個(gè)簡(jiǎn)單的化身來實(shí)現(xiàn)。這讓我們產(chǎn)生了一些懷疑。我們想知道的是，視頻中展現(xiàn)的哪些片段是Mesh真正能夠做到的。
Greg Sullivan：簡(jiǎn)短的來說，目前我們的確只能使用一個(gè)簡(jiǎn)單的化身系統(tǒng)。這段視頻的主旨在于描述Mesh的一項(xiàng)核心功能：臨場(chǎng)感，讓你感受到真的能夠身處距離數(shù)百或數(shù)千英里外的現(xiàn)實(shí)場(chǎng)景中。如何遠(yuǎn)程呈現(xiàn)用戶的外觀？最終的目標(biāo)當(dāng)然是你描述過的更加逼真立體的全息影像，但這是一種較為復(fù)雜的方式。我們需要從另一種方式起步，就是化身系統(tǒng)。
我們從AltspaceVR的化身開始，將整套系統(tǒng)搬到了Azure上，也因此，這套系統(tǒng)將會(huì)從Azure繼承所有企業(yè)級(jí)的管理和安全等功能。這是對(duì)于最終目標(biāo)最簡(jiǎn)單的實(shí)現(xiàn)，當(dāng)你戴上 HoloLens，它具有的位置跟蹤和環(huán)境感應(yīng)攝像頭等傳感器可以在你移動(dòng)時(shí)追蹤你的動(dòng)作。
在Mesh中，有關(guān)HoloLens 2最酷的功能之一是完全清晰的手部跟蹤。如你所見，HoloLens 2可以追蹤每只手25個(gè)不同的關(guān)節(jié)點(diǎn)。因此，當(dāng)你佩戴HoloLens并使用Mesh時(shí)，你的形象會(huì)被簡(jiǎn)化，但該簡(jiǎn)化的化身通過HoloLens 2可以擁有完整的手勢(shì)動(dòng)作。
先前你還提到了“需要更多的傳感器”以進(jìn)行完整的體積捕捉（Volumetric Capture），或者說從化身發(fā)展成為完整的全息影像。的確，HoloLens中的傳感器無法對(duì)你的身體進(jìn)行體積捕捉，它可以捕捉用戶在空間中六個(gè)自由度的運(yùn)動(dòng)，可以捕捉所有的手部運(yùn)動(dòng)，但是無法捕捉到用戶的整個(gè)身體。
現(xiàn)在有幾種選擇擺在我們面前，但如果仔細(xì)看一下Mesh的宣傳視頻，你就會(huì)看到對(duì)Azure Kinect開發(fā)人員工具包和攝像頭的引用。Azure Kinect與HoloLens 2使用了相同的深度傳感攝像頭。就視頻中下象棋或遠(yuǎn)程協(xié)作的部分來說，你可以看到用戶已經(jīng)被體積捕捉功能創(chuàng)建了全息影像，但該影像只能顯示用戶的正面。如果你使用Kinect的ToF紅外攝像頭，可以做到類似的功能。當(dāng)然，其他深度感應(yīng)技術(shù)也同樣能做到，例如LiDAR。但要使用HoloLens 2的內(nèi)置傳感器來實(shí)現(xiàn)追蹤用戶的身體實(shí)現(xiàn)體積捕捉而不是只使用化身來代表用戶，仍有一些工作需要完成。
Q：假設(shè)我在一端使用HoloLens 2，另一端的人由AltspaceVR風(fēng)格的化身表示，他們可以使用哪些設(shè)備？假設(shè)對(duì)方?jīng)]有HoloLens 2，他們將使用哪些不同的工具進(jìn)行連接？
Sullivan：在我完全回答問題之前，我想先區(qū)分開Mesh平臺(tái)和Mesh云服務(wù)提供的功能。開發(fā)人員可以通過身臨其境的Mesh協(xié)作云服務(wù)將這些功能構(gòu)建到自己的應(yīng)用程序中，以和游戲開發(fā)人員相同的方式編寫游戲（例如加入Xbox Live使其自動(dòng)成為多人網(wǎng)絡(luò)游戲）。
通過引用Mesh SDK并將協(xié)作功能添加到你的應(yīng)用程序中，Mesh能使任何應(yīng)用程序成為沉浸式的MR協(xié)作應(yīng)用。因此該應(yīng)用程序可以在HoloLens上運(yùn)行，也可以在Oculus上運(yùn)行。您可以在Windows Mixed Reality頭顯中使用，也可以在PC或Mac或智能手機(jī)上使用。因此，內(nèi)置了Mesh云服務(wù)的應(yīng)用程序其執(zhí)行環(huán)境是跨平臺(tái)的。
微軟的愿景是無論用戶使用哪種設(shè)備，都能夠一定程度地參與到Mesh平臺(tái)中。通過運(yùn)行內(nèi)置Mesh云服務(wù)的應(yīng)用程序，用戶可以與朋友或同事在三維虛擬空間中進(jìn)行協(xié)作，唯一的不同在于大家使用的硬件。如果你和我都戴上HoloLens 2，我們可以打開并運(yùn)行一個(gè)Mesh應(yīng)用程序，然后用化身來代表我們，在對(duì)方周圍走動(dòng)并進(jìn)行協(xié)作。
如果有人通過筆記本電腦的二維屏幕參加了該會(huì)議，意味著他們的設(shè)備中沒有內(nèi)置的位置追蹤功能。因此，如果他們?cè)诜块g里走來走去，應(yīng)用中他們并不會(huì)動(dòng)。這些用戶只能通過鼠標(biāo)來導(dǎo)航，但是我們依然可以邀請(qǐng)他參加我們的會(huì)議。我們尚未在Microsoft Teams應(yīng)用程序中內(nèi)置此功能，但是最終，任何用戶都將能夠通過啟用了Mesh云服務(wù)的Microsoft Teams加入其他人的會(huì)議。我們確實(shí)承諾將做到這一點(diǎn)，但目前還沒法公布一個(gè)確切的時(shí)間節(jié)點(diǎn)。
因此，微軟的想法是做出雙向的互聯(lián)。首先，如果微軟構(gòu)建的Mesh只有擁有HoloLens才能使用，實(shí)際上會(huì)限制該應(yīng)用的用戶數(shù)量。目前來說，口袋里裝著智能手機(jī)的人數(shù)要比擁有HoloLens的人多得多。因此，我們研究了所有的終端智能設(shè)備，以及當(dāng)今所有人們體驗(yàn)MR的方式，其中包括了Pokemon Go以及其他很多東西。這些智能設(shè)備上已經(jīng)出現(xiàn)了AR框架，例如iOS和Android上的ARCore和ARKit。我們的目標(biāo)是通過添加新的功能，來讓開發(fā)人員可以為無論是iPhone、Mac還是PC構(gòu)建應(yīng)用程序并添加Mesh云服務(wù)。
Q：有些人最初會(huì)對(duì)Mesh的演示視頻感到困惑。首先mesh（網(wǎng)格）這個(gè)名詞通常指代3D和metaverse世界中所有事物上的虛擬層。但微軟將Mesh一詞用來表示將各種沉浸式平臺(tái)連接在一起。這里的Mesh表示的含義并不是我們常規(guī)認(rèn)識(shí)中的「網(wǎng)格」一詞，對(duì)嗎？
Sullivan：是的，我們知道Mesh一詞的現(xiàn)有解釋，但我認(rèn)為它很合適，因?yàn)槲覀兯務(wù)摰氖且环N能夠使人與人之間互相連接并感知存在的基礎(chǔ)能力。
Q：?jiǎn)栆粋€(gè)敏感的問題：Mesh給人的感覺很像Spatial。我知道你們?cè)谶^去幾年中與Spatial建立了非常友好、親密的關(guān)系。所以我只是想知道，這是否會(huì)影響你們使用Spatial所做的一切？微軟與Spatial還有任何關(guān)聯(lián)嗎？你是否覺得你們之間現(xiàn)在存在任何業(yè)務(wù)上的重合和潛在的競(jìng)爭(zhēng)嗎？
Sullivan：這是一個(gè)很好的問題。我并沒有親自參與過微軟與Spatial的合作關(guān)系，但HoloLens發(fā)明者 Alex Kipman曾親自參與過，他會(huì)告訴你他正在與Spatial緊密合作。這就是他向我描述的方式，Spatial團(tuán)隊(duì)是一家初創(chuàng)企業(yè)，規(guī)模還很小。
關(guān)于“Spatial”這個(gè)問題如果展開說的話，其實(shí)是這樣：微軟和Spatial在解決一個(gè)共通的難題，讓任何開發(fā)人員都可以在他們的應(yīng)用程序中構(gòu)建協(xié)作、共享的沉浸式體驗(yàn)。根據(jù)Alex透露過的信息，Spatial可以與微軟合作，共同維護(hù)實(shí)現(xiàn)MR協(xié)作所需要的一些基本組件和管道，同時(shí)Spatial還會(huì)對(duì)這些基本的組件和管道進(jìn)行補(bǔ)充，集中資源精力進(jìn)行一些定向的開發(fā)，以區(qū)分他們的服務(wù)和應(yīng)用。
Q：這意味著雖然Mesh與Spatial的直接競(jìng)爭(zhēng)很少，但Mesh的出現(xiàn)讓其他開發(fā)者與初創(chuàng)公司能夠更好的與Spatial競(jìng)爭(zhēng)，對(duì)嗎？
Sullivan：是的，但Spatial已經(jīng)取得了領(lǐng)先。他們對(duì)自己的產(chǎn)品所提供的價(jià)值有非常清晰的認(rèn)識(shí)；同時(shí)在某些方面來說，競(jìng)爭(zhēng)將使他們能夠更加專注于他們的產(chǎn)品。這是我們行業(yè)以前曾經(jīng)發(fā)生過的事情，對(duì)嗎？有時(shí)，攻克一個(gè)難關(guān)能帶來很多好處。當(dāng)一個(gè)問題被解決，人們應(yīng)該慎重的思考是否所有人都應(yīng)當(dāng)為這個(gè)問題重復(fù)的「造輪子」。我們是想為每個(gè)應(yīng)用程序都解決一次這個(gè)問題，還是可以提供一種通用的方法作為基礎(chǔ)，每個(gè)人都可以基于該方法建立自己獨(dú)有的方案，并滿足特定受眾的需求？
Q：這個(gè)示例讓我想起了Web瀏覽器時(shí)代，當(dāng)時(shí)每個(gè)人都在試圖找出讓用戶更友好的訪問Internet的方案。因此，你想說的可能是Mesh幾乎就像是一個(gè)用于XR的Web瀏覽器，讓人們可以創(chuàng)建各種用于XR的Web瀏覽器。
Sullivan：更準(zhǔn)確的說，更像是Web的基礎(chǔ)標(biāo)準(zhǔn)……這里主要提供了一些基礎(chǔ)管道問題的解決方法。然后，開發(fā)者可以在此基礎(chǔ)上進(jìn)行新的構(gòu)建。
Q：訪問Mesh需要付出什么等級(jí)的成本？是否有針對(duì)開發(fā)人員、專業(yè)人士和企業(yè)用戶的區(qū)分？從可訪問性的角度來看，Mesh將如何進(jìn)行推廣？
Sullivan：這些問題的答案我們尚未公布，沒法提供很多細(xì)節(jié)。開發(fā)人員可以通過SDK免費(fèi)使用Mesh，并將此功能構(gòu)建到任何應(yīng)用程序中，就像任何游戲開發(fā)人員都可以免費(fèi)添加Xbox Live功能一樣。你可以認(rèn)為Mesh和Xbox Live對(duì)于開發(fā)者來說是相同的，它免費(fèi)且能夠用于任何應(yīng)用程序。
Q：我想知道，如果使用云組件會(huì)產(chǎn)生一些費(fèi)用嗎？
Sullivan：是的，這是一個(gè)合理的假設(shè)。我們尚未公布任何Mesh的細(xì)節(jié)。一部分預(yù)覽的工作是為了從開發(fā)人員那里獲得反饋。當(dāng)我們使用Windows版Kinect時(shí)，開發(fā)人員就如何使用Kinect發(fā)揮了無限的創(chuàng)造力。
我們看到外科手術(shù)醫(yī)生和樂隊(duì)指揮家使用Kinect深度感應(yīng)攝像頭創(chuàng)造了與Xbox游戲完全無關(guān)的有趣使用方式。這是開發(fā)人員發(fā)揮創(chuàng)造力的直接結(jié)果。既然我們處于Mesh的預(yù)覽階段，將其移交給開發(fā)人員將教會(huì)我們很多有關(guān)如何使用它的知識(shí)。因此，我們希望能夠進(jìn)行一系列的創(chuàng)新。
Q：對(duì)于那些不熟悉Microsoft各種軟件產(chǎn)品的人，能否解釋下Mesh如何與Azure協(xié)作，兩者又有哪些區(qū)別。這兩種服務(wù)都是面向云的，差異在哪里？
Sullivan：我要說的是，Microsoft Mesh是Azure提供的一項(xiàng)服務(wù)。Mesh是一個(gè)沉浸平臺(tái)，使用Azure來提供協(xié)作功能。它利用了我們幾年前引入的Azure遠(yuǎn)程渲染功能，還使用Azure管理你的身份，無論是通過Azure Active Directory還是通過你的Microsoft帳戶。
Q：鑒于我們?cè)谶^去的一年中經(jīng)歷了新冠病毒疫情的大流行，遠(yuǎn)程工作已成為一種趨勢(shì)。在這種情況下，很多人需要進(jìn)行遠(yuǎn)程會(huì)議，并開始將AR和VR視為替代方案。但并不是每個(gè)人都需要沉浸式的環(huán)境，大多數(shù)人仍然需要更為簡(jiǎn)單的視頻會(huì)議形式。作為微軟MR總監(jiān)，最接近公司內(nèi)部HoloLens和AR相關(guān)業(yè)務(wù)的人，你在過去一年中學(xué)到了什么？是否發(fā)現(xiàn)過關(guān)于如何使用AR的軼事或經(jīng)驗(yàn)？
Sullivan：大多數(shù)情況下，人們可以遠(yuǎn)程完成工作，尤其是對(duì)于信息工作者來說，遠(yuǎn)程工作幾乎不會(huì)產(chǎn)生任何影響，這完全是由技術(shù)帶來的。我們還意識(shí)到的一件事是，遠(yuǎn)程協(xié)作時(shí)存在感非常重要。
每個(gè)人都對(duì)Zoom或Teams感到有些疲憊，這些工具之所以令人稱奇，是因?yàn)樗鼈兪刮覀兡軌蚶^續(xù)開展工作，但也突出了我們從它們的體驗(yàn)中沒有得到的一些東西。我們沒有一種自發(fā)合作的感覺。沒有走廊上的對(duì)話，沒有真正的臨場(chǎng)感，沒有眼神的接觸。我們確實(shí)錯(cuò)過了一些事情，
我認(rèn)為，去年我們學(xué)到的一件事是，一些會(huì)議可以被電子郵件取代，某些出差可能通過團(tuán)隊(duì)電話解決。因此，我認(rèn)為我們正在看到技術(shù)如何改善我們的工作方式。就我個(gè)人而言，我不再需要上下班通勤了。遠(yuǎn)程協(xié)作已經(jīng)改變了我的生活，這是技術(shù)引發(fā)變革的一個(gè)生動(dòng)案例。而且我認(rèn)為，去年的新冠病毒疫情促進(jìn)了遠(yuǎn)程協(xié)作這一觀念被接受。這場(chǎng)疫情并沒有顛覆某些事情，但確實(shí)讓一些未來的趨勢(shì)加速到來。
來源：93913虛擬現(xiàn)實(shí)
