4月29日，由虛擬現(xiàn)實(shí)制造業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟主辦、南昌虛擬現(xiàn)實(shí)研究院股份有限公司承辦、江西省工業(yè)和信息化廳與南昌市人民政府擔(dān)任指導(dǎo)單位的“虛擬現(xiàn)實(shí)制造業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟（VRMTA?）2022年度工作會議暨VR產(chǎn)業(yè)創(chuàng)新高峰論壇”將于江西南昌正式開幕。
在高峰論壇的多人對話環(huán)節(jié)，中國信通院江西研究院副院長張夢妮擔(dān)任主持人，與小派科技副總裁李杰、Unity大中華區(qū)平臺技術(shù)總監(jiān)楊棟、英偉達(dá)中國區(qū)XR/CloudXR業(yè)務(wù)負(fù)責(zé)人周錫健就VR人機(jī)交互探索進(jìn)行了深入的交流，分別從VR頭顯供應(yīng)商、引擎平臺以及GPU芯片制造商的角度，探討了虛擬現(xiàn)實(shí)技術(shù)、靈境（元宇宙）與下一代人機(jī)交互技術(shù)的緊密聯(lián)系。
以下為嘉賓分享內(nèi)容：
小派科技副總裁 李杰:“高性能VR設(shè)備是高沉浸感的保證，也是人機(jī)交互的硬件使命”
未來在VR硬件方面關(guān)于人機(jī)交互方向，從小派而言，可能是更足夠更核心的一個能力，為用戶提供足夠高的一個高沉浸感。因為只有在硬件性能表現(xiàn)足夠好的時候，高沉浸感才能帶領(lǐng)用戶進(jìn)入一個元宇宙空間，也是需要完成人機(jī)交互的一個硬件的使命，也是沉浸感最核心的一個根本原因。
高沉浸感的層面我們?nèi)绾味x？可以通過模擬物理環(huán)境，光聲音、氣味以及甚至于運(yùn)動等模擬影響我們的眼睛、耳朵、鼻子、舌、觸覺等與由此產(chǎn)生的化學(xué)激素與腦電信號，從而影響我們的意識。VR技術(shù)需要足夠高的沉浸感，小派在提高沉浸感上有這樣的標(biāo)準(zhǔn)，我們也向全球發(fā)布過VR3.0的標(biāo)準(zhǔn)，擁有完全沉浸感需要符合自然、自由、自我三個硬件標(biāo)準(zhǔn)，就是視覺沉浸感、物理沉浸感與認(rèn)知沉浸感三個方向。
首先在視覺沉浸感上，對應(yīng)的是自然。例如PPD即角分辨率、FOV即視場角、刷新率等層面。人眼的PPD在60~65之間，人眼的FOV在220~230之間，人眼的刷新率在200赫茲左右，如果畫面刷新率大于180赫茲的話，人眼幾乎無法分辨是否有延遲。PPD、FOV、刷新率這三個指標(biāo)分別除以它們的天花板水平可以得到各自的百分比，三個百分比的加權(quán)調(diào)和平均數(shù)就是UVI（Unit of Visual Immersion）即視覺沉浸感當(dāng)量，所以基于這三個指標(biāo)的綜合考量得出的UVI，是我們衡量的標(biāo)準(zhǔn)。
在物理沉浸感方向上，對應(yīng)的是自由?，F(xiàn)在大部分的頭顯，6DoF幾乎是標(biāo)配，同時還需要在無線化、空間影響、體感外設(shè)、人體工程學(xué)設(shè)計等方向達(dá)到一定的要求，最后再考慮重量和體積的優(yōu)化工作。之前主流的定位方向是Outside-in，定位精準(zhǔn)，但價格較高，要配備燈塔基站，移動不靈活。新的主流方向則是Inside-out，精確度足夠高，價格也便宜，未來幾乎可以形成全視野AR功能的雛形，為VR過渡到MR打下基礎(chǔ)。
在認(rèn)知沉浸方向上，對應(yīng)的是自我。如果你在元宇宙當(dāng)中覺得自己是一個元宇宙人、虛擬人，如何在其中擁有自我存在感呢？就像你在看一面鏡子，你動他也動，如何實(shí)現(xiàn)？除了需要物理沉浸感，還需要Face-tracking（面部追蹤）、Eye-tracking（眼動追蹤）和Body-tracking（全身動作捕捉），你的眼神在動，虛擬人的眼神跟著你動，你的情緒在變化，虛擬人的情緒也跟著變化。
所以我們認(rèn)為視覺、物理、認(rèn)知三個層面互相配合，能夠產(chǎn)生足夠高的沉浸感，元宇宙能讓人覺得置身其中，這就需要我們致力于做高性能VR硬件，把更符合人體體驗標(biāo)準(zhǔn)的產(chǎn)品帶給大家。
Unity大中華區(qū)平臺技術(shù)總監(jiān) 楊棟：“致力于打造和完善開發(fā)者生態(tài)，才能從本質(zhì)上推動內(nèi)容開發(fā)和技術(shù)創(chuàng)新”
Unity目前專注的領(lǐng)域是研發(fā)互動式內(nèi)容創(chuàng)作工具，這些工具鏈提供給VR/AR/MR各種手游和 PC端的各種應(yīng)用，只要是三維實(shí)時互動內(nèi)容，都可以進(jìn)行研發(fā)。本質(zhì)上我們要解決的問題是，當(dāng)內(nèi)容創(chuàng)作者去研發(fā)這些內(nèi)容的時候，能夠滿足用戶手里多種多樣的設(shè)備的特性。我們要降低開發(fā)者的技術(shù)門檻，讓他們?nèi)?chuàng)造新的內(nèi)容而不是重復(fù)建輪子。所以，以前我們的平臺叫引擎，但現(xiàn)在我們把它定義為內(nèi)容創(chuàng)作平臺。
目前Unity支持將近30個計算平臺，大到PC，小到Switch一類的游戲機(jī)或者Xbox、PlayStation這一類主機(jī)游戲，甚至安卓的機(jī)頂盒，都可以用來開發(fā)。也有許多客戶在非游戲行業(yè)里使用，例如數(shù)字孿生這些領(lǐng)域。其實(shí)用Unity來做VR相關(guān)的內(nèi)容，也是支持的，而且針對VR相關(guān)設(shè)備一共有完整的三種方式的支持。
第一種方式，像Oculus、Pico、Window Mixed Reality、Magic Leap都是我們的官方合作伙伴，有專門的團(tuán)隊對口這些VR廠商做SDK研發(fā)和市場推廣相關(guān)工作。作為技術(shù)工具，市場推廣和普通的產(chǎn)品廣告是不同的，需要提供很多的教程、開發(fā)者大會這類服務(wù)，現(xiàn)場或線上幫助大家解決研發(fā)過程中遇到的實(shí)際問題。
第二種方式，我們稱之為VSP，即Verified Solution Provider。對于我們認(rèn)證的解決方案供應(yīng)商，可以在我們的平臺上幫助他驗證自己的技術(shù)，再通過各種手段和渠道進(jìn)行推廣，讓更多人可以使用他的技術(shù)去做各式各樣的內(nèi)容。
第三種方式是針對非官方合作伙伴的，XR領(lǐng)域相關(guān)的，如果只從VR角度上來說，我們的工具鏈相關(guān)的API實(shí)際上會開放給所有的廠商，他們會拿我們的SDK集成到他們的設(shè)備商，通過自己的渠道宣傳推廣，然后讓他們自己的開發(fā)者來開發(fā)內(nèi)容。在內(nèi)容為王的時代，如果沒有優(yōu)質(zhì)的內(nèi)容，其實(shí)很難進(jìn)行相應(yīng)的硬件設(shè)備的推廣。
除了技術(shù)層面的快速進(jìn)步，我們不斷兼容更多的平臺，更多的設(shè)備，把我們的工具鏈?zhǔn)褂瞄T檻做得更低，其實(shí)就是在進(jìn)行開發(fā)者生態(tài)建設(shè)。我2016年加入Unity中國，我的團(tuán)隊就一直在進(jìn)行開發(fā)者生態(tài)建設(shè)工作。目前國內(nèi)的Unity開發(fā)者已經(jīng)超過了220萬，全球大約2000萬，已經(jīng)形成了完整的開發(fā)者生態(tài)閉環(huán)。
那么在內(nèi)容為王的時代，我們其實(shí)擁有最大的實(shí)時渲染3D內(nèi)容的開發(fā)者社區(qū)，所以目前Unity可以說是制作 VR內(nèi)容的首選引擎，我們也非常希望通過各種渠道與大家深入交流。
英偉達(dá)中國區(qū)XR/CloudXR業(yè)務(wù)負(fù)責(zé)人 周錫健:“云計算的突破使創(chuàng)新者獲取巨大算力，AI提升人機(jī)交互的更多可能與體驗”
首先我們從云計算開始，云計算其實(shí)是一個永恒的話題，也非常熱門。例如通過高級的醫(yī)學(xué)影像技術(shù)抗擊癌癥，自動化的客戶服務(wù)，電影級的游戲體驗，AI，還有高性能HPC和顯卡領(lǐng)域的新一代功能，正在不斷突破界限。現(xiàn)在全球所有的云平臺都已經(jīng)全面支持NVIDIA，也就是英偉達(dá)的GPU加速方案，世界各地的創(chuàng)新者也能據(jù)此輕松獲取巨大的算力。
針對XR來講，NVIDIA在2019年發(fā)布了CLOUD XR SDK技術(shù)，是一項基于NVIDA的RTX技術(shù)構(gòu)建的突破性創(chuàng)新，它可以通過跨越5G和WiFi網(wǎng)絡(luò)，實(shí)現(xiàn)無線的VR和AR。RTX技術(shù)即實(shí)時光線追蹤，對很多VR/AR場景而言是必須的，可以塑造更加逼真的場景效果。NVIDIA的這一技術(shù)可以通過RTX虛擬工作站軟件，針對數(shù)據(jù)中心和邊緣網(wǎng)絡(luò)實(shí)現(xiàn)全面擴(kuò)展。我們的SDK也包含了服務(wù)器的安裝組件以及開源的應(yīng)用程序，用于Open XR的應(yīng)用程序，例如Android或者Windows的設(shè)備都可以實(shí)現(xiàn)串流的功能。
其實(shí)經(jīng)過這么多年的發(fā)展，VR的交互已經(jīng)比較成熟了，高分辨率的VR頭盔和高性能的GPU都是完備的，那么我們還可以做什么？我們的回答是AI，AI的加入大大加強(qiáng)了VR體驗的真實(shí)感和智能化，特別是將原來人機(jī)交互的復(fù)雜操作變得更加簡單。
例如上述的CLOUD XR SDK的最新版本支持雙向Audio音頻傳輸，這表示AI語音正在逐漸改變各個行業(yè)的企業(yè)與客戶的交互方式。NVIDIA在AI語音方面有Viva這一先進(jìn)模型，有全方位加速的流程和各種工具，能夠輕松地開發(fā)虛擬助手、實(shí)時轉(zhuǎn)錄或者聊天機(jī)器人等應(yīng)用程序。這些都是可定義的，可以部署在任意的云平臺、本地或者邊緣的技術(shù)中心。
再回到具體的操作層面，目前一些語音助手已經(jīng)可以實(shí)現(xiàn)很多交互，例如在評審里改變車身的顏色、打開車門、場景變化等都可以做到，但AI可以進(jìn)一步提升整體體驗。如果放到VR操作中，對于非專業(yè)人士而言還是比較復(fù)雜的，但我們可以通過對場景的分類，對各種場景進(jìn)行一些AI訓(xùn)練，就能實(shí)現(xiàn)更多的復(fù)雜功能。比如你想找一個汽車?yán)锏牧悴考?，你通過普通的手柄交互可能無法精準(zhǔn)找到，但如果使用AI語音就可以快速精準(zhǔn)地實(shí)現(xiàn)。
所以，云端的串流技術(shù)和AI的加持，可以提升算力，進(jìn)行更加復(fù)雜的人機(jī)交互，帶來更好的用戶體驗和多樣化的體驗方式。
