元宇宙的未來會(huì)是什么樣?
# 熱點(diǎn)資訊 2022-09-19 16:58 0 95 作者: 形象思維VR 當(dāng)下五花八門的元宇宙產(chǎn)品層出不窮,但人們對(duì)元宇宙的探索仍只是冰山一角,在TGDC2022騰訊游戲開發(fā)者大會(huì)上,香港科技大學(xué)計(jì)算媒體與藝術(shù)講座教授、香港科技大學(xué)元宇宙與計(jì)算創(chuàng)意研究中心主任許彬教授帶來了《元宇宙生存手冊(cè)》主題演講,深度探討了元宇宙的發(fā)展和生態(tài)系統(tǒng)的構(gòu)建。在許彬教授看來,技術(shù)是推動(dòng)元宇宙發(fā)展的催化劑。理想情況下,新技術(shù)可以解鎖元宇宙的其他功能,并將虛擬環(huán)境推向一個(gè)更加可感知的虛擬世界。
大家好,我是香港科技大學(xué)的許彬,歡迎大家來我的講座《元宇宙生存手冊(cè)》,今天我會(huì)帶領(lǐng)大家進(jìn)入元宇宙的世界,對(duì)元宇宙的發(fā)展還有背景進(jìn)行一些討論。講座會(huì)分成七部分:第一部分是關(guān)于元宇宙的背景;第二部分我會(huì)介紹怎樣去構(gòu)造元宇宙;第三部分我們會(huì)講講當(dāng)前的發(fā)展階段;第四部分是未來的愿景,包括技術(shù)與生態(tài)系統(tǒng);第五部分是元宇宙的一些技術(shù)上的問題,包括擴(kuò)展現(xiàn)實(shí)、用戶互動(dòng);第七部分是元宇宙的生態(tài)系統(tǒng)。關(guān)于今天的講座主要是基于我們之前發(fā)表的在網(wǎng)上發(fā)表的一篇文章,《All One Needs to Know about Metaverse A Complete Survey on Technological Singularity, Virtual Ecosystem and Research Agenda(關(guān)于元宇宙需要知道的一切:涵蓋技術(shù)奇點(diǎn)虛擬生態(tài)系統(tǒng)和研究議程的完整調(diào)研)》。去年10月發(fā)表之后,已經(jīng)有超過9萬個(gè)閱讀,大多是研究人員的閱讀。因?yàn)闀r(shí)間的關(guān)系,我會(huì)用比較概括的語言跟大家介紹我們?cè)谶@方面的工作。
那首先我們講講什么叫元宇宙吧。“元宇宙”這個(gè)名詞,其實(shí)是1992年的一本小說《雪崩》。在《雪崩》這本小說里面,作者形容了一個(gè)世界,它是一個(gè)虛擬世界,就是我們說的“virtual reality“一樣的環(huán)境。在這個(gè)世界里面,用戶可以戴上可穿戴設(shè)備,進(jìn)入虛擬的世界里面。用戶可以用他的虛擬化身,跟其他用戶的虛擬化身來進(jìn)行他們的一些交互活動(dòng),例如我們說的社交或者也可以從事一些商業(yè)活動(dòng),例如買賣東西。大家可能之前看到過左手邊這個(gè)圖,這是90年代《紐約客》上的一張圖,其中它的文字形容是“On the Internet nobody knows you're a dog”中文是說“在互聯(lián)網(wǎng)上沒有人知道你是條狗”。它的意思主要是想強(qiáng)調(diào):誰都可以使用互聯(lián)網(wǎng)。
右邊這個(gè)圖是我說的,“In the Metaverse You can be a cat”,我認(rèn)為,我們可以在元宇宙里面過一個(gè)跟我們現(xiàn)實(shí)生活完全不一樣的生活。你可以很隨意地選自己的一個(gè)虛擬化身,你的Avatar也可以是一個(gè)貓,也可以是一個(gè)機(jī)器人。大家看到中間的這個(gè)小貓,其實(shí)是我自己的小貓,它可以說是第一只進(jìn)駐元宇宙的小貓吧。元宇宙的發(fā)展有三個(gè)階段:第一個(gè)階段是數(shù)字孿生,第二階段我們叫數(shù)字原生,第三階段是物理和虛擬現(xiàn)實(shí)之間的共存。
大家可以看到這條線,這條線最左邊是數(shù)字孿生,最右邊是數(shù)字原生。這三個(gè)階段是不是要從數(shù)字孿生開始,然后到數(shù)字原生呢?不是的它們是可以并行之間進(jìn)行的。
舉個(gè)例子,大家看到最左邊的圖,它是一個(gè)物理的世界,它是現(xiàn)實(shí)的香港的照片,我們可以把這個(gè)現(xiàn)實(shí)的香港,轉(zhuǎn)成數(shù)字孿生,你就看到圖中間的圖像了。元宇宙它不只是一個(gè)數(shù)字孿生,我們想象的元宇宙,它應(yīng)該是現(xiàn)實(shí)生活,再加上一些虛擬的物體在里面。我想強(qiáng)調(diào)的是,數(shù)字孿生這個(gè)概念,它不是一個(gè)一對(duì)一的將現(xiàn)實(shí)生活在虛擬環(huán)境里的復(fù)制,它是一個(gè)大規(guī)模和高保真的數(shù)字模型的實(shí)體。如果現(xiàn)實(shí)生活的物體它的特性,在虛擬的環(huán)境里面是有意義的,有作用的、有功能的,我們才會(huì)把它的特性,把它模擬在虛擬的環(huán)境里面,然后虛擬和物理的孿生之間,又通過他們的數(shù)據(jù)來做捆綁的聯(lián)系的,就是說大家是會(huì)互相影響的。
也就是說,物體世界的物體改變了,那它產(chǎn)生的數(shù)據(jù)也會(huì)改變,它在虛擬世界里面的數(shù)字孿生也會(huì)隨之改變。就是說我們可能是一個(gè)智慧智能制造的一個(gè)場(chǎng)景,那它可能在這個(gè)虛擬世界里面做一些我們說的仿真simulation,仿真所產(chǎn)生的數(shù)據(jù)也可以返回來,再改變工業(yè)制造、智慧制造上面的一些程序。所以說數(shù)字孿生不只是一個(gè)單單的模型,它們之間是有數(shù)據(jù)聯(lián)系的,是會(huì)有互相影響的。內(nèi)容創(chuàng)作方面,有一些物體在元宇宙里面,但它是不存在于現(xiàn)實(shí)生活里面的,比如藝術(shù)家或者一些內(nèi)容創(chuàng)作家在元宇宙里面創(chuàng)作的一些數(shù)字藝術(shù)品。這些藝術(shù)品其實(shí)在現(xiàn)實(shí)生活里面它是不存在的。這些數(shù)字的內(nèi)容創(chuàng)作,它只存在于數(shù)字世界里面里。
我們都知道Mate是元宇宙,需要人流進(jìn)去,它才能維持一個(gè)生態(tài)系統(tǒng)。我那們?cè)鯓游肆鬟M(jìn)去這個(gè)元宇宙里面?它就需要內(nèi)容支撐。當(dāng)然內(nèi)容的創(chuàng)作人需要靠經(jīng)濟(jì)的活動(dòng),如果有經(jīng)濟(jì)活動(dòng)的收益的話,就可能會(huì)鼓勵(lì)藝術(shù)家去進(jìn)行內(nèi)容創(chuàng)作。那這樣也是可以產(chǎn)生新的經(jīng)濟(jì)活動(dòng)。我們想象中,元宇宙是一個(gè)自我維持的持久性的一個(gè)虛擬世界的存在,它與物理世界是可以共存的,而且互相有一些影響,但是它又具有自己的高度的獨(dú)立性。
因?yàn)橛泻芏辔覀冋f的數(shù)字原生的,受制于原生的東西,它們?cè)谖锢硎澜缟鲜遣淮嬖诘?。理論上元宇宙是能夠在一個(gè)虛擬世界支持無限數(shù)量的并行用戶。但是作為一個(gè)游戲開發(fā)者,或者作為一個(gè)技術(shù)方面的創(chuàng)作的用戶,我們知道雖然這是理論上可以的,但是在現(xiàn)實(shí)上也有很多的限制,比如說處理器存儲(chǔ)量還有各種各樣計(jì)算能力的限制。如果我們想支持越多的用戶,那我們需要有越多的計(jì)算能力。這里我要再介紹一個(gè)名詞,英文叫surreality,你也可以翻譯成一個(gè)“超真實(shí)”或者“超現(xiàn)實(shí)”。但是我也希望大家可以提供一個(gè)更好的翻譯。我們想象中的未來世界,它是用一種身臨其境的方式,與物理世界混合共存,以至于我們無法分辨什么是真實(shí)什么是虛擬。然后我們會(huì)通過一些先進(jìn)的全息技術(shù),或者高質(zhì)量的頭戴顯示器,與我們環(huán)境的虛擬對(duì)象生活和互動(dòng)。因?yàn)檫@個(gè)虛擬的物件它們做得很逼真了,而且我們可能越來越會(huì)習(xí)慣,我們生活之中會(huì)出現(xiàn)一些虛擬的物體,那我覺得未來的時(shí)候我們會(huì)逐漸失去虛擬的邊界,進(jìn)入新的現(xiàn)實(shí),我們就把它叫成了surreality。
當(dāng)然這個(gè)概念也是跟我們?cè)鯓尤タ丛钪嬗嘘P(guān)系,到底元宇宙是不是一個(gè)完全虛擬的世界,還是元宇宙是一個(gè)虛擬跟真實(shí)世界結(jié)合的世界呢?不同的開發(fā)商、不同的研究團(tuán)隊(duì),有不同的看法。當(dāng)前的發(fā)展階段到底在哪里呢?元宇宙其實(shí)是經(jīng)歷了四個(gè)不同的轉(zhuǎn)變,從基于一個(gè)文本交互的游戲,到虛擬的開放世界,再到一個(gè)大型的多人的在線游戲,然后推到現(xiàn)在我們目前的元宇宙的狀態(tài)。
大家可以從這個(gè)圖上面可以看到有一條軸,這條軸上面它是一個(gè)元宇宙相關(guān)的一些內(nèi)容和應(yīng)用,這條軸下面是當(dāng)時(shí)的一些計(jì)算機(jī)的技術(shù)的出現(xiàn),那我們可以看到《雪崩》是在1992年的時(shí)候出版的。但是《雪崩》之前,其實(shí)也有其他的文學(xué),它們會(huì)說到好像元宇宙這樣的世界,其中有一個(gè)例子,就是1984年加拿大的作家William Gibson發(fā)表的一本小說《神經(jīng)漫游者》。那本小說里面形容的世界也是一個(gè)虛擬世界,用戶可以通過在頭上插一個(gè)導(dǎo)線,然后通過這條線的接口進(jìn)入到它虛擬的世界里面。這個(gè)場(chǎng)景好像我們說的《黑客世界》,電影很可能是受到這本小說的啟發(fā)吧,因?yàn)楫?dāng)時(shí)個(gè)人電腦也是要到1987年才出現(xiàn),計(jì)算機(jī)圖形學(xué)也是到1990年的時(shí)候才出現(xiàn),再之前比較多是一些文本或者文學(xué)的關(guān)于這個(gè)概念。然后我們看到就是《網(wǎng)絡(luò)旅行者》《第二人生》《我的世界》這些都逐漸地出現(xiàn)了,到2000年之后,像《寶可夢(mèng)GO》,還有VR Chat、Super Mario AR、Cryptokitties 、《外星世界》也陸續(xù)面世。我們可以看到AR的應(yīng)用,根據(jù)時(shí)間的變化,除了計(jì)算機(jī)圖形學(xué),還有2000年或者90年代的大型的互聯(lián)網(wǎng)的使用,還有2000年初的一些觸屏的智能手機(jī),到2011年左右的加密貨幣、區(qū)塊鏈,然后2016年之后的增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)、控制器等。顯然技術(shù)是推動(dòng)這種轉(zhuǎn)變的一個(gè)催化劑。如今研究界仍在探索元宇宙發(fā)展的道路上,但是理想的情況下,我們覺得新技術(shù)可以解鎖元宇宙的其他功能,并將虛擬環(huán)境推向一個(gè)更加可感知的虛擬世界。這個(gè)圖我想給大家總結(jié)一下現(xiàn)在網(wǎng)絡(luò)空間的一些發(fā)展,在元宇宙的創(chuàng)作或者對(duì)元宇宙的研究方面,還有哪些機(jī)會(huì)。從左邊到右邊是一個(gè)內(nèi)容豐富性的變化,縱軸是內(nèi)容方面的個(gè)性化,或者用戶可參與程度,在內(nèi)容的創(chuàng)作方面的自由程度。
進(jìn)入元宇宙的機(jī)會(huì),它到底在哪方面有一些增加呢?大家可以看到是一個(gè)體驗(yàn)的二元性,意思就是說,它會(huì)把我們覺得在元宇宙的世界里面,虛擬、真實(shí)或物理跟數(shù),會(huì)更好地結(jié)合在一起。那用戶同一時(shí)間可以體驗(yàn)到,虛擬與真實(shí)之間的一些更好的體驗(yàn)。在元宇宙的研究方面,我們可以怎樣地利用開發(fā)一些軟件或者一些應(yīng)用,增強(qiáng)用戶二元性的一個(gè)體驗(yàn)。未來愿景:技術(shù)與生態(tài)系統(tǒng)我們繼續(xù)去說一說技術(shù)還有生態(tài)系統(tǒng)的方面吧。如果想創(chuàng)造一個(gè)元宇宙,到底需要哪種技術(shù)呢?現(xiàn)在大家可以看到這個(gè)圖下面的是技術(shù),它其實(shí)是硬科技。我們需要通過這些硬科技,發(fā)展或者建立一個(gè)元宇宙平臺(tái)。那這些科技包括,用戶互、擴(kuò)展現(xiàn)實(shí)、計(jì)算機(jī)視覺、人工智能、區(qū)塊鏈、機(jī)器人、物聯(lián)網(wǎng)邊緣云,還有網(wǎng)絡(luò)。那當(dāng)然大家看到最下面是一些硬件的基礎(chǔ)設(shè)施,網(wǎng)絡(luò)也會(huì)在硬件基礎(chǔ)設(shè)施之上,云就會(huì)在網(wǎng)絡(luò)上面,越下面的技術(shù)它是越基本。
用戶體驗(yàn)跟增強(qiáng)擴(kuò)展現(xiàn)實(shí),它們是在最高的幾個(gè)技術(shù)(里面),它們也會(huì)應(yīng)用到下面的一些計(jì)算機(jī)視覺、人工智能、區(qū)塊鏈、機(jī)器人、物聯(lián)網(wǎng)的一些技術(shù)。然后人工智能,它會(huì)用到下面的一些,邊緣云或者云的一些技術(shù),當(dāng)然也會(huì)用到網(wǎng)絡(luò)方面。現(xiàn)在各種的設(shè)備各種技術(shù)有了,我們可以通過拓展現(xiàn)實(shí)的方法來進(jìn)入元宇宙。元宇宙它可能也是一個(gè)虛擬的世界,它也可以是一個(gè)我們說的真實(shí)的虛擬的混合的一個(gè),好像混合現(xiàn)實(shí)的一個(gè)元宇宙。無論是哪一種,你都可以通過這個(gè)擴(kuò)展現(xiàn)實(shí)去進(jìn)入這個(gè)元宇宙。我們說的擴(kuò)展現(xiàn)實(shí),它是進(jìn)入元宇宙的門,如果你是建筑一個(gè)Virtual虛擬的元宇宙,那你用VR的技術(shù),如果你是建成一個(gè)混合現(xiàn)實(shí)的元宇宙,那你是用AR的技術(shù)去進(jìn)行。接下來,我們?cè)趺慈チ钸@個(gè)元宇宙可以自己去自我維持呢?它還是需要上面生態(tài)系統(tǒng)的一個(gè)支持。那生態(tài)系統(tǒng)它包括什么呢?在這里包括虛擬化身,因?yàn)槲覀冞M(jìn)入元宇宙,是通過我們的虛擬化身去進(jìn)入。那虛擬化身的創(chuàng)作,也是一個(gè)維持生態(tài)系統(tǒng)的其中一種技術(shù)。除了虛擬化身還有我們說的虛擬經(jīng)濟(jì),因?yàn)槲覀冋f你需要維持一定的經(jīng)濟(jì),系統(tǒng)才可以鼓勵(lì)一些內(nèi)容的創(chuàng)作。
那大家可以看到,內(nèi)容創(chuàng)作跟虛擬經(jīng)濟(jì)是同一層的,當(dāng)然最上面的也有很多的東西,它可能是我們說的社會(huì)的接受度、安全和隱私、信任和責(zé)任,這些都是很必須。讓我們說說可以維持元宇宙的生態(tài)系統(tǒng)的一些的需求吧。類似于現(xiàn)實(shí)中的社會(huì),內(nèi)容創(chuàng)作和虛擬經(jīng)濟(jì)應(yīng)該符合社會(huì)的規(guī)范和法規(guī),例如虛擬經(jīng)濟(jì)中生產(chǎn)應(yīng)該受到所有權(quán)的保護(hù),而這種生產(chǎn)應(yīng)該被元宇宙的其他化身,就是其他人類用戶接受。此外人類用戶希望他們的活動(dòng)也不會(huì)面臨隱私風(fēng)險(xiǎn)和安全的威脅。
那有一些什么方面我們是需要去做,需要去研究的,來推動(dòng)元宇宙技術(shù)和生態(tài)系統(tǒng)?那大家會(huì)看到人工智能上面,我們可能需要做一些自動(dòng)的數(shù)字孿生的產(chǎn)生,如果我們是用人手去做一個(gè)數(shù)字孿生的話,它會(huì)花很多時(shí)間,我們可不可以用AI的技術(shù)去做一些更好的自動(dòng)的數(shù)字孿生呢?用戶離開了元宇宙去吃飯或者去上學(xué)學(xué)習(xí)的時(shí)候,會(huì)不會(huì)有計(jì)算機(jī)的AI去做代理呢?我們說的虛擬化身,它虛擬化身的外觀世界應(yīng)該是怎樣?用戶感知又是怎樣呢?我們?nèi)撕吞摂M化身之間的交互又應(yīng)該是怎樣呢?這些都是需要我們?nèi)パ芯康膯栴}。邊緣計(jì)算上我們也有很多的研究方向需要去做,怎樣去減少用戶應(yīng)用的一些延遲呢?就是可以把這個(gè)應(yīng)用放到邊緣云上面去。在其他方面我們也說了很多,信任和責(zé)任方面,它公平和偏見是怎樣的,權(quán)力和控制又是怎樣的,如果有不透明的東西那我們又應(yīng)該怎樣去處理?最后,如果有元宇宙,那元宇宙是由誰來管理,怎樣去管理?這些問題也是需要我們好好去做這方面的研究。元宇宙技術(shù):擴(kuò)展現(xiàn)實(shí)第五部分,我會(huì)給大家簡(jiǎn)單地介紹一下擴(kuò)展現(xiàn)實(shí)這方面的研究。到底擴(kuò)展現(xiàn)實(shí)是說什么呢?我們說的現(xiàn)實(shí)就是reality,就是真實(shí)的世界,虛擬現(xiàn)實(shí)virtual reality就是虛擬的世界。
那在虛擬現(xiàn)實(shí)里面,你可以戴一個(gè)頭顯,頭顯戴上之后,你是不會(huì)看到任何的現(xiàn)實(shí)世界的,但是現(xiàn)實(shí)世界跟虛擬現(xiàn)實(shí)之間,就是我們說的增強(qiáng)現(xiàn)實(shí)或者混合現(xiàn)實(shí)。你的手機(jī),可以拿上增強(qiáng)現(xiàn)實(shí)的一個(gè)頭顯,那你同一時(shí)間會(huì)看到現(xiàn)實(shí)世界,也會(huì)看到虛擬的物體出現(xiàn)在現(xiàn)實(shí)世界里面。那這樣的話,我們就可以說,虛擬性就會(huì)從左到右的一個(gè)增加了在虛擬的現(xiàn)實(shí)里面,現(xiàn)在的商用的VR的頭盔、頭顯,它都提供了很多的功能,包括頭部的跟蹤還有一些控制,它有一個(gè)控制器讓用戶更好地交互。元宇宙的用戶也可以用它來建設(shè)與數(shù)字孿生一致的一些內(nèi)容,包括做一些藝術(shù)的創(chuàng)作。現(xiàn)在,我們開會(huì)可以用騰訊會(huì)議或者用Zoom,那我們會(huì)不會(huì)通過虛擬的現(xiàn)實(shí)技術(shù),可以更沉浸式地提供一個(gè)開會(huì)工作學(xué)習(xí)的環(huán)境,去讓我們更好地跟其他的人進(jìn)行合作呢?增強(qiáng)現(xiàn)實(shí)方面我剛才也提過了,它一般通過你的攝像機(jī),當(dāng)然它也可以通過聲音或者是其他的(設(shè)備)做一些輸入,然后再通過這些輸入來明白這個(gè)環(huán)境,然后把一些虛擬的東西加進(jìn)來,它可以是一些虛擬的圖像、聲音。為了確保在AI中的無縫和輕量級(jí)地交互,用戶交互的技術(shù)也是非常重要的,下一部分的時(shí)候我們也會(huì)再繼續(xù)說一說。所以我們覺得元宇宙,如果它是一個(gè)混合現(xiàn)實(shí)的元宇宙的話,那AR就是它的一個(gè)主要的技術(shù)。然后我們也希望通過AR的技術(shù),讓我們與城市的環(huán)境更加好地結(jié)合起來,去改善我們?cè)诔鞘欣锩娴纳睢?/section>那簡(jiǎn)單地介紹一下,關(guān)于AR的運(yùn)作的管道吧。AR的運(yùn)作,剛才說了它的輸入一般都是手機(jī)攝像頭。手機(jī)攝像頭進(jìn)入之后,那我們會(huì)做一些整個(gè)流程的一些處理,它會(huì)有一些框架的預(yù)處理,然后物體的一些檢測(cè)、特征的提取。特征提取以后,我們想明白到底這個(gè)場(chǎng)景是什么,那我們會(huì)做一些對(duì)象的識(shí)別。然后對(duì)象識(shí)別之后,那你要去一個(gè)數(shù)據(jù)庫里面,把一些識(shí)別到這個(gè)對(duì)象的相關(guān)的資料拿下來,然后把它再做一些模板的匹配。當(dāng)然它可能會(huì)在手機(jī)上做一些對(duì)象的跟蹤的這樣的程序,那大家可以看到,它主要是一個(gè)計(jì)算機(jī)視覺比較多的一個(gè)程序。
然后大家可以看到這個(gè)圖,就是每一個(gè)方塊的顏色越深的話,說明它的計(jì)算量的要求就越高了,它越淺的話就是它的計(jì)算量的要求越低。然后大家可以看到這個(gè)圖里面有數(shù)字,有紅色的數(shù)字,還有綠色的數(shù)字。紅色的數(shù)字就是說,如果我們把這個(gè)工作是在手機(jī)上做的話,它需要多長(zhǎng)時(shí)間,然后綠色的就是說我們把它放到一個(gè)附近的Server一個(gè)服務(wù)器上做,它大概需要多少時(shí)間。然后大家可以看到這個(gè)對(duì)象識(shí)別,它是黑色,說明它的計(jì)算量的要求最高了,那它如果在手機(jī)上去做,可能就需要500毫秒,如果它在一個(gè)比較好一點(diǎn)的服務(wù)器上做的話,它可能只需要92毫秒,大概是5倍的時(shí)間。那如果我們?cè)诟浇幸粋€(gè)服務(wù)器的話,那我們把它放到服務(wù)器上面去做的話,那它所需要的時(shí)間就大大地省下了。大家可以看到這個(gè)網(wǎng)絡(luò)傳輸圖,我是把它端對(duì)端的延遲,把它占整個(gè)端對(duì)端延遲的時(shí)間的百分比給大家分析下來。如果我們假設(shè)網(wǎng)絡(luò)傳輸,是50毫秒的話,那它在整個(gè)端對(duì)端延遲里面占了多長(zhǎng)時(shí)間呢?大概18%還不到。如果通信上面可以把網(wǎng)絡(luò)通信的延遲縮到0的話,那你也只是節(jié)省了18%的總共的延遲。那其中最多的延遲到底是在哪里?大家會(huì)看到對(duì)象識(shí)別還有特征提取,它們其實(shí)占了大概接近一半的延遲時(shí)間,那除了網(wǎng)絡(luò)上去解決這個(gè)問題,那是不是在計(jì)算機(jī)computer vision上面,或者在edge computing或cloud computing上面,是不是更能節(jié)省它的那個(gè)延遲時(shí)間呢?
除了VR、AR上面的挑戰(zhàn)之外,那對(duì)VR上有什么的挑戰(zhàn)呢?基本上VR的挑戰(zhàn)就是它的解像度的問題。我給大家舉個(gè)例子吧,如果我們一是個(gè)正常視力的人是20/20,那我們到底需要多大多少的解像度才可以在你的頭顯里面看一個(gè)虛擬物體?一般的話我們正常視力,大概你需要1度到1度之間的區(qū)域,大概是需要3600個(gè)像素,如果我們說的是一個(gè)360度Video的話,那16K的分辨率 它會(huì)對(duì)網(wǎng)絡(luò)造成很大的傳輸挑戰(zhàn),因?yàn)檫@個(gè)分辨率的話,你需要的傳輸速度是要達(dá)到300個(gè)Mbps,很多無線的網(wǎng)絡(luò)是擔(dān)當(dāng)不了的,而且現(xiàn)有的解決方法也不一定能滿足這方面。即便可以傳輸,其實(shí)現(xiàn)在的手機(jī)或者一些頭顯,是很難進(jìn)行16K video的解碼的。在這方面我們研究團(tuán)隊(duì)也做了很多研究,怎樣可以把這個(gè)AR的延遲降低到33毫秒以下。用戶互動(dòng)方面也很重要,因?yàn)槲覀冇靡粋€(gè)AR,或者我們進(jìn)入元宇宙里面,我們也要跟一些虛擬的Avatar和其他的內(nèi)容去交互。那起碼就是說,如果我們要做打字怎么辦呢?要是我們?cè)诂F(xiàn)實(shí)生活可以用keyboard來打字,那在元宇宙里面我們是可以經(jīng)常打字對(duì)不對(duì)?涉及到輸入設(shè)備,包括輸入的技術(shù),還有一些反饋的技術(shù)。輸入的技術(shù)方面也有很多研究已經(jīng)做了。這個(gè)圖上顯示是身體交互的技術(shù),就是說你可以用你的手來做一些,對(duì)虛擬的物體進(jìn)行一些操作,可以在你手上面有一些,智能皮膚或智能穿戴設(shè)備,你可以通過這些智能設(shè)備,跟虛擬的內(nèi)容進(jìn)行互動(dòng)。
我們的一個(gè)系統(tǒng),可以用AR眼鏡來跟內(nèi)容做一些交互,大家看到圖的畫面有一個(gè)學(xué)生,在揮舞手臂,那他到底在做什么呢?他是用手把文件從一個(gè)電腦,拉到隔壁的電腦上面去,那個(gè)文件就很順利地傳過去了。另外一個(gè)同學(xué)則是用手把一個(gè)PPT拉到一個(gè)projector上面去,PPT就直接在projector上面打開了。大家可以通過你的手勢(shì),去跟你的虛擬的內(nèi)容去做一些交互。
剛才我提到鍵盤,這也是我們的一個(gè)系統(tǒng)。AR顯示器它的視野其實(shí)很小,如果我們放一個(gè)很大的鍵盤在里面的話,鍵盤已經(jīng)把你一半的視野已經(jīng)擋住了,如果你打字的時(shí)候可以怎么樣去做呢?我們想象中有一條線,那條線從英文字母ABCD到Z都排在一個(gè)虛擬線上,你的手去到不同位置,它就是一個(gè)不同的字母的區(qū),在字母的區(qū)域里面 像IJK是同一個(gè)區(qū),然后你在IJK再選一個(gè)字母再選一個(gè)詞,這樣你就可以通過手在一條想象的線上面去做操作,然后你就可以打字了問題就是,為什么要鍵盤這樣。主要是受到它的有限的視野的限制,當(dāng)然如果我們希望,以后有更好頭顯的話,視野會(huì)更大,對(duì)用戶的一些體驗(yàn)也就會(huì)更好。反饋方面,現(xiàn)在有很多的觸覺裝置,可以讓你在元宇宙里面產(chǎn)生一些觸摸的感覺,讓你可以更好地做這方面的交互了。生態(tài)系統(tǒng)方面,我主要想說的就是隱私的問題。如果我們平時(shí)上網(wǎng)的話,我們只是上網(wǎng)一些資料被搜集,那到了一個(gè)元宇宙里面,如果大家穿戴很多可穿戴設(shè)備,來增強(qiáng)用戶體驗(yàn)的話,我們是不是有更加多的生物數(shù)據(jù)會(huì)被收集呢?
元宇宙運(yùn)營(yíng)商會(huì)有更多我們的數(shù)據(jù),這些數(shù)據(jù),除了我們身體的數(shù)據(jù)、生物的數(shù)據(jù),它可能也會(huì)有我們環(huán)境的一些數(shù)據(jù)。如果大家有用過AR頭顯的話,大家可以知道這個(gè)AR頭顯,首先會(huì)對(duì)你這個(gè)環(huán)境做一些掃描,然后建立一個(gè)環(huán)境模型,還有掃描(數(shù)據(jù))很有可能也會(huì)在運(yùn)營(yíng)商的云上面去了。這些的東西都可能會(huì)令用戶,有點(diǎn)擔(dān)心他的隱私問題。所以我覺得就是說到未來的話,我們會(huì)更加多的研究要保護(hù)用戶的隱私,而且在元宇宙里面,個(gè)人你可以創(chuàng)作自己的虛擬化身,你可以用不同的虛擬化身去給自己,那你也可以用其他人的虛擬化身,新的問題就接踵而至了。
大家可以從圖上看到,這里攻擊者的Avatar,它不一定好像人一樣的東西,它也可以是一個(gè)垃圾袋,它把自己的Avatar做成垃圾袋,那大家沒有留意到它是一個(gè)Avatar,它就可以在旁邊聽其他人的談話,那這個(gè)方面也是一些基于Avatar的一些虛擬問題吧。元宇宙?zhèn)惱矸矫妫降啄钦l來監(jiān)管這個(gè)元宇宙?管轄權(quán)和限制又如何?是不是我們可以用一些聯(lián)邦的模型,用一些Federated Learning或者用一些區(qū)塊鏈,或者用民主技術(shù)來控制一些非法行為?這方面也是非常值得我們?nèi)タ紤]和研究的,這跟大家游戲創(chuàng)作,怎樣去維持一個(gè)游戲世界也有關(guān)。那這方面大家也是可以有一些貢獻(xiàn),用自己在游戲上面的經(jīng)驗(yàn),也貢獻(xiàn)到我們?cè)钪胬锩嫒ァ?/section>生物數(shù)據(jù)方面,剛才我也提到太多的數(shù)據(jù)會(huì)被搜集,那我們?cè)鯓颖Wo(hù)被搜集到的信息?這包括一些隱私增強(qiáng)的技術(shù),做差異化的隱私保護(hù),或者我們說的一些聯(lián)邦學(xué)習(xí)方法,讓你的數(shù)據(jù)不離開你的設(shè)備,不與第三方分享。現(xiàn)實(shí)世界中的一些法規(guī),在元宇宙上面怎樣去實(shí)施呢?例如,知識(shí)產(chǎn)權(quán)將如何在元宇宙中得到保護(hù),如何對(duì)待元宇宙一個(gè)人的數(shù)字孿生的兇殺案……這些東西都是在元宇宙里面,我們是需要去思考的。
當(dāng)然我們可以說代碼與規(guī)則,就是大家跟游戲玩家一樣,我們會(huì)通過代碼去產(chǎn)生一些好像自然物理定律的一些規(guī)定,但是大家做游戲玩家都知道,代碼是不能管理所有在元宇宙里面的社會(huì)行為的。當(dāng)然用戶也可以去改一些代碼,那到底行為以后在元宇宙應(yīng)該怎樣去管理呢?用分布式的自治組織去做一些投票,然后做一些比較小規(guī)模的管理。在大規(guī)模上面,我們是不是會(huì)有一些其他的策略性的東西,來讓大家更好地管理這個(gè)元宇宙,那這些都是需要去探討的問題。DAO(分散式自治組織)是一個(gè)大家最近提得比較多的,它是不是可以在元宇宙里面對(duì)管理或管制上面會(huì)有幫助呢?我們會(huì)慢慢深入探討這些問題。
然后模塊化的方法和設(shè)計(jì),是不是把元宇宙的設(shè)計(jì)更加模塊化,就能增加我們創(chuàng)作的自由度?社會(huì)的元宇宙就是說,我們都是一個(gè)用戶,或一個(gè)游戲玩家,那我們?cè)谠O(shè)計(jì)這個(gè)社會(huì)元宇宙里面可以更加多地把很多的不同的因素都放在里面,就是說可及性、多樣性、平等、人道、信任。這方面在我們?cè)O(shè)計(jì)元宇宙里面,我們都必須要在這方面去探討的,所以我們希望通過元宇宙會(huì)對(duì)人或者社會(huì)和生產(chǎn)生活產(chǎn)生重大的正面的影響。當(dāng)然也有一些負(fù)面的影響也會(huì)有,但是這方面都是需要,我們大家一起努力去創(chuàng)作去奮斗的。最后就是今后的議題,今后的議題我剛剛也跟大家說過,主要是有技術(shù)上面的還有生態(tài)系統(tǒng)層面的,在這個(gè)圖上面看到更加多的,關(guān)于這方面未來需要去做的一些探討。謝謝大家。