国产免费无码又爽又刺激高潮_国产亚洲欧美在线人成aaaa_亚洲av永久无码精品尤物_专区久久五月天_国内精品久久人妻无码妲己影院

專題欄目:ARVRMR虛擬現(xiàn)實(shí)

Meta研究員用神經(jīng)網(wǎng)絡(luò)重建視覺(jué)透視,帶來(lái)高質(zhì)量MR透視效果

諸如Varjo XR-3、Quest Pro、Lynx R-1等頭顯或是未來(lái)幾年內(nèi)體驗(yàn)增強(qiáng)現(xiàn)實(shí)的最佳方式。采用透明光學(xué)器件的傳統(tǒng)AR頭顯(如HoloLen 2和Magic Leap 2)一般是通過(guò)波導(dǎo)顯示器將AR元素直接投射到眼睛,而前述設(shè)備則是利用外置攝像頭拍攝物理環(huán)境,然后再將其顯示在不透明顯示器。在這里,系統(tǒng)可以根據(jù)需要用AR元素進(jìn)行擴(kuò)展。

人工視線合成:一個(gè)大問(wèn)題

上面所說(shuō)的技術(shù)通常稱為透視AR。盡管透視AR擁有一定的優(yōu)勢(shì),但它同樣存在挑戰(zhàn):當(dāng)使用傳感器數(shù)據(jù)重建物理環(huán)境時(shí),如何令視圖看起來(lái)像是用戶在現(xiàn)實(shí)世界中用雙眼看到的一樣。

分辨率、顏色保真度、深度表示和透視等都必須與自然視覺(jué)印象相對(duì)應(yīng),并在用戶移動(dòng)頭部時(shí)以盡可能少的延遲進(jìn)行修改。

透視尤其給這項(xiàng)技術(shù)帶來(lái)了巨大的困難,因?yàn)榍爸脭z像頭的位置與眼睛的位置不完全匹配。這種視角轉(zhuǎn)換可能會(huì)導(dǎo)致不適和視覺(jué)偽影。

實(shí)際上,Meta的研究人員一直在研究相關(guān)的問(wèn)題,并已在8月舉行的Siggraphh 2022大會(huì)介紹了一項(xiàng)創(chuàng)新:使用人工神經(jīng)網(wǎng)絡(luò)重建視覺(jué)透視,亦即NeuralPassthrough神經(jīng)透視。

如上圖所示,由于攝像頭和眼睛位置的不匹配,Quest 2的黑白透視產(chǎn)生了扭曲,而且細(xì)節(jié)方面存在缺陷。但Meta的NeuralPassthrough神經(jīng)透視能夠產(chǎn)生透視正確的高質(zhì)量結(jié)果。

人工智能創(chuàng)建:高質(zhì)量的結(jié)果

團(tuán)隊(duì)提出的NeuralPasthrough利用了深度學(xué)習(xí)的最新進(jìn)展,將Pasthrought化解為基于圖像的神經(jīng)渲染問(wèn)題。具體而言,研究人員聯(lián)合應(yīng)用學(xué)習(xí)的立體深度估計(jì)和圖像重建網(wǎng)絡(luò),通過(guò)端到端方法生成眼睛視點(diǎn)圖像。

Meta開(kāi)發(fā)的人工智能算法可以估計(jì)房間和房間內(nèi)對(duì)象的深度,并重建與眼睛相對(duì)應(yīng)的人工視角。相關(guān)模型使用合成數(shù)據(jù)集進(jìn)行訓(xùn)練:從不同視角顯示80個(gè)空間場(chǎng)景的圖像序列。產(chǎn)生的人工神經(jīng)網(wǎng)絡(luò)十分靈活,可以應(yīng)用于不同的攝像頭和眼睛距離。

與Meta Quest 2和其他透視方法相比,NeuralPassthrough提供了非常出色的圖像質(zhì)量,并滿足透視校正立體注視合成的要求,如上面的視頻所示。

當(dāng)然,所述技術(shù)存在一定的局限性。例如,結(jié)果的質(zhì)量在很大程度上取決于人工智能空間估計(jì)的準(zhǔn)確性。深度傳感器可以改善未來(lái)的結(jié)果。另一個(gè)挑戰(zhàn)是AI模型無(wú)法重建對(duì)象的透視依賴反射,而這反過(guò)來(lái)會(huì)導(dǎo)致偽影。

再一個(gè)問(wèn)題是計(jì)算能力:專門(mén)為研究目的而構(gòu)建的原型是基于臺(tái)式PC提供動(dòng)力,包括Intel Xeon W-2155和兩枚Nvidia Titan V。結(jié)果是分辨率為1280 x 720像素,延遲為32毫秒的透視圖像,但這對(duì)高質(zhì)量透視而言分辨率太低,而延遲太高。

相關(guān)論文:NeuralPassthrough: Learned Real-Time View Synthesis for VR

所以,Meta表示:“為了提供令人信服的透視體驗(yàn),這一領(lǐng)域需要在圖像質(zhì)量(抑制顯著的扭曲和模糊偽影)方面取得重大進(jìn)展,同時(shí)滿足嚴(yán)格的實(shí)時(shí)、立體和寬視場(chǎng)要求。解決可穿戴計(jì)算設(shè)備移動(dòng)處理器的進(jìn)一步限制意味著未來(lái)的路途依然非常遙遠(yuǎn)?!?/p>

發(fā)表評(píng)論

相關(guān)文章