SIGGRAPH 2020大會(huì)即將召開,F(xiàn)acebook研究人員近日更新了一篇文章,介紹了“神經(jīng)超采樣”(neural supersampling)技術(shù)。這是一種根據(jù)人工智能機(jī)器學(xué)習(xí)為基礎(chǔ)的提高圖像清晰度的算法技術(shù),跟NVIDIA的DLSS“深度學(xué)習(xí)超采樣”技術(shù)相似。不同的是,這個(gè)神經(jīng)超采樣并不需要專門的硬件或者軟件就能實(shí)現(xiàn),基本可以媲美DLSS的效果。
這種“神經(jīng)超采樣”算法可以獲得低分辨率的渲染幀并將其放大16倍,這意味著未來科技方向上將發(fā)生更多的變化。例如,未來的耳機(jī),理論上可以驅(qū)動(dòng)雙3K面板,每只眼睛只渲染1K——甚至不需要眼睛跟蹤。
能夠以較低的分辨率進(jìn)行渲染,意味著更多的GPU功能可以自由運(yùn)行詳細(xì)的著色器和高級效果,這可以彌合從移動(dòng)虛擬現(xiàn)實(shí)到控制臺虛擬現(xiàn)實(shí)的差距。雖然這并不能把移動(dòng)芯片變成游戲機(jī),但它應(yīng)該在某種程度上縮小差距。
Facebook聲稱它的神經(jīng)網(wǎng)絡(luò)是最先進(jìn)的,它的性能超過了所有其他類似的算法——這也是它能夠?qū)崿F(xiàn)16倍升級的原因。在所提供的示例圖像中,F(xiàn)acebook的算法似乎已經(jīng)達(dá)到了可以重建線條或網(wǎng)格圖案等精細(xì)細(xì)節(jié)的地步。
事實(shí)上,早在3月份,F(xiàn)acebook就發(fā)表了一篇類似的文章。文中描述了利用神經(jīng)上采樣來釋放GPU功耗的思想。研究人員的期望找出一個(gè)“框架”,在當(dāng)前的渲染管道(低延遲)內(nèi)實(shí)時(shí)運(yùn)行機(jī)器學(xué)習(xí)算法,他們實(shí)現(xiàn)了這一點(diǎn)。將該框架與神經(jīng)網(wǎng)絡(luò)相結(jié)合可以使這項(xiàng)技術(shù)實(shí)用化。
隨著AR/VR顯示器向著更高分辨率、更快的幀速率和更高的真實(shí)感的方向發(fā)展,神經(jīng)超采樣方法可能是通過從場景數(shù)據(jù)中推斷出清晰細(xì)節(jié)而不是直接渲染這些細(xì)節(jié)的關(guān)鍵。這項(xiàng)工作為未來的高分辨率虛擬現(xiàn)實(shí)指明了方向,不僅僅是顯示器,還有實(shí)際驅(qū)動(dòng)所需的算法。
目前,這只是一個(gè)研究,研究人員“相信通過進(jìn)一步的網(wǎng)絡(luò)優(yōu)化、硬件加速和專業(yè)級的工程設(shè)計(jì),這種方法可以明顯更快”。Facebook將這種方法歸類為“神經(jīng)渲染”,科技的更迭正以超出了任何人的預(yù)期的速度發(fā)展著。
文/陳根
來源:澎湃新聞·澎湃號·湃客