SIGGRAPH 2020大會(huì)即將召開，F(xiàn)acebook研究人員近日更新了一篇文章，介紹了“神經(jīng)超采樣”（neural supersampling）技術(shù)。這是一種根據(jù)人工智能機(jī)器學(xué)習(xí)為基礎(chǔ)的提高圖像清晰度的算法技術(shù)，跟NVIDIA的DLSS“深度學(xué)習(xí)超采樣”技術(shù)相似。不同的是，這個(gè)神經(jīng)超采樣并不需要專門的硬件或者軟件就能實(shí)現(xiàn)，基本可以媲美DLSS的效果。
這種“神經(jīng)超采樣”算法可以獲得低分辨率的渲染幀并將其放大16倍，這意味著未來科技方向上將發(fā)生更多的變化。例如，未來的耳機(jī)，理論上可以驅(qū)動(dòng)雙3K面板，每只眼睛只渲染1K——甚至不需要眼睛跟蹤。
能夠以較低的分辨率進(jìn)行渲染，意味著更多的GPU功能可以自由運(yùn)行詳細(xì)的著色器和高級效果，這可以彌合從移動(dòng)虛擬現(xiàn)實(shí)到控制臺虛擬現(xiàn)實(shí)的差距。雖然這并不能把移動(dòng)芯片變成游戲機(jī)，但它應(yīng)該在某種程度上縮小差距。
Facebook聲稱它的神經(jīng)網(wǎng)絡(luò)是最先進(jìn)的，它的性能超過了所有其他類似的算法——這也是它能夠?qū)崿F(xiàn)16倍升級的原因。在所提供的示例圖像中，F(xiàn)acebook的算法似乎已經(jīng)達(dá)到了可以重建線條或網(wǎng)格圖案等精細(xì)細(xì)節(jié)的地步。
事實(shí)上，早在3月份，F(xiàn)acebook就發(fā)表了一篇類似的文章。文中描述了利用神經(jīng)上采樣來釋放GPU功耗的思想。研究人員的期望找出一個(gè)“框架”，在當(dāng)前的渲染管道（低延遲）內(nèi)實(shí)時(shí)運(yùn)行機(jī)器學(xué)習(xí)算法，他們實(shí)現(xiàn)了這一點(diǎn)。將該框架與神經(jīng)網(wǎng)絡(luò)相結(jié)合可以使這項(xiàng)技術(shù)實(shí)用化。
隨著AR/VR顯示器向著更高分辨率、更快的幀速率和更高的真實(shí)感的方向發(fā)展，神經(jīng)超采樣方法可能是通過從場景數(shù)據(jù)中推斷出清晰細(xì)節(jié)而不是直接渲染這些細(xì)節(jié)的關(guān)鍵。這項(xiàng)工作為未來的高分辨率虛擬現(xiàn)實(shí)指明了方向，不僅僅是顯示器，還有實(shí)際驅(qū)動(dòng)所需的算法。
目前，這只是一個(gè)研究，研究人員“相信通過進(jìn)一步的網(wǎng)絡(luò)優(yōu)化、硬件加速和專業(yè)級的工程設(shè)計(jì)，這種方法可以明顯更快”。Facebook將這種方法歸類為“神經(jīng)渲染”，科技的更迭正以超出了任何人的預(yù)期的速度發(fā)展著。
文/陳根
來源：澎湃新聞·澎湃號·湃客
