9月2日消息，谷歌宣布推出AR實(shí)時(shí)運(yùn)動(dòng)跟蹤（Instant Motion Tracking）解決方案，該方案基于開源跨平臺(tái)框架MediaPipe，對(duì)此前的計(jì)算機(jī)視覺方案Box Tracking（Google Lens采用的追蹤定位方案）進(jìn)行改良，特點(diǎn)是可將2D和3D內(nèi)容固定在移動(dòng)的平面上，觀感更自然。此外，谷歌還發(fā)布了一款開源的安卓演示應(yīng)用和一個(gè)相關(guān)AR內(nèi)容庫(kù)。
據(jù)青亭網(wǎng)了解，Instant Motion Tracking主要作用是將AR虛擬內(nèi)容當(dāng)做真實(shí)物體一樣，固定在真實(shí)環(huán)境中。這種自然的AR效果，要?dú)w功于谷歌不斷提升的實(shí)時(shí)計(jì)算機(jī)視覺技術(shù)。
此前一些AR方案是先拍攝，后疊加渲染，而這個(gè)新的方案可以讓你一邊與AR互動(dòng)，一邊拍攝視頻。實(shí)現(xiàn)方式是，將AR固定在環(huán)境中特定位置，然后可以用身體觸碰AR，觸發(fā)AR的互動(dòng)反饋。
開發(fā)者或用戶可將3D貼圖或動(dòng)圖固定在視頻中，AR動(dòng)圖的效果看起來(lái)像是一個(gè)3D顯示屏，效果看起來(lái)足夠有趣。
細(xì)節(jié)方面，為了實(shí)現(xiàn)自然的AR效果，Instant Motion Tracking利用6DoF追蹤模型對(duì)AR進(jìn)行定位。此外，該方案相當(dāng)于將攝像頭的平移與旋轉(zhuǎn)預(yù)測(cè)拆分為兩個(gè)獨(dú)立的任務(wù)，好處是跨平臺(tái)AR追蹤可省略期初的校正環(huán)節(jié)，攝像頭直接捕捉視覺標(biāo)記。
結(jié)合平移和旋轉(zhuǎn)數(shù)據(jù)后，Instant Motion Tracking方案可以在自然比例下，從6個(gè)自由度來(lái)追蹤目標(biāo)區(qū)域。如此一來(lái)，具備攝像頭和IMU功能的AR設(shè)備就能將AR內(nèi)容自然疊加在真實(shí)畫面上。
目前，視頻內(nèi)容創(chuàng)作公司PixelShift.AI已經(jīng)開始采用Instant Motion Tracking方案，用來(lái)幫助VTuber創(chuàng)作MR視頻。接下來(lái)，谷歌也計(jì)劃在年內(nèi)面向VTuber們推出相關(guān)產(chǎn)品。
來(lái)源：青亭網(wǎng)
