對(duì)于Facebook Codec Avatars虛擬化身和面部追蹤的研究，在這項(xiàng)的研究中，F(xiàn)acebook選擇了一個(gè)比較復(fù)雜的面部追蹤技術(shù)，從而在VR中呈現(xiàn)出一個(gè)惟妙惟肖的虛擬化身，其不論是在面部表情上，還是眼神動(dòng)作、肢體動(dòng)作上，都是表現(xiàn)出了較為自然、逼真的效果。
然而，最開始版本（2018年開始研究）需要132個(gè)相機(jī)去進(jìn)行專業(yè)化的捕捉，顯然這是一個(gè)方案的定型，通過現(xiàn)有技術(shù)方案實(shí)現(xiàn)一個(gè)高的標(biāo)準(zhǔn)。但是這項(xiàng)設(shè)備所實(shí)現(xiàn)的效果，也會(huì)對(duì)用戶體驗(yàn)降低。
Facebook，于去年的時(shí)候就公布了三攝新方案，通過內(nèi)置兩個(gè)攝像頭和一個(gè)鼻梁下方捕捉嘴部的攝像頭，這樣看起來，已經(jīng)是很完美了。
經(jīng)常了解Facebook或FRL的朋友可能是知道，F(xiàn)acebook，于近兩年的時(shí)間，尤其是人工智能算法上的投入可謂是大幅度的增加了，其算法的加入也是主要解決硬件和算力不足的等等問題。
最近，F(xiàn)acebook公布了新一版Codec Avatars的研究，該技術(shù)是基于AI技術(shù)，在用更加輕量化的方案下，從而達(dá)到更加高標(biāo)準(zhǔn)的效果。其中，光學(xué)捕捉方面幾乎雙眼的眼球追蹤，而嘴部動(dòng)作則基于麥克風(fēng)拾取的人聲，也就是雙攝＋麥克風(fēng)＋AI技術(shù)。
對(duì)于眼球追蹤的用途，它可以準(zhǔn)確識(shí)別眼球動(dòng)作從而模擬更真實(shí)的眼神和注視效果，而通過麥克風(fēng)識(shí)別你的說話語音來模擬嘴部和面部動(dòng)作，不過，你可能會(huì)質(zhì)疑它的效果。
上面就是最終效果。研究人員表示，可能通過音頻的數(shù)據(jù)來還原其微妙的面部動(dòng)作。比如，舔嘴唇等動(dòng)作都可以模擬。然而需要特別注意的是，實(shí)現(xiàn)這個(gè)效果那么需要比較高品質(zhì)的麥克風(fēng)。
