Facebook在2019年3月首次展示了超逼真頭像Codec Avatars的制作過(guò)程,當(dāng)時(shí)生成Codec Avatar需要用到一個(gè)名為MUGSY的專用捕捉設(shè)備和171個(gè)高分辨率攝像機(jī)。
圖源:Meta
不過(guò)Meta的最新研究極大降低了這一門(mén)檻,用戶可以通過(guò)帶有前置深度傳感器的智能手機(jī)(比如搭載Face ID的iPhone)掃描臉部以生成頭像。
在使用的時(shí)候,你需要將手機(jī)靠近臉部,然后按照引導(dǎo)做出65種面部表情動(dòng)作。不過(guò),當(dāng)前系統(tǒng)只能用于處理面部,眼鏡或長(zhǎng)發(fā)等特征還無(wú)法很好還原。
圖源:Meta
Meta研究人員指出,整個(gè)掃描過(guò)程僅需花費(fèi)三分半鐘。不過(guò)后續(xù)頭像的渲染工作需要依賴一臺(tái)配備4個(gè)高端GPU的機(jī)器,總耗時(shí)長(zhǎng)達(dá)6小時(shí)。如果未來(lái)Meta的Codec Avatars正式對(duì)外推出,渲染工作可能會(huì)部署在云端進(jìn)行。
曾經(jīng)需要多達(dá)171個(gè)攝像機(jī)才能完成的工作,如今通過(guò)一部手機(jī)就能完成,它背后用到了一個(gè)名為“hypernetwork”的通用先驗(yàn)?zāi)P停芯咳藛T曾使用先進(jìn)的捕捉設(shè)備(類似于MUGSY,但用到的攝像頭為90個(gè))掃描255個(gè)不同的面部特征以此訓(xùn)練這個(gè)模型。
通過(guò)智能手機(jī)掃描生成頭像并非什么新鮮技術(shù),但Meta表示它的頭像生成質(zhì)量要更優(yōu)。
圖源:網(wǎng)絡(luò)
如果該功能要實(shí)現(xiàn)交付,未來(lái)還有很長(zhǎng)一段的路要走。 受到設(shè)備算力等因素影響,目前Meta的Avatars只有卡通風(fēng)格形象。此前扎克伯格接受Lex Fridman采訪時(shí)表示,未來(lái)你可能會(huì)在游戲中使用表現(xiàn)主義(卡通)化身,而在工作會(huì)議中使用現(xiàn)實(shí)主義化身。