Meta 提交的一項新專利展示了可以為視頻游戲和 VR 應用程序帶來更逼真的口型同步和面部動畫的技術。通過這些更逼真的面部動作創(chuàng)建 NPC 和為玩家化身提供更逼真和身臨其境的體驗，包括在 VR游戲中。
該專利詳細介紹了將用戶語音轉換為逼真的口型同步和面部動畫的多種方法，使開發(fā)人員可以靈活地選擇使用該系統(tǒng)的方式。專利中概述的一種方法涉及使用多人在閱讀 50 個不同的語音平衡句子時的音頻和視頻記錄數據集，系統(tǒng)在他們閱讀每個句子時跟蹤他們的面部表情。通過跟蹤個人在閱讀每個句子時的面部和嘴巴如何移動，系統(tǒng)可以從這些動作中提取并將它們混合在一起用來讓角色的動畫更加逼真，甚至包括眨眼和眉毛抬起等細微動作。
除了能夠基于現有數據集生成面部動畫和口型同步之外，該專利還描述了該系統(tǒng)如何使用集成到 VR 耳機中的攝像頭來做同樣的事情。此功能可以讓 VR 用戶擁有能夠準確模仿自己面部表情的頭像，從而在多人游戲和《VRchat》等社交 VR 體驗中獲得更加逼真和沉浸的體驗。
