近日，速途元宇宙研究院召開“共話元宇宙XR視界”主題沙龍，旨在對當(dāng)下活躍的AR/VR市場進(jìn)行解析及探索，XR將在元宇宙熱潮下釋放新生命力，而年輕用戶群體對于消費級VR、AR終端、游戲、直播的喜愛也孕育出新的消費藍(lán)海領(lǐng)域，此次“共話元宇宙XR視界”沙龍也標(biāo)志未來元宇宙領(lǐng)域依然有著無盡的挖掘空間。
本次沙龍我們邀請到花房集團(tuán)VP 技術(shù)委員會主席唐賡先生，花房集團(tuán)作為當(dāng)下在線社交娛樂領(lǐng)域的領(lǐng)頭企業(yè)，唐賡先生的出席讓眾多與會業(yè)內(nèi)進(jìn)行了更深入的思考。在沙龍中，唐賡先生對AR/VR技術(shù)在直播中的應(yīng)用與挑戰(zhàn)進(jìn)行了解讀，揭開了“元宇宙+直播”模式的全新方向。
唐賡先生簡介：
花房集團(tuán)VP 技術(shù)委員會主席，擁有22年從業(yè)經(jīng)驗，在操作系統(tǒng)/嵌入式系統(tǒng)、系統(tǒng)架構(gòu)、企業(yè)級網(wǎng)絡(luò)安全、音視頻編解碼、云計算/云原生架構(gòu)、AI/AR/VR、元宇宙等等技術(shù)領(lǐng)域有多年實踐經(jīng)驗，擁有多項技術(shù)發(fā)明專利。曾在雅虎中國、阿里巴巴任職多年，也是原摩比神奇公司創(chuàng)始人/總經(jīng)理、曾任360技術(shù)委員會委員。工業(yè)自動化控制專業(yè)學(xué)士，工商管理學(xué)博士。
AR/VR技術(shù)
在直播中的應(yīng)用與挑戰(zhàn)
當(dāng)下，在元宇宙相關(guān)產(chǎn)業(yè)中，AR/VR 無疑是最受關(guān)注的賽道。AR技術(shù)是使用附加數(shù)據(jù)注釋現(xiàn)實世界場景的最佳方式，隨著智能手機(jī)提高其深度感應(yīng)和處理能力，移動設(shè)備上的AR運用成為重要的一環(huán)；加之VR沉浸感的體驗優(yōu)勢，使用者可以完全沉浸于虛擬現(xiàn)實世界中。AR、VR 產(chǎn)業(yè)隨著需求和產(chǎn)業(yè)鏈推進(jìn)，開啟了新一輪增長期。
花房集團(tuán)憑借旗下的花椒直播和六間房，從2006年創(chuàng)立至今，實現(xiàn)了從PC端到移動端的創(chuàng)新，一路上見證了直播產(chǎn)品的更迭。截至2021年12月31日，花椒直播注冊用戶約2.15億名，六間房直播注冊用戶約7890萬名，集團(tuán)旗下海外社交網(wǎng)絡(luò)產(chǎn)品有注冊用戶約9730萬名。現(xiàn)如今，花房集團(tuán)已擁有多元化的產(chǎn)品和服務(wù)矩陣，包括花椒、六間房、花吱、HOLLA、Monkey等十余款產(chǎn)品，服務(wù)全球用戶。隨著用戶數(shù)量的不斷增加，用戶需求不斷呈現(xiàn)多樣化，也在反推著花房集團(tuán)對技術(shù)創(chuàng)新的持續(xù)突破，秉持“用科技連接彼此，讓陪伴傳遞美好”的使命，打造全球具有頂級影響力的在線社交娛樂生態(tài)。
隨著直播應(yīng)用從PC端到移動端的發(fā)展趨勢，唐賡帶領(lǐng)花房集團(tuán)技術(shù)團(tuán)隊不斷突破技術(shù)限制，尋找移動端直播的更多可能性。在談及AR/VR技術(shù)在直播中應(yīng)用時，唐賡直言“這是一個有趣的技術(shù)領(lǐng)域”。
在唐賡看來，AR/VR技術(shù)是元宇宙技術(shù)體系中的關(guān)鍵環(huán)節(jié)，無論是AR以虛強(qiáng)實，還是VR虛擬現(xiàn)實，都主要依賴視覺給予用戶實時交互反饋。AR/VR技術(shù)不僅僅是大眾所熟知的可穿戴設(shè)備（VR頭顯、AR眼鏡），更多是作為底層交互技術(shù)的形式存在。
目前，直播領(lǐng)域已經(jīng)融入了很多AR元素。以花房集團(tuán)旗下的直播產(chǎn)品為例，花椒直播在移動直播早期（2015/2016年左右）就率先運用美顏、萌顏貼紙等功能，都是AR技術(shù)在移動端應(yīng)用的代表。這種精準(zhǔn)疊加的AR特效有效對主播所在的環(huán)境、屏幕以及人像做效果增強(qiáng)，大幅提升直播效果。
圖片來源：花椒直播APP
VR技術(shù)也在虛擬形象IP直播中大量使用，虛擬現(xiàn)實技術(shù)利用現(xiàn)實物理世界中采集到的數(shù)據(jù)（畫面、動作、角度、力度等），通過計算機(jī)圖形算法產(chǎn)生視頻畫面，結(jié)合各種輸出設(shè)備，將其轉(zhuǎn)化為用戶可以看到的虛擬影像，再結(jié)合實時互動相關(guān)技術(shù)，最終為用戶呈現(xiàn)出虛擬形象直播/連麥等終端用戶體驗。
在談及AR/VR技術(shù)在直播中的挑戰(zhàn)，唐賡認(rèn)為，主要是目前基于手機(jī)攝像頭的虛擬形象VR直播對硬件性能的要求非常高且效果還不是很完美，還有不少硬性限制（比如對于動作遮擋、大角度轉(zhuǎn)身、大幅度動作等都可能出現(xiàn)識別錯誤），而基于可穿戴動捕設(shè)備的方案雖然價格已經(jīng)比前幾年有非常大幅度的降低，從上百萬甚至數(shù)百萬降到了現(xiàn)在的10萬以內(nèi)，但相對而言目前售價還是比較高，舍得投入的主播相對較少，且目前還存在廠商眾多，協(xié)議不互通的情況。
“廠商協(xié)議不互通就導(dǎo)致目前無法‘邀請’到其他廠商的虛擬人在同一個場景中出現(xiàn)、互動，還只能是類似傳統(tǒng)互動直播的形式，分屏分窗口展現(xiàn)。”唐賡說道。
“我們還看到存在一些不可逾越的物理定律障礙，比如VR眼鏡為了減少眩暈感需要采用90Hz甚至120Hz以上的刷新率，只留給每一幀畫面8ms-11ms的渲染時間，若采用云計算方案來實現(xiàn)，雖然理論上算力不成為瓶頸，但受光信號、電信號無法超越光速的物理定律限制，數(shù)據(jù)上行、下行、多人數(shù)據(jù)同步處理等已經(jīng)非常困難，如果再加上要求跨國實時互動，則幾乎不可能，所以需要設(shè)計非常精巧的架構(gòu)，做出必要的妥協(xié)，隱藏物理距離導(dǎo)致的時延與不一致，盡量保證最好的用戶體驗。”
“元宇宙+直播”
唐賡帶領(lǐng)的花房技術(shù)團(tuán)隊給出了答案
隨著用戶需求的多元化，網(wǎng)絡(luò)直播逐漸從娛樂型應(yīng)用過渡升級為數(shù)字多媒體信息分發(fā)窗口。如何通過技術(shù)的更新迭代來增強(qiáng)用戶個體體驗和用戶與用戶之間的情感聯(lián)結(jié)需求，成為了花房集團(tuán)技術(shù)團(tuán)隊的研究課題。而“元宇宙”的爆火，也為花房集團(tuán)進(jìn)一步提供了發(fā)展思路。
“元宇宙”概念雖然爆火于2021年，但事實上，元宇宙技術(shù)在直播中的運用由來已久。早在2018年，花房集團(tuán)通過產(chǎn)品調(diào)研就發(fā)現(xiàn)有不少連麥用戶希望以虛擬形象示人，但當(dāng)時的直播技術(shù)還不足以實現(xiàn)這個需求。作為花房集團(tuán)技術(shù)委員會主席的唐賡火速帶領(lǐng)團(tuán)隊進(jìn)行技術(shù)調(diào)研和開發(fā)。
“利用蘋果手機(jī)剛剛推出的ARKit臉部表情肌識別功能，驅(qū)動虛擬形象臉部相應(yīng)的表情肌，實現(xiàn)虛擬形象的嘴部、眼部、眉毛等都能跟隨真正的人臉表情運動，能很好地通過VR畫面向直播互動的對方傳遞表情、情感等信息，很好地滿足了大V用戶的需求。而當(dāng)時安卓手機(jī)并沒有相應(yīng)的表情肌識別功能，我們攜手AI表情肌識別供應(yīng)商，共同研發(fā)了針對安卓系統(tǒng)高度優(yōu)化的版本上線提供給用戶使用?！碧瀑s回憶道。
此外，唐賡帶領(lǐng)的技術(shù)團(tuán)隊又采用自研的3D引擎，實現(xiàn)了常見的動作捕捉、面部捕捉，迅速切入元宇宙領(lǐng)域并有所建樹。
花房集團(tuán)今年6月推出的虛擬主播“上古玄兒”，就是在此基礎(chǔ)上誕生的。技術(shù)團(tuán)隊對軟、硬件環(huán)境做了大量調(diào)優(yōu)，充分發(fā)揮了軟硬件系統(tǒng)的能力，將直播流暢度提升了超過200％，確保了直播畫質(zhì)、流暢度、特效表現(xiàn)效果都處于理想的狀態(tài)，也讓“上古玄兒”以完美的狀態(tài)開播成功，受到眾多粉絲的喜愛。
圖片來源：花房集團(tuán)
據(jù)悉，早在2019年，花房集團(tuán)旗下花椒直播已在直播行業(yè)內(nèi)率先推出“Avatar”，無論是主播還是用戶，都能夠用自己的虛擬形象在平臺內(nèi)進(jìn)行互動、社交；在被業(yè)界稱為“元宇宙元年”的2021年，花椒數(shù)字藝術(shù)展示平臺——“花椒?！鄙暇€并首發(fā)數(shù)字藝術(shù)藏品；2022年春節(jié)，花椒攜手騰訊云「至信鏈」上鏈多款數(shù)字藝術(shù)禮物；2022年2月，花椒“舞臺版”虛擬直播間開啟，邀請主播和用戶一鍵邁入直播元宇宙；今年6月，花椒虛擬主播上古玄兒首次開播即收獲上萬粉絲……成功示范了技術(shù)團(tuán)隊在元宇宙領(lǐng)域的創(chuàng)新基因和上線效率。
速途元宇宙研究院認(rèn)為，花房集團(tuán)在直播技術(shù)上的探索正是元宇宙技術(shù)多年發(fā)展的縮影，從VR直播、AR美顏技術(shù)、虛擬人交互、數(shù)字藝術(shù)藏品的出現(xiàn)，花房集團(tuán)為直播生態(tài)的不斷優(yōu)化升級提供了巨大的空間和可能性，隨著技術(shù)的不斷融合，“元宇宙+直播”還將煥發(fā)出更加蓬勃的生命力。
時代浪潮不停
元宇宙之下的互聯(lián)網(wǎng)老兵思考
圖片來源：花房集團(tuán)
作為在互聯(lián)網(wǎng)前沿技術(shù)應(yīng)用多年的技術(shù)專家，唐賡憑借著對新興技術(shù)的敏銳觸覺，不斷進(jìn)行技術(shù)的升級和更新，帶領(lǐng)團(tuán)隊進(jìn)行了多項社交娛樂產(chǎn)品的開發(fā)。
談及元宇宙的出現(xiàn)，唐賡介紹道，“初期對元宇宙的理解，可以歸納為包含區(qū)塊鏈經(jīng)濟(jì)系統(tǒng)的游戲?，F(xiàn)在理解，已經(jīng)不僅僅是游戲。游戲只是元宇宙內(nèi)容的一種落地形式，基于元宇宙技術(shù)的遠(yuǎn)程會議、在線辦公、城市規(guī)劃、工業(yè)建設(shè)、教育培訓(xùn)、在線購物、虛擬直播等等都可以是元宇宙的落地場景?！?/p>
唐賡認(rèn)為，元宇宙的底層技術(shù)將在直播中呈現(xiàn)出更完整的體現(xiàn)和融合。他舉例說明，在元宇宙場景和VR技術(shù)加持下，將變幻出更多選擇，在繼續(xù)用固定視角傳輸音視頻內(nèi)容的同時，還可以傳輸音頻和動捕數(shù)據(jù)，在參與各方的系統(tǒng)上用3D引擎重新渲染和展現(xiàn)，實現(xiàn)參與各方自由視角的顯示和互動，為內(nèi)容的創(chuàng)作和藝術(shù)表現(xiàn)提供了無限的可能。
在提及元宇宙技術(shù)安全方面，唐賡表示，數(shù)字化程度越高，安全挑戰(zhàn)越大。“元宇宙”作為數(shù)字化的高級階段，將重新定義網(wǎng)絡(luò)安全。元宇宙技術(shù)的發(fā)展對內(nèi)容安全提出了極大挑戰(zhàn)，如何對虛擬空間的內(nèi)容進(jìn)行AI審核、如何保證內(nèi)容安全合規(guī)等問題日漸凸顯。花房集團(tuán)將利用自身優(yōu)勢與用戶圈層進(jìn)行深度鏈接，加深擴(kuò)大社會各界對網(wǎng)絡(luò)安全的重視。
作為工商管理學(xué)博士，唐賡對于元宇宙技術(shù)人才管理與儲備也有自己獨特的管理思考。他認(rèn)為，選拔人才的標(biāo)準(zhǔn)不是一成不變的，而是因人而異、因崗而異。元宇宙所覆蓋的技術(shù)面較廣，這也對技術(shù)團(tuán)隊和技術(shù)開發(fā)人才提出了大量新要求，多方位發(fā)展的全能型人才才能適應(yīng)市場的發(fā)展，在項目成本、進(jìn)度、目標(biāo)等等各種制約因素下達(dá)成合理的項目產(chǎn)出。
“元宇宙”是由物質(zhì)世界、信息世界互相影響、互相促進(jìn)的虛擬共生的世界，這也正與花房集團(tuán)旗下的產(chǎn)品業(yè)務(wù)屬性相匹配。唐賡帶領(lǐng)花房集團(tuán)技術(shù)團(tuán)隊獨辟蹊徑，將元宇宙與傳統(tǒng)直播相結(jié)合，是一種全新的嘗試。而花房集團(tuán)多年的技術(shù)沉淀，也為“新概念＋老行業(yè)”的融合提供了堅實的技術(shù)保障。
在多元與共創(chuàng)的元宇宙場景中，花房集團(tuán)作為全球頗具影響力的在線社交娛樂服務(wù)提供商，將不斷完善產(chǎn)品矩陣和服務(wù)體系，創(chuàng)造更多元宇宙的新型應(yīng)用場景，為用戶提供更為極致的沉浸體驗。未來，我們期待花房集團(tuán)在社交娛樂領(lǐng)域全球化布局元宇宙的模式或?qū)⒊蔀橄乱粋€互聯(lián)網(wǎng)新風(fēng)口。
來源：南早網(wǎng)
有回復(fù)