常言道：“眼睛是心靈的窗戶”，眼神交流所傳達的信息也可以進一步提升人們的溝通效果。然而，隨著視頻聊天、視頻會議逐漸成為常態(tài)，大家不禁要問，我們有多久沒有與同事、朋友、家人確認過眼神了？
而微軟亞洲研究院的研究項目 3D 視頻會議系統(tǒng) VirtualCube，可以讓在線會議的與會者建立自然的眼神交互，沉浸式的體驗就像在同一個房間內面對面交流一樣。該技術的相關論文被全球虛擬現(xiàn)實學術會議 IEEE Virtual Reality 2022 接收并獲得了大會的最佳論文獎（Best Paper Award – Journal Papers Track）。
在日常交談中，相互注視和擺動頭部等動作都是自然對話的組成部分，尤其是當我們在面對面交流中變換話題、控制發(fā)言或轉換交流對象時，都會伴隨眼神和肢體動作的交流。然而，當前的視頻會議技術卻存在著一定的缺陷——由于攝像頭和屏幕不在同一高度，如果看向屏幕眼神往往很不自然，如果看向攝像頭則無法關注到其他與會者的反應，因此視頻會議缺少了線下交流的真實感和互動感。而且在實際的工作中，我們還會有各種不同的會議場景，比如多人會議、同排而坐協(xié)同工作等情況，對于捕捉與會者的側方視線和動作來說，現(xiàn)有的視頻會議系統(tǒng)就更無能為力了。
如果有一個會議系統(tǒng)，可以讓人們即使身處不同的地方，也能像在同一房間里一樣交流，視線轉動就能與同伴建立起眼神溝通，這是否會給遠程辦公增添一份沉浸式的真實感呢？
為了解決這些問題，微軟亞洲研究院提出了創(chuàng)新的?3D 視頻會議系統(tǒng)——VirtualCube，它可以在遠程視頻會議中建立起真人等大的 3D 形象，無論是正面溝通，還是側方交流，系統(tǒng)都能夠正確捕捉到與會者的眼神、動態(tài)，建立起眼神和肢體交流。相關論文被全球虛擬現(xiàn)實學術會議 IEEE Virtual Reality 2022 接收并獲得了大會的最佳論文獎（Best Paper Award – Journal Papers Track）。
VirtualCube 系統(tǒng)具有三大優(yōu)勢：
標準化、簡單化，全部使用現(xiàn)有的普通硬件設備。與辦公場所中常見的格子間（Cubicle）類似，每個 VirtualCube 都提供了一致的物理環(huán)境和設備配置：與會者正前方安裝有6個 Azure Kinect RGBD 攝像頭，以捕捉真人的圖像和眼神等動作；在與會者的正面和左右兩側還各有一個大尺寸的顯示屏，以創(chuàng)造出身臨其境的參會感。使用現(xiàn)有的、標準化的硬件能夠大大簡化用戶設備校準的工作量，從而實現(xiàn) 3D 視頻系統(tǒng)的快速部署和應用。
6個?Azure Kinect?RGBD 攝像頭捕捉人像和眼神等動作
多人、多場景，任意組合。作為在線視頻會議的基礎構建，VirtualCube 的虛擬會議環(huán)境可由多個空間（Cube）按照不同的布局組成，以支持不同的會議場景，例如兩人的面對面會議、兩人并排會議，以及多人的圓桌會議等。
多個空間（Cube）可實現(xiàn)任意組合
實時、高質量渲染真人圖像。VirtualCube 可以捕捉到參與者的各種細微變化，包括人的皮膚顏色、紋理，面部或衣服上的反射光澤等，并實時渲染生成真人大小的 3D 形象，顯示在遠程與會者的屏幕中。而且虛擬會議環(huán)境的背景也可以根據(jù)用戶的需求自由選擇。
任意變換會議場景，都能身臨其境
其實業(yè)界對 3D 視頻會議的研究從未間斷過。早在2000年，就有人曾提出過與類似混合現(xiàn)實技術有關的暢想?；谶@個設想，科研人員一直在探索如何將視頻會議以更逼真、更自然的方式呈現(xiàn)，期間也出現(xiàn)了不同的技術路線和解決方案，但都沒有達到理想的效果。對此，微軟亞洲研究院主管研究員張譯中和楊蛟龍表示，過往的研究仍然有很多沒有解決的問題：首先，在真實環(huán)境下，無論放置怎樣的單目攝像設備，即使圖像質量再高，與會者也很難形成自然的眼神交流，特別是多人會議的情況；其次，很多研究針對特定的會議場景進行優(yōu)化，如兩個人面對面的會議或三人的圓桌會議，很難支持不同的會議設置；第三，雖然在影視界我們能夠看到一些逼真的虛擬人，但那是需要專業(yè)的技術和影視團隊長時間打磨和優(yōu)化才能實現(xiàn)的，仍然需要一定的手工勞動，目前無法進行實時捕捉和實時渲染。
為此，微軟亞洲研究院提出了 V-Cube View 和 V-Cube Assembly 兩大全新算法，在 VirtualCube 中實現(xiàn)了自動捕捉參與者的手勢動作和眼神變化，實時渲染形成高保真圖像，讓參與者在虛擬會議中體驗到真實會議的氛圍。
“兩個人在交談且相互注視對方時，對方看到的自己就相當于在自己眼睛的位置放置一個攝像頭。但屏幕和攝像頭的位置存在高低差，所以當一方注視屏幕中對方的眼睛時，攝像頭捕捉到的眼神就會偏離。因此在 VirtualCube 中，我們在與會者正前方的屏幕邊緣放置了六個攝像頭，通過 V-Cube View 算法合成正確的視點圖像，并利用 V-Cube Assembly 確定正確的相對位置，進而給與會者一個沉浸式的會議體驗”，張譯中介紹道。
基于深度學習的 V-Cube View 算法，通過 VirtualCube 中的六個攝像頭的 RGBD 圖像作為輸入，實時渲染任意目標視點下人的高保真視頻。這里的技術挑戰(zhàn)是如何同時做到高保真和實時。對此，微軟亞洲研究院主管研究員楊蛟龍解釋道：“實時渲染高保真的人像，特別是高保真的人臉一直是個具有挑戰(zhàn)性的研究課題。傳統(tǒng)的三維重建和紋理貼圖的做法雖然可以做到實時繪制，卻無法重現(xiàn)出真實人臉復雜的材質和在不同視點下外觀的變化。為此我們提出了一種新的 Lumi-Net 渲染方法，其核心思想是利用重構的三維幾何作為參考來實現(xiàn)一個四維光場的實時渲染，并結合神經(jīng)網(wǎng)絡進行圖像增強，從而提高了渲染的質量，特別是人臉區(qū)域的高保真度。”
具體而言，V-Cube View 算法分為三步進行。首先，研究員設計了一個神經(jīng)網(wǎng)絡來快速求解目標視點深度圖作為人體的幾何參考（geometry proxy）。然后，算法在給定的幾何參考下將獲取的多視角 RGB 圖像（即光線）進行融合，實現(xiàn)繪制。在這一步中，研究員受傳統(tǒng)的非結構化流明圖（Unstructured Lumigraph）方法啟發(fā)，將輸入光線與目標像素光線的方向和深度差異作為先驗，通過神經(jīng)網(wǎng)絡學習最合適的融合權重。最后，為了進一步提升繪制質量，研究員們使用了神經(jīng)網(wǎng)絡對上一步的繪制結果進行圖像增強。整個算法實現(xiàn)了端到端的訓練，并在訓練過程中引入了感知損失函數(shù)及對抗學習技術，使得算法可以自動學習出最優(yōu)的神經(jīng)網(wǎng)絡，實現(xiàn)高保真的繪制。而且為了保證繪制的實時性，算法的前兩步都在低分辨率圖像上執(zhí)行，這樣可以在不損失太多精度的情況下大大降低所需計算量。經(jīng)過精心設計和優(yōu)化的 V-Cube View 算法，將實時的三維人物渲染質量提升到了一個新的高度。
V-Cube View 算法示意圖
另外，為了讓 VirtualCube 的使用者擁有和線下交流同樣的體驗，在將與會者映射到虛擬環(huán)境時，系統(tǒng)還要考慮他們之間的相對位置關系，這時 V-Cube Assembly 算法就發(fā)揮了重要的作用?！霸谡麄€虛擬會議環(huán)境中，V-Cube Assembly 可以被定義為全局坐標系統(tǒng)，單個的 VirtualCube 則為局部坐標系統(tǒng)。全局坐標系與局部坐標系之間的正確 3D 幾何變化，對在視頻顯示器上正確呈現(xiàn)遠程與會者的圖像至關重要”楊蛟龍介紹。
研究員們首先會在 VirtualCube 中捕捉與會者的 3D 幾何體，形成局部坐標系，然后將這些局部坐標系的 3D 幾何體數(shù)據(jù)，投射到全局坐標系，經(jīng)過 V-Cube Assembly 處理，在全局虛擬會議環(huán)境中確定每個 VirtualCube 參與者正確的相對位置，最后再將全局 3D 幾何體轉換為 VirtualCube 的局部坐標系，影射到 VirtualCube 的屏幕上。
V-Cube Assembly 算法示意圖
VirtualCube 給 3D 視頻會議系統(tǒng)提供了一種全新的思路。無論從算法設計、端到端設備部署還是工程調試上，VirtualCube 都證明了利用現(xiàn)有的普通硬件設備就可以實現(xiàn)沉浸式的 3D 視頻會議體驗。
除了讓與會者“共享”同一個物理空間外，研究員們還在探索利用 VirtualCube 系統(tǒng)滿足遠程辦公中的更多協(xié)作需求。例如，研究員們展示了這樣一種場景：在協(xié)同工作時，兩位與會者及其電腦桌面都將是視頻會議的一部分，因此與會者并排而坐，并且跨屏幕傳遞自己桌面上的文檔和應用程序會讓遠程協(xié)作更加方便。
隨著技術的不斷精進，未來，大家或許都可以實現(xiàn)身隔萬里，卻能親臨其境一起辦公，自然溝通的遙在體驗，而這將極大地提高混合辦公的效率。微軟亞洲研究院的研究員們也希望 VirtualCube 可以成為一顆探索的種子，給更多研究人員帶來啟發(fā)，在大家共同的努力下，找到更好的虛擬空間交互形式，打開未來辦公的更多可能。
