盡管混合現(xiàn)實(shí)頭戴設(shè)備的制造商每年都在致力于推出功能更先進(jìn)的設(shè)備，以使用戶感受到真實(shí)世界與數(shù)字世界的融合，但是輸入方式（在VR或AR環(huán)境中進(jìn)行交互的能力）仍然具有挑戰(zhàn)性，因?yàn)榇蠖鄶?shù)設(shè)備在交互時(shí)仍然需要控制器。本周，美國(guó)亞利桑那州立大學(xué)（ASU）的研究人員展示了一種名為FMKit的潛在替代產(chǎn)品，它使頭顯能夠精確跟蹤單個(gè)手指的運(yùn)動(dòng)，并識(shí)別空中手寫。
ASU的工作超出了Leap Motion配件和Oculus Quest VR頭顯中的手部追蹤功能，可以將單個(gè)手指的路徑記錄在3D空間中，并與四個(gè)手寫樣本數(shù)據(jù)集進(jìn)行比較。指尖書(shū)寫可用于識(shí)別單個(gè)用戶，通過(guò)密碼安全地對(duì)用戶進(jìn)行身份驗(yàn)證以及創(chuàng)建文本輸入，以替代使用手持控制器鍵入，說(shuō)出或選擇單詞的方式。
該系統(tǒng)的價(jià)值不僅僅在于將空中書(shū)寫的英語(yǔ)或漢語(yǔ)單詞轉(zhuǎn)換為文本（研究人員正在關(guān)注的功能），還具有潛在的商業(yè)應(yīng)用前景。包括可以在空中繪制獨(dú)特的簽名，以解鎖受保護(hù)的XR頭顯或單獨(dú)受保護(hù)的應(yīng)用，從而使公司能夠高度個(gè)性化保護(hù)數(shù)字內(nèi)容。或者，公司可以讓團(tuán)隊(duì)共享一個(gè)通用的密碼系統(tǒng)，該系統(tǒng)不僅可以識(shí)別數(shù)字或字母，還可以識(shí)別五角星或其他獨(dú)特標(biāo)記等符號(hào)。
FMKit當(dāng)前支持兩種類型的輸入設(shè)備-每秒運(yùn)動(dòng)110次的Leap Motion控制器和每秒運(yùn)動(dòng)50次的自定義慣性測(cè)量數(shù)據(jù)手套-使用Python模塊來(lái)收集，預(yù)處理和可視化掃描信號(hào)。作為用戶識(shí)別系統(tǒng)，F(xiàn)MKit搭配Leap Motion精度可達(dá)到93％以上，搭配手套的精度可達(dá)到96％以上。但是對(duì)于手寫識(shí)別來(lái)說(shuō)，使用Leap Motion的效果更好，而且該系統(tǒng)最多只能在87.4％的時(shí)間內(nèi)準(zhǔn)確識(shí)別單詞。這還不足以取代語(yǔ)音輸入來(lái)進(jìn)行聽(tīng)寫，但這對(duì)于只能與手指和頭戴式傳感器一起使用的系統(tǒng)來(lái)說(shuō)是一個(gè)好的開(kāi)始。
ASU的Duo Lu，Linzhen Luo，Dijiang Huang和Yeye Yang已在GitHub上發(fā)布了FMKit的源代碼，這是一個(gè)開(kāi)放源代碼項(xiàng)目，其中包括庫(kù)和數(shù)據(jù)集，希望其他研究人員能夠擴(kuò)展他們的工作。作者將在本周作為CVPR 2020計(jì)算機(jī)視覺(jué)增強(qiáng)和虛擬現(xiàn)實(shí)研討會(huì)的一部分介紹他們的研究。
來(lái)源： VR陀螺
