目前在VR/AR的人機(jī)交互場景中，人們迫切希望看到自己的真手，并使用自己的雙手和VR/AR中的虛擬物體進(jìn)行自然地直接互動(dòng)。
三維手勢(shì)交互首先需要骨骼的三維深度信息，可以直接使用這些信息驅(qū)動(dòng)物理模型，直接和虛擬物體產(chǎn)生捏取、抓握等各種自然交互；也可以選取多幀三維數(shù)據(jù)，提取模式，定義為手勢(shì)，達(dá)到手勢(shì)識(shí)別的效果。手勢(shì)識(shí)別分二維手勢(shì)識(shí)別和三維手勢(shì)識(shí)別。相比二維手勢(shì)識(shí)別技術(shù)三維手勢(shì)識(shí)別需要使用多個(gè)攝像頭，因?yàn)閱蝹€(gè)普通攝像頭無法提供深度信息。雙目攝像頭實(shí)際上就是在模擬人眼工作的原理，只有使用兩臺(tái)攝像機(jī)對(duì)當(dāng)前環(huán)境進(jìn)行拍攝，才能得到兩幅針對(duì)同一物體的不同視角照片。
例如，我們拍一片楓葉，兩臺(tái)攝像機(jī)的各項(xiàng)參數(shù)以及它們之間相對(duì)位置的關(guān)系是已知的，只要找出相同物體（楓葉）在不同畫面中的位置，我們就能通過算法計(jì)算出這個(gè)物體（楓葉）距離攝像頭的深度了。
如何取得手部骨骼的三維坐標(biāo)，是三維交互技術(shù)的核心 uSens凌感人機(jī)三維手勢(shì)交互技術(shù)以3D骨架模型為手勢(shì)分析對(duì)象，通過22個(gè)手部關(guān)節(jié)點(diǎn)、26個(gè)自由度的識(shí)別和跟蹤，辨別單雙手的各種手部姿態(tài)包括點(diǎn)擊、滑動(dòng)、抓取、撫摸、翻轉(zhuǎn)、握拳、鼓掌、贊、OK手勢(shì)等。
