定義：在虛擬現(xiàn)實(shí)系統(tǒng)中，我們致力于使得用戶可以通過(guò)眼睛、手勢(shì)、耳朵、語(yǔ)言、鼻子和皮膚等等感覺(jué)器官來(lái)和計(jì)算機(jī)系統(tǒng)中產(chǎn)生的虛擬環(huán)境進(jìn)行交互，這種虛擬環(huán)境下的交換技術(shù)就稱之為人機(jī)自然交互技術(shù)。
--------------------------------------------------------------------------------------------------------------------
延伸閱讀：
不管是有意識(shí)的還是無(wú)意識(shí)的，談到自然人機(jī)交互，人人心中都有一個(gè)或清晰或模糊的理解。這些形形色色的理解都各有各的道理，但往往又有不盡然的地方。要探討什么樣的界面是屬于“自然”的，就不妨先從人們常見(jiàn)的一些理解出發(fā)，看看它們各自正確和不足的地方在哪里。
自然人機(jī)交互等于“新”模態(tài)界面嗎？
的確，許多自然人機(jī)交互的成功例子，譬如微軟的體感游戲設(shè)備（Kinect）、Surface交互桌面和任天堂的Wii游戲等等，都運(yùn)用了手勢(shì)、語(yǔ)音、多點(diǎn)觸控等交互模態(tài)，甚至同時(shí)結(jié)合了多種模態(tài)。那么，是否使用了這些模態(tài)的界面就一定是“自然”的？恐怕不盡然。
我想不少人都能舉出使這些“自然”模態(tài)不自然的場(chǎng)景。譬如語(yǔ)音操控：很適合于私人空間，而在公眾場(chǎng)合卻可能帶來(lái)尷尬。再如手勢(shì)界面：大家對(duì)電影《少數(shù)派報(bào)告》中主人公揮舞雙手操作大屏幕界面完成每日工作的場(chǎng)景也許不陌生，這幾乎成了大眾心目中自然手勢(shì)界面的代表。
然而據(jù)這一場(chǎng)景的設(shè)計(jì)者說(shuō)，在電影拍攝過(guò)程中，身體健碩的男主角卻因?yàn)椴豢伴L(zhǎng)時(shí)間舉著雙手的疲勞，不得不用鋼絲吊著胳膊完成拍攝。這直接印證了手勢(shì)界面對(duì)于日常工作場(chǎng)合并不一定自然，盡管它在Kinect家庭游戲中早已備受歡迎。相反，一些較為傳統(tǒng)的交互模態(tài)，譬如鼠標(biāo)和鍵盤(pán)，在其特有的使用情境中卻有著強(qiáng)大的生命力。
其實(shí)，自然人機(jī)交互并不是一個(gè)嶄新的概念，而是自計(jì)算機(jī)誕生之日就存在，并不斷地發(fā)展。作為計(jì)算機(jī)同行，一定對(duì)計(jì)算機(jī)界面更迭的歷史都耳熟能詳：從穿孔卡片到命令行再到圖形界面，每一代界面的出現(xiàn)都比前一代更為自然和直觀，但也都花費(fèi)了相當(dāng)長(zhǎng)時(shí)間才成為主流。
與之前的主要針對(duì)桌面計(jì)算機(jī)和工作環(huán)境而設(shè)計(jì)的界面相比，今天的用戶界面所面臨的是多樣化的使用情境：移動(dòng)、游戲、社交等等不一而足。而在何種情況下選擇何種模態(tài)進(jìn)行交互才是最自然的，這是每個(gè)人機(jī)交互從業(yè)者必須面對(duì)的問(wèn)題。
自然人機(jī)交互等于模仿人的界面嗎？
在科幻電影中，經(jīng)常會(huì)出現(xiàn)計(jì)算機(jī)模仿人的語(yǔ)音與用戶進(jìn)行交流的場(chǎng)景，有時(shí)計(jì)算機(jī)甚至?xí)M人的形象，以虛擬助手的形式出現(xiàn)在屏幕上或現(xiàn)實(shí)世界中。
無(wú)疑，這樣的擬人化界面可以讓用戶與計(jì)算機(jī)交流就像與他人交往一樣，很多情況下的確會(huì)感覺(jué)更為自然和親切，甚至有可能在人與計(jì)算機(jī)間建立情感上的聯(lián)系。它特別適用于用戶其它交互渠道（譬如手眼）被占用，或是需要計(jì)算機(jī)提供智能化幫助的時(shí)候。
但這種方式也有局限，在日常生活中，許多時(shí)候我們所做的事情并非與人交流，而是直接去操縱物理世界：比如直接拿起筷子吃飯就會(huì)比告訴別人怎么把食物喂到嘴里更為自然。同理，對(duì)于某些活動(dòng)，用戶直接操控界面也會(huì)比間接地通過(guò)擬人化交流更為自然和高效。
自然人機(jī)交互等于模仿物理世界的界面嗎？
那是不是模仿人與物理世界交互方式的界面就更加自然？實(shí)際上，當(dāng)前通行的許多界面模式，都是建立在物理世界概念的基礎(chǔ)上的，比如Windows圖形界面和文件夾組織結(jié)構(gòu)，就是對(duì)真實(shí)辦公桌的一種模仿。還有不少研究人員探索了如何把物理模型引入用戶界面用于驅(qū)動(dòng)交互的過(guò)程，甚至把真實(shí)物體作為界面的一部分，通過(guò)操作物理實(shí)體與計(jì)算機(jī)進(jìn)行交互，即實(shí)體用戶界面（tangible user interface）。
這些基于物理世界規(guī)則的界面能讓用戶完全地按照操作真實(shí)物體的方式與計(jì)算機(jī)交互，省去了不少學(xué)習(xí)時(shí)間，在一定意義上提供了最大限度的自然。
但如果純粹模仿物理世界，也會(huì)遇到瓶頸，那就是真實(shí)世界本身受到各種物理定律和客觀條件制約，我們?cè)趶?fù)制它的種種直觀屬性的同時(shí)，也復(fù)制了它的種種限制與不便。這在某些情況下恰恰犧牲了計(jì)算機(jī)的靈活性，使用戶失去了軟件界面本來(lái)所能提供的自由空間。
而在這一點(diǎn)上，大家熟悉的多點(diǎn)觸控界面中用兩個(gè)手指操作圖片或者其它虛擬物體的手勢(shì)，并沒(méi)有拘泥于物理操作，而是在平移和旋轉(zhuǎn)這兩個(gè)完全符合物理常規(guī)的操作之中，加入了縮放這一在真實(shí)世界幾乎不可能的操作，形成了一個(gè)無(wú)縫的自然交互方式——多數(shù)用戶在使用它的時(shí)候可能甚至從來(lái)沒(méi)有意識(shí)到這一點(diǎn)?？梢哉f(shuō)，自然人機(jī)交互應(yīng)當(dāng)源于真實(shí)，高于真實(shí)。
自然人機(jī)交互等于不用輸入設(shè)備的界面嗎？
如果我們關(guān)注最近的一些被稱為自然人機(jī)交互的產(chǎn)品，無(wú)論是使用手勢(shì)、語(yǔ)音、觸控，甚至是腦電波，他們的共性似乎是不需要專門(mén)的輸入工具，而用身體的某一部分來(lái)直接進(jìn)行操作。這是否是一切自然人機(jī)交互的大勢(shì)所趨？
一方面，人的手和身體本身就是極為靈活的工具，不需輔助就可以勝任許多通用型的任務(wù)，這正是今天許多無(wú)需輸入設(shè)備界面的基礎(chǔ)；但另一方面，物理工具的發(fā)明恰恰標(biāo)志著人類的進(jìn)化。
各式各樣的工具造就了人類從事各種專門(mén)活動(dòng)的能力，而每一種工具的設(shè)計(jì)和使用方法都最大可能地為其支持的活動(dòng)做了專門(mén)的優(yōu)化，本身就是“自然人機(jī)交互”的典范。
最好的例子莫過(guò)于形形色色的筆：比起用手指寫(xiě)字，用筆寫(xiě)字實(shí)際上更好地利用了人多個(gè)手指靈活配合和控制的能力，大大提高了書(shū)寫(xiě)的準(zhǔn)確和豐富性。同樣的道理，在今天的計(jì)算機(jī)使用中，特別是對(duì)于許多專門(mén)性的活動(dòng)，一套設(shè)計(jì)合理的輸入設(shè)備（例如數(shù)字筆）也可以延展人的能力，從而提供更加自然的界面。
上述各種理解有一個(gè)共性，那就是它們都是將某一類特定的交互模式等同于自然人機(jī)交互。而實(shí)際上，“自然”并不是一個(gè)絕對(duì)的概念，無(wú)法拋開(kāi)情境來(lái)下結(jié)論。上述提到或沒(méi)提到的每一種交互模式都在某些使用情境中成為自然界面的典范，但在另一些情境下卻又可能顯得不那么自然。
在尚未了解界面所要支持的用戶、活動(dòng)和環(huán)境的前提下，幾乎無(wú)從判斷它的自然與否。正如人機(jī)交互研究的一位先驅(qū)比爾?巴克斯頓(Bill Buxton)所說(shuō)，“不論是什么東西，都對(duì)某些事情最好，而對(duì)另一些事情最糟?！?/p>
那么，自然人機(jī)交互能否有一個(gè)普適的標(biāo)準(zhǔn)？
一些研究人機(jī)交互的同行提出了一個(gè)有趣的問(wèn)題：自然用戶界面這個(gè)詞，究竟是自然的“用戶界面”還是“自然用戶”的界面？乍看起來(lái)這是個(gè)文字游戲，答案也許并不重要。但這個(gè)問(wèn)題的提出，為回答前一個(gè)問(wèn)題指出了一條方向，那就是對(duì)自然人機(jī)交互的衡量，并非取決于界面的交互模式，而是取決于用戶自身的體驗(yàn)。
自然源于體驗(yàn)/經(jīng)驗(yàn)
在英文中experience既有體驗(yàn)又有經(jīng)驗(yàn)的意思。而在討論自然的用戶體驗(yàn)時(shí)，正要從用戶的經(jīng)驗(yàn)說(shuō)起。這乍聽(tīng)似乎有些矛盾：自然人機(jī)交互不應(yīng)該要求用戶沒(méi)有任何經(jīng)驗(yàn)嗎？不錯(cuò)，對(duì)界面本身而言，讓用戶在沒(méi)有經(jīng)驗(yàn)的前提下上手，讓學(xué)習(xí)過(guò)程盡量縮短，這正是自然人機(jī)交互的主要優(yōu)勢(shì)之一。而這里要談的，是另一種經(jīng)驗(yàn)——對(duì)現(xiàn)實(shí)生活的經(jīng)驗(yàn)。
具體解釋之前，先講講我的兩位人機(jī)交互同行親身經(jīng)歷的故事。
一位印度的同行為當(dāng)?shù)赜脩粼O(shè)計(jì)了一組用數(shù)字筆操作的界面。在進(jìn)行用戶測(cè)試時(shí)，他對(duì)其中一位用戶說(shuō)：“請(qǐng)拿起筆碰一下屏幕?！背龊跛饬系氖?，這一看起來(lái)十分簡(jiǎn)單自然的操作，居然出了問(wèn)題：這位用戶沒(méi)有用筆尖，而是把筆橫過(guò)來(lái)整個(gè)貼在了屏幕上！經(jīng)詢問(wèn)才知道原來(lái)他不識(shí)字，也從沒(méi)用過(guò)筆。
而另一位歐洲的同行為家庭用戶在交互桌面上開(kāi)發(fā)了一套軟件，包括一些直觀的手勢(shì)交互，例如用兩個(gè)手指相反方向移動(dòng)做打開(kāi)的手勢(shì)來(lái)打開(kāi)一個(gè)虛擬的儲(chǔ)物箱。當(dāng)他向用戶家庭演示時(shí)，他想考考這個(gè)家中正上小學(xué)的孩子：“你試試看怎么打開(kāi)這個(gè)箱子？”孩子二話不說(shuō)，直接用食指在箱子上雙擊！
從這兩個(gè)例子可以明顯地看出，對(duì)于用戶而言什么是自然并不等于與生俱來(lái)，而是在很大程度上取決于它們之前的生活經(jīng)驗(yàn)：前者因?yàn)闆](méi)有用筆的經(jīng)驗(yàn)，“自然”的操作對(duì)他毫無(wú)自然可言；而后者由于從小與電腦和鼠標(biāo)打交道，“不自然”的操作對(duì)他卻是再自然不過(guò)。
同樣的道理，我們平時(shí)覺(jué)得自然的事情，不論書(shū)寫(xiě)、語(yǔ)言、手勢(shì)，還是觸摸，恰恰是來(lái)自于若干年積累下來(lái)的經(jīng)驗(yàn)或者有意識(shí)無(wú)意識(shí)的人為訓(xùn)練，當(dāng)然也包括對(duì)真實(shí)世界物理規(guī)律的經(jīng)驗(yàn)，和對(duì)已有計(jì)算機(jī)界面模式的經(jīng)驗(yàn)。這些訓(xùn)練和經(jīng)驗(yàn)，有些是較為廣泛地為所有人所共享的，比如物理規(guī)律；而有些則與用戶所屬的社會(huì)文化群體息息相關(guān)，正像上邊所舉的兩個(gè)例子。
由此可見(jiàn)，如果想讓用戶盡快上手，恰恰要建立在用戶已有生活經(jīng)驗(yàn)的基礎(chǔ)之上?？s短了的界面學(xué)習(xí)過(guò)程，正是因?yàn)榻栌昧舜饲叭舾赡暧脩魧W(xué)習(xí)其它相關(guān)事物的過(guò)程。于是，了解目標(biāo)用戶群體已有的經(jīng)驗(yàn)，并試圖讓交互方式與這些經(jīng)驗(yàn)相一致，就成了設(shè)計(jì)自然人機(jī)交互的關(guān)鍵。
實(shí)際上，在人機(jī)交互中非常強(qiáng)調(diào)的“隱喻（metaphor）”概念，正可看成是這種思想的一種體現(xiàn)。隱喻指的是把用戶界面中的概念比擬為一種人們熟悉的概念或現(xiàn)象，用于解釋其交互方式，例如將圖形界面元素比喻為大家熟悉的桌面、窗口等等。隱喻越貼切，越為用戶熟悉，往往就意味著界面越自然。
當(dāng)然，界面設(shè)計(jì)不可能也不應(yīng)當(dāng)完全局限于人們已有的經(jīng)驗(yàn)。有時(shí)，界面所涉及的活動(dòng)并沒(méi)有直接對(duì)應(yīng)的現(xiàn)實(shí)經(jīng)驗(yàn)可以借鑒；有時(shí)，拘泥于已有經(jīng)驗(yàn)會(huì)失去了界面設(shè)計(jì)的靈活性和創(chuàng)新空間。
如何確保用戶界面在超越已有經(jīng)驗(yàn)的同時(shí)，又不失其自然呢？這里要涉及到人機(jī)交互中另一個(gè)與用戶經(jīng)驗(yàn)息息相關(guān)的概念，即思維模型（mental model）。它是用戶腦中對(duì)所進(jìn)行的具體活動(dòng)機(jī)制的一個(gè)抽象，源于經(jīng)驗(yàn)，又高于經(jīng)驗(yàn)。
還以多點(diǎn)觸控中的兩指操縱手勢(shì)為例，根據(jù)物理經(jīng)驗(yàn)，真實(shí)的物體無(wú)法被縮放，但基于平移和旋轉(zhuǎn)的經(jīng)驗(yàn)，用戶抽象出的思維模型則是無(wú)論手指怎樣移動(dòng)，物體上固定的兩個(gè)點(diǎn)始終對(duì)應(yīng)于兩個(gè)手指的位置?？s放操作正是這一思維模型的直接的推廣，而這也是廣大用戶在使用這一操作時(shí)沒(méi)有感到任何不自然的原因。
由此可見(jiàn)，理解用戶已有的思維模型，并加以外推，不失為設(shè)計(jì)自然人機(jī)交互的有效方法，也可以覆蓋大量的用戶原本沒(méi)有經(jīng)驗(yàn)或預(yù)期的使用情境。這樣設(shè)計(jì)出的界面可以說(shuō)是“情理之中，意料之外”。
基于這些討論，不妨試著給自然人機(jī)交互一個(gè)定義：自然人機(jī)交互是與目標(biāo)用戶群體在預(yù)期使用情境下已有的經(jīng)驗(yàn)或思維模型相符的用戶界面。雖然與許多常見(jiàn)理解相比，這個(gè)定義少了“新”和“炫”的成分，但它在某種意義上也許更加貼合自然的本義：往往是“無(wú)招勝有招”，一個(gè)理想的自然人機(jī)交互應(yīng)當(dāng)能讓用戶的注意力完全集中在所要從事的活動(dòng)上，而忘記界面本身的存在，或者說(shuō)，界面變得“透明”了。
實(shí)踐嘗試
下面介紹一些我們?cè)谧匀蝗藱C(jī)交互研究方面的嘗試。雖然這些例子未必在自然方面做到了完美，但希望能以它們來(lái)直觀地映證前文的一些思路。
所握即所得的數(shù)字筆
數(shù)字筆在設(shè)計(jì)、藝術(shù)等行業(yè)內(nèi)廣泛采用，相比鼠標(biāo)等其他輸入設(shè)備，對(duì)于從事視覺(jué)創(chuàng)作人群的自然性不言而喻。但今天的數(shù)字筆已經(jīng)完全自然了嗎？如果我們看看現(xiàn)實(shí)中這些人群用于創(chuàng)作的物理工具，卻遠(yuǎn)不止一支筆這么簡(jiǎn)單。
他們要用到的有鋼筆、毛筆、素描鉛筆、刻刀、尺子等等工具。雖然這些工具形狀相仿，卻每一件都是為了特殊的功能而專門(mén)設(shè)計(jì)的，讓使用者用起來(lái)得心應(yīng)手，最為自然。
雖然從軟件上用同一支數(shù)字筆在畫(huà)板上模擬各種工具的功能并不困難，但卻在一定程度上缺失了每件物理工具使用的自然性。專用工具的自然，與通用工具的便利，有時(shí)看起來(lái)確實(shí)是一對(duì)矛盾。如何在這兩者間取得平衡？答案依然要來(lái)自對(duì)現(xiàn)實(shí)經(jīng)驗(yàn)的觀察：當(dāng)人們使用物理工具時(shí)，手握的方式都不盡相同，鋼筆和毛筆的不同握法就是最好的例子。
而每種握法，也正是為了最舒適地完成相應(yīng)的功能而優(yōu)化的結(jié)果，這些握法本身就是自然性的體現(xiàn)。由此，如果我們能在同一支數(shù)字筆上，通過(guò)識(shí)別用戶不同的握法來(lái)自動(dòng)提供不同的功能，那么用戶就不必再刻意地選擇不同的工具（無(wú)論物理工具或是虛擬工具），而只需要關(guān)注想要完成的功能，相應(yīng)轉(zhuǎn)換到最為自然的握法，便可以直接開(kāi)始使用這一種功能。
這樣，用戶不管從思維上還是操作上都跳過(guò)了工具選擇這一步，可以說(shuō)，工具變得“透明”了。基于這一想法，我們研制了一支“所握即所得的數(shù)字筆”，通過(guò)在筆上附加多點(diǎn)觸摸和方向的傳感器，可以識(shí)別出用戶十余種不同的握法，并在數(shù)字畫(huà)板上提供相應(yīng)的功能：鋼筆、毛筆、印章……甚至超出視覺(jué)創(chuàng)作的范疇，譬如模擬笛子等不同的樂(lè)器，從而使用戶使用數(shù)字筆的體驗(yàn)更為自然和豐富。
ShapeTouch: 從多點(diǎn)觸控到形狀觸控
多點(diǎn)觸控中的兩指操縱手勢(shì)作為自然人機(jī)交互設(shè)計(jì)的范例，本身也面臨著挑戰(zhàn)。試想一下，如果不是在觸摸屏或交互桌面上，而是在物理世界中操縱真實(shí)物體時(shí)也同樣只用兩個(gè)手指去移動(dòng)和旋轉(zhuǎn)，是否還那么自然？
人手是一件極為靈活的工具，我們?cè)谂c物理世界交互時(shí)，會(huì)根據(jù)物體的特性（形狀、重量等）和操作的目的（精細(xì)或是粗略，局部或是整體，等等）而采取不同的接觸方式。我們的手能夠完成的極其豐富的操作，遠(yuǎn)遠(yuǎn)超過(guò)多“點(diǎn)”觸控的范疇。
那么，怎樣才能讓對(duì)虛擬物體的觸控操作也像物理世界中那樣豐富而自然？關(guān)鍵在于對(duì)于觸摸輸入的理解不能再簡(jiǎn)單地將其抽象為多“點(diǎn)”觸摸，而是要保留接觸面完整的形狀與大小的信息并由它來(lái)決定交互的結(jié)果。因?yàn)樵谖锢硎澜缰?，正是這復(fù)雜多變的接觸面把人手的各種操作傳遞給了物體。
ShapeTouch系統(tǒng)正是為了展示這一概念而推出的。它通過(guò)對(duì)人手接觸交互桌面的形狀、面積、以及運(yùn)動(dòng)信息的分析，模擬出對(duì)所接觸到的虛擬物體所應(yīng)產(chǎn)生的作用力，譬如推力、壓力、摩擦力等，從而產(chǎn)生出與物理世界相符的自然操作效果。
為此，用戶不僅可以把若干年來(lái)與物理世界打交道積累下的豐富經(jīng)驗(yàn)直接運(yùn)用于與虛擬物體的交互，還可以像在物理世界中一樣不假思索地將各種動(dòng)作同時(shí)組合起來(lái)，完成更為復(fù)雜的操作。而這些操作方式并不僅局限于圖片等有著具體物理對(duì)應(yīng)的虛擬物體，也可以應(yīng)用到按鈕、滑動(dòng)條等界面元素中，把用戶來(lái)自具體物體的思維模型擴(kuò)展到抽象的操作中去。
延伸閱讀來(lái)源：https://blog.csdn.net/moonlightpeng/article/details/84100963
