據(jù)傳,蘋果正在開發(fā)自己的增強(qiáng)現(xiàn)實頭顯和智能眼鏡,目前猜測稱為 "蘋果眼鏡",它也可以使用AR作為向用戶顯示信息的一種方式。與市場上幾乎所有其他的混合現(xiàn)實頭顯一樣,蘋果要想為用戶優(yōu)化體驗,總是要克服一些挑戰(zhàn)。
在美國專利和商標(biāo)局周二批準(zhǔn)的一對專利申請中,蘋果似乎已經(jīng)為使用AR或VR頭顯時可能出現(xiàn)的兩個不同問題提出了解決方案。蘋果公司的增強(qiáng)現(xiàn)實頭顯可以自動考慮用戶的視角和所附攝像頭之間的差異,而外圍照明可以使用戶的眼睛更容易適應(yīng)佩戴AR或VR頭顯。
第一項專利是 "帶有自適應(yīng)照明系統(tǒng)的電子設(shè)備",涉及用戶在戴上或摘下VR或AR頭顯時的視力這一較少被考慮的問題。蘋果認(rèn)為,當(dāng)用戶第一次戴上頭顯時,頭顯用戶可能會遇到內(nèi)置顯示屏太暗或被沖淡的情況。當(dāng)頭顯在明亮的環(huán)境中使用時,情況可能尤其如此,因為在頭顯的使用過程中,用戶的眼睛被有效地屏蔽在環(huán)境之外。
在使用結(jié)束時,當(dāng)用戶取下耳麥時也存在同樣的問題。從相對較暗的耳麥觀看環(huán)境轉(zhuǎn)到一個更亮的環(huán)境可能會使用戶感到眩暈或不適,直到他們的眼睛能夠適應(yīng)。蘋果公司對此的解決方案實際上是為頭顯內(nèi)部提供一個照明系統(tǒng),照亮用戶視線外圍的區(qū)域。通過使用環(huán)境光傳感器,該系統(tǒng)可以改變亮度,以更接近環(huán)境的光強(qiáng)度,甚至有可能改變光線本身的溫度或顏色。
雖然這可能涉及到邊緣的一串LED,但也有人建議該專利可以使用導(dǎo)光板將光線引向回路,這可以減少系統(tǒng)所需的LED數(shù)量。來自頭顯上的傳感器運動數(shù)據(jù)可用于調(diào)整耳機(jī)的亮度,如檢測用戶何時戴上或摘下耳機(jī)。判斷這樣的動作可以觸發(fā)系統(tǒng)經(jīng)歷一個照明和調(diào)光的過程。
第二項專利,"場景相機(jī)重定位",涉及一個關(guān)于計算機(jī)視覺的問題,以及它與用戶的關(guān)系。通常情況下,增強(qiáng)現(xiàn)實依賴于渲染與環(huán)境視圖相關(guān)的數(shù)字資產(chǎn),然后將其疊加在來自攝像機(jī)的視頻資料上并呈現(xiàn)給用戶,或者將其疊加在一個透明面板上,用戶通過該面板看到真實世界。
雖然這些技術(shù)是有意義的,但仍有一些問題是平臺創(chuàng)建者必須克服的。在這項專利中,蘋果認(rèn)為觀察場景的相機(jī)可能看到的東西和用戶觀察到的東西之間可能存在不匹配。這是因為面向外部的攝像頭位置比用戶的眼睛更靠前、更高。這是一個完全不同的視角,基于這種不同視角的渲染輸出不一定會給用戶帶來錯覺。
簡而言之,蘋果公司的專利表明,頭顯可以利用攝像頭對環(huán)境的觀察,對其進(jìn)行調(diào)整以更好地匹配用戶眼睛的視角,然后利用調(diào)整后的圖像,將數(shù)字對象更好地渲染到真實世界的場景中。做到這一點的計算可以包括使用轉(zhuǎn)換矩陣來表示視點的不同,以及使用對攝像機(jī)視圖的分析來確定現(xiàn)實世界物體的深度。該系統(tǒng)可以利用其他數(shù)據(jù)點來生成其翻譯圖像,如LiDAR傳感器,以獲得更準(zhǔn)確的深度數(shù)據(jù)。這也可以利用加速計數(shù)據(jù)。
由于用戶的頭部會移動,而頭顯渲染一個場景對象需要時間,所以在翻譯過程中可能會有少量的滯后,通過使用加速計,這也可以使計算進(jìn)一步改變,以預(yù)測用戶在未來短時間內(nèi)的位置。這種預(yù)測可以幫助渲染與用戶在運動中的最終視角相匹配。
來源:cnBeta