【嘉德點評】蘋果發(fā)明的應用于移動端的智能拍攝背景替換方案，采用“背景分割+蒙版處理”的形式來更換用戶可自定義的圖像背景，同時可以自動調(diào)用移動設備中的運動傳感器以跟隨用戶的姿態(tài)調(diào)整，極大的提高了用戶的拍攝體驗。
集微網(wǎng)消息，11月22日，很多傳言宣稱，在不久的將來，蘋果將推出一款增強現(xiàn)實（AR）或混合現(xiàn)實（MR）設備，目前，AR功能在iPhone上已經(jīng)變得十分活躍，而且正在迅速變得越來越好。
AR技術包括了虛擬成像，不僅指我們常見的虛擬人物的創(chuàng)建，還包括照片、視頻圖像的處理等。其中有一項技術，就是常常被用在影棚中的綠布技術，我們知道，在電影棚中，很多場景都是先以綠布為背景進行拍攝，再在后期進行背景的替換、填充等操作。
那么，如果想要在手機這樣的移動設備上自動實現(xiàn)這樣的效果，應該怎么辦呢？為此，蘋果在18年9月7日申請了一項名為“增強現(xiàn)實自拍攝”的發(fā)明專利（申請?zhí)枺?01880048711.2），申請人為蘋果公司。
根據(jù)該專利目前公開的資料，讓我們一起來看看蘋果的這項增強現(xiàn)實自拍技術吧。
如上圖，為該專利中發(fā)明的AR自拍概念渲染圖，系統(tǒng)環(huán)境為：用戶100在使用移動設備102進行自拍。在拍攝期間，移動設備會從虛擬環(huán)境106中提取虛擬背景104，這個過程可以幫助用戶實現(xiàn)自動的背景替換，相當于電影拍攝中的綠布替換，可以自由地更換用戶想要的各種背景圖案。
并且，當用戶改變移動設備在真實世界中的方向時，移動設備會通過陀螺儀、加速度器來進行感知，從而保持虛擬背景跟隨用戶同時進行移動，如下圖所示，為用戶面對移動設備進行自拍的效果圖示。
可以看到，由于我們所在的空間為三維空間，因此該專利針對于移動設備也進行了三維坐標系的規(guī)劃以及建模，當使用者旋轉(zhuǎn)移動設備時，運動傳感器可以更新設備的姿態(tài)四元數(shù)，該數(shù)據(jù)用于推導相機轉(zhuǎn)換以用于為后置相機確定在虛擬環(huán)境中的相機視野方向，以便于更好的進行人物位置追蹤。
而除了保持背景與人物的跟蹤外，如何將拍攝的人物與背景圖像進行完美、逼真的融合也是該專利必須要考慮的因素。
如上圖，為AR自拍中使用合成的方案進行背景的自動替換，系統(tǒng)會給予拍照者邊緣處理，例如圍繞圖像的“輝光”或者“油墨”輪廓，并為之創(chuàng)建一個蒙版，熟悉ps操作的小伙伴對這個詞語應該是相當熟悉了，在蒙版的后面還有一個動畫層，用來在人物與背景之間增加過度效果，使得圖像看起來更加的逼真。
如上圖，展示了使用深度數(shù)據(jù)生成經(jīng)預處理(粗略)蒙版的過程，主要分為三個階段：預處理階段603、RGB-D蒙版提取階段604和后處理階段605，自拍者的RGB視頻數(shù)據(jù)601和由IR深度傳感器提供的深度數(shù)據(jù)602作為整個方案的輸入。
預處理步驟包括生成圖像的直方圖、閾值分割、人體外輪廓檢測、內(nèi)輪廓檢測和粗略蒙版生成等。RGB-D過程將人體的輪廓信息與背景信息進行融合，以生成初步的背景圖案替換圖，最后，在后處理階段，進行輪廓邊緣的精細修復，以達到完美的效果。
以上就是蘋果發(fā)明的應用于移動端的智能拍攝背景替換方案，在用戶拍攝視頻以及照片的基礎上，自動調(diào)用移動設備中的運動傳感器以跟隨用戶的姿態(tài)調(diào)整，同時采用背景分割+蒙版處理的形式來更換用戶可自定義的圖像背景，從而達到了可自由更改的背景圖的效果，改善了用戶的拍攝體驗。
關于嘉德
深圳市嘉德知識產(chǎn)權服務有限公司由曾在華為等世界500強企業(yè)工作多年的知識產(chǎn)權專家、律師、專利代理人組成，熟悉中歐美知識產(chǎn)權法律理論和實務，在全球知識產(chǎn)權申請、布局、訴訟、許可談判、交易、運營、標準專利協(xié)同創(chuàng)造、專利池建設、展會知識產(chǎn)權、跨境電商知識產(chǎn)權、知識產(chǎn)權海關保護等方面擁有豐富的經(jīng)驗。
（校對/holly）
來源：愛集微APP
