国产免费无码又爽又刺激高潮_国产亚洲欧美在线人成aaaa_亚洲av永久无码精品尤物_专区久久五月天_国内精品久久人妻无码妲己影院

專題欄目:ARVRMR虛擬現(xiàn)實(shí)

微軟AR/VR專利提出通過單個(gè)單光子雪崩二極管減少圖像傳感器獲取的噪點(diǎn)

傳統(tǒng)圖像傳感器的信噪比可能受到讀取噪點(diǎn)的高度影響,尤其是在低能見度條件下成像時(shí)。例如,在低光成像條件,CMOS或CCD成像像素可以僅檢測少量光子,這可能導(dǎo)致讀取噪點(diǎn)接近或超過成像像素檢測到的信號,并降低信噪比。

當(dāng)在低光條件下以高幀速率成像時(shí),CMOS或CCD圖像傳感器檢測到的信號中讀取噪點(diǎn)的優(yōu)勢通常會(huì)加劇。盡管較低的幀速率可用于允許CMOS或CCD傳感器檢測足夠的光子,但利用低幀速率通常會(huì)導(dǎo)致捕獲圖像中的運(yùn)動(dòng)模糊,這在頭顯中尤其成問題。

除了影響透視成像外,與常規(guī)圖像傳感器相關(guān)的讀取噪點(diǎn)和/或運(yùn)動(dòng)模糊可能影響頭顯執(zhí)行的其他操作,如后期重投影、滾動(dòng)快門校正、對象追蹤、表面重建、語義標(biāo)記、對象的3D重建等。

針對這個(gè)問題,微軟在名為“Image acquisition techniques with reduced noise using single photon avalanche diodes”的專利申請中提出了一種通過單個(gè)單光子雪崩二極管(SPAD)來減少圖像獲取的噪點(diǎn)。

在一個(gè)實(shí)施例中,SPAD陣列可以形成圖像傳感器,每個(gè)SPAD在SPAD陣列中形成單獨(dú)的像素。為了捕獲環(huán)境的圖像,每個(gè)SPAD像素可以檢測雪崩事件,并為連續(xù)快門操作提供二進(jìn)制輸出??梢詫东@時(shí)間段的多個(gè)快門操作的每像素二進(jìn)制輸出進(jìn)行計(jì)數(shù),并且可以基于所計(jì)數(shù)的每像素二值輸出來計(jì)算每像素強(qiáng)度值。每像素強(qiáng)度值可用于形成環(huán)境的強(qiáng)度圖像。

微軟指出,將SPAD圖像傳感器用于圖像捕獲可以提供優(yōu)于傳統(tǒng)圖像捕獲系統(tǒng)和技術(shù)的眾多優(yōu)點(diǎn),特別是在低光條件下成像和/或在圖像捕獲期間經(jīng)歷運(yùn)動(dòng)的設(shè)備成像。

首先,SPAD信號的二值化有效地消除了讀取早點(diǎn),從而與傳統(tǒng)CMOS和/或CCD傳感器相比提高了SPAD圖像傳感器陣列的信噪比。因此,由于SPAD信號的二值化,SPAD信號可以以高幀速率讀出,而不會(huì)導(dǎo)致信號被讀取噪點(diǎn)支配,即使對于在低光環(huán)境下捕獲少量光子的信號都是如此。

鑒于上述情況,可以使用SPAD陣列以高幀速率執(zhí)行多次曝光和讀出操作,以生成單獨(dú)的部分圖像幀,并且可以組合單獨(dú)的局部圖像幀以形成單個(gè)合成圖像。

通過利用SPAD陣列的多次曝光和讀出操作來形成單個(gè)合成圖像,可以實(shí)現(xiàn)高幀速率下的低光成像。另外i,利用高幀率進(jìn)行低光圖像捕獲可以減少運(yùn)動(dòng)偽影的影響。值得一提的是,使用SPAD的高幀率圖像捕獲技術(shù)可以與其他運(yùn)動(dòng)補(bǔ)償操作組合,從而進(jìn)一步減少運(yùn)動(dòng)偽影。緩解的運(yùn)動(dòng)偽影可以相應(yīng)地改善頭顯執(zhí)行的其他操作,例如后期重投影、滾動(dòng)快門偽影校正等。

微軟AR/VR專利提出通過單個(gè)單光子雪崩二極管減少圖像傳感器獲取的噪點(diǎn)

圖2B顯示了處理216組合部分幀214A、214B和214C以形成圖像218。因?yàn)榭梢栽诒苊庾x取噪點(diǎn)的同時(shí)執(zhí)行連續(xù)執(zhí)行的曝光和讀出操作,所以可以以高幀速率執(zhí)行曝光和讀出。因此,由于圖像218是使用以高幀率捕獲但仍共同跨越有效曝光時(shí)間206的分量生成,圖像218可以提供具有減少的運(yùn)動(dòng)模糊的低光環(huán)境的適當(dāng)曝光表示。

在一個(gè)實(shí)施例中,可以執(zhí)行額外的動(dòng)作以進(jìn)一步減輕或減少捕獲的合成圖像中的運(yùn)動(dòng)模糊。例如,系統(tǒng)執(zhí)行運(yùn)動(dòng)補(bǔ)償操作以生成合成圖像,以與上面描述的利用順序、高幀率曝光和讀出操作的技術(shù)相結(jié)合。

微軟AR/VR專利提出通過單個(gè)單光子雪崩二極管減少圖像傳感器獲取的噪點(diǎn)

圖3示出了使用SPAD陣列捕獲連續(xù)低光圖像的示例。作為示例實(shí)現(xiàn),可以使用頭顯的一個(gè)或多個(gè)SPAD陣列來捕獲連續(xù)的微光圖像,并且可以用于生成所捕獲的微光環(huán)境的透視圖像,以實(shí)時(shí)呈現(xiàn)給用戶。

圖3說明了使用SPAD陣列200執(zhí)行的各種曝光和讀出操作。特別是,圖3顯示了順序執(zhí)行的曝光和讀出作業(yè)304A至304F。

圖3所示的示例顯示了使用單獨(dú)的曝光和讀出操作集生成的每個(gè)圖像306A和306B。例如,圖像306A是使用曝光和讀出操作304A、304B和304C生成,而圖像306B是使用單獨(dú)的、不重疊的曝光和讀出組304D、304E和304F生成。可以以任何期望的速率執(zhí)行單獨(dú)的順序曝光和讀出操作集。

例如,第一組曝光和讀出操作可以包括曝光和讀出動(dòng)作304A、304B和304C,第二組曝光和讀取操作可以包括暴露和讀出操作304D、304E和304F。系統(tǒng)可以執(zhí)行連續(xù)的3組曝光和讀出操作,使得這些組以30Hz或更低(或更高)的速率完成。

微軟AR/VR專利提出通過單個(gè)單光子雪崩二極管減少圖像傳感器獲取的噪點(diǎn)

流程圖700的動(dòng)作702包括執(zhí)行多個(gè)順序曝光和讀出操作,每個(gè)曝光和讀出包括:(i)應(yīng)用一組快門操作以配置SPAD陣列的每個(gè)SPAD像素以啟用光子檢測,以及(ii)對于SPAD陣列中的每個(gè)SPA像素,讀出在所述一組快門操作期間檢測到的光子的數(shù)量。

在一個(gè)實(shí)施例中,為每個(gè)單獨(dú)的曝光和讀出操作生成部分幀。多個(gè)順序曝光和讀出操作可以包括2、3或更多曝光和讀出。每個(gè)順序曝光和讀出操作具有相同的曝光時(shí)間。

動(dòng)作704包括基于在多個(gè)順序曝光和讀出操作中的每一個(gè)期間為每個(gè)SPAD像素檢測到的光子數(shù)量生成圖像。在一個(gè)實(shí)施例中,使用基于在多個(gè)順序曝光和讀出操作中的每一個(gè)期間為每個(gè)SPAD像素檢測到的光子數(shù)量而確定的部分幀來生成圖像。另外,執(zhí)行一個(gè)或多個(gè)運(yùn)動(dòng)補(bǔ)償操作以生成圖像。

動(dòng)作706包括執(zhí)行連續(xù)多個(gè)順序曝光和讀出操作。在一個(gè)實(shí)施例中,連續(xù)多個(gè)順序曝光和讀出操作包括至少部分重疊的順序曝光和讀取操作集,而在其他實(shí)現(xiàn)中,順序多個(gè)順序暴露和讀出操作包含非重疊的順序暴露和讀取操作。在一個(gè)實(shí)施例中,以30Hz或更低的速率執(zhí)行連續(xù)多個(gè)順序曝光和讀出操作。

動(dòng)作708包括生成連續(xù)圖像,每個(gè)連續(xù)圖像基于連續(xù)多個(gè)順序曝光和讀出操作中的相應(yīng)多個(gè)順序暴露和讀出操作生成。

動(dòng)作710包括在顯示器連續(xù)顯示連續(xù)圖像。在一個(gè)實(shí)施例中,用于在顯示器顯示連續(xù)圖像的幀顯示速率與執(zhí)行連續(xù)多個(gè)順序曝光和讀出操作的順序曝光和讀取操作的速率相匹配。

微軟AR/VR專利提出通過單個(gè)單光子雪崩二極管減少圖像傳感器獲取的噪點(diǎn)

現(xiàn)在注意圖8。流程圖800的動(dòng)作802包括執(zhí)行多個(gè)順序快門操作,以配置SPAD陣列的每個(gè)SPAD像素以啟用光子檢測。

動(dòng)作804包括訪問SPAD陣列的每個(gè)SPAD像素的相應(yīng)二進(jìn)制計(jì)數(shù)流,每個(gè)相應(yīng)的二進(jìn)制計(jì)數(shù)流對于相應(yīng)的SPAD像素指示在多個(gè)順序快門操作期間檢測到的光子數(shù)。在一個(gè)實(shí)施例中,二進(jìn)制計(jì)數(shù)的各個(gè)流累積在系統(tǒng)片上系統(tǒng)(SOC)。

動(dòng)作806包括從每個(gè)SPAD像素的相應(yīng)二進(jìn)制計(jì)數(shù)流中識別一組二進(jìn)制計(jì)數(shù),包括來自每個(gè)SPAD象素的每個(gè)二進(jìn)制計(jì)數(shù)流的相應(yīng)二進(jìn)制數(shù)。

動(dòng)作808包括使用該組二進(jìn)制計(jì)數(shù)生成圖像。在一個(gè)實(shí)施例中,應(yīng)用一個(gè)或多個(gè)運(yùn)動(dòng)補(bǔ)償操作作為生成圖像的一部分。

動(dòng)作810包括從每個(gè)SPAD像素的相應(yīng)二進(jìn)制計(jì)數(shù)流中識別第二組二進(jìn)制計(jì)數(shù),第二組二元計(jì)數(shù)包括來自每個(gè)SPAD象素的每個(gè)二進(jìn)制計(jì)數(shù)流的第二組相應(yīng)二進(jìn)制計(jì)數(shù)。在一個(gè)實(shí)施例中,第二組二進(jìn)制計(jì)數(shù)包括來自也包括在該組二進(jìn)制計(jì)數(shù)中的相應(yīng)二進(jìn)制計(jì)數(shù)流的至少一些二進(jìn)制計(jì)數(shù)。另外,第二組二進(jìn)制計(jì)數(shù)包括與該組二進(jìn)制計(jì)數(shù)相同數(shù)量的二進(jìn)制計(jì)數(shù)。

動(dòng)作812包括使用第二組二進(jìn)制計(jì)數(shù)生成第二圖像。在圖像之后生成/獲得第二圖像。第二圖像和圖像二者可以連續(xù)地顯示在頭顯顯示器,以便于在低光條件下以減少的運(yùn)動(dòng)模糊進(jìn)行透視成像。

通過以上描述的方式,SPAD可以幫助生成減少噪點(diǎn)的圖像。

 

發(fā)表評論

相關(guān)文章