傳統(tǒng)圖像傳感器的信噪比可能受到讀取噪點(diǎn)的高度影響，尤其是在低能見度條件下成像時(shí)。例如，在低光成像條件，CMOS或CCD成像像素可以僅檢測少量光子，這可能導(dǎo)致讀取噪點(diǎn)接近或超過成像像素檢測到的信號，并降低信噪比。
當(dāng)在低光條件下以高幀速率成像時(shí)，CMOS或CCD圖像傳感器檢測到的信號中讀取噪點(diǎn)的優(yōu)勢通常會(huì)加劇。盡管較低的幀速率可用于允許CMOS或CCD傳感器檢測足夠的光子，但利用低幀速率通常會(huì)導(dǎo)致捕獲圖像中的運(yùn)動(dòng)模糊，這在頭顯中尤其成問題。
除了影響透視成像外，與常規(guī)圖像傳感器相關(guān)的讀取噪點(diǎn)和/或運(yùn)動(dòng)模糊可能影響頭顯執(zhí)行的其他操作，如后期重投影、滾動(dòng)快門校正、對象追蹤、表面重建、語義標(biāo)記、對象的3D重建等。
針對這個(gè)問題，微軟在名為“Image acquisition techniques with reduced noise using single photon avalanche diodes”的專利申請中提出了一種通過單個(gè)單光子雪崩二極管（SPAD）來減少圖像獲取的噪點(diǎn)。
在一個(gè)實(shí)施例中，SPAD陣列可以形成圖像傳感器，每個(gè)SPAD在SPAD陣列中形成單獨(dú)的像素。為了捕獲環(huán)境的圖像，每個(gè)SPAD像素可以檢測雪崩事件，并為連續(xù)快門操作提供二進(jìn)制輸出?？梢詫东@時(shí)間段的多個(gè)快門操作的每像素二進(jìn)制輸出進(jìn)行計(jì)數(shù)，并且可以基于所計(jì)數(shù)的每像素二值輸出來計(jì)算每像素強(qiáng)度值。每像素強(qiáng)度值可用于形成環(huán)境的強(qiáng)度圖像。
微軟指出，將SPAD圖像傳感器用于圖像捕獲可以提供優(yōu)于傳統(tǒng)圖像捕獲系統(tǒng)和技術(shù)的眾多優(yōu)點(diǎn)，特別是在低光條件下成像和/或在圖像捕獲期間經(jīng)歷運(yùn)動(dòng)的設(shè)備成像。
首先，SPAD信號的二值化有效地消除了讀取早點(diǎn)，從而與傳統(tǒng)CMOS和/或CCD傳感器相比提高了SPAD圖像傳感器陣列的信噪比。因此，由于SPAD信號的二值化，SPAD信號可以以高幀速率讀出，而不會(huì)導(dǎo)致信號被讀取噪點(diǎn)支配，即使對于在低光環(huán)境下捕獲少量光子的信號都是如此。
鑒于上述情況，可以使用SPAD陣列以高幀速率執(zhí)行多次曝光和讀出操作，以生成單獨(dú)的部分圖像幀，并且可以組合單獨(dú)的局部圖像幀以形成單個(gè)合成圖像。
通過利用SPAD陣列的多次曝光和讀出操作來形成單個(gè)合成圖像，可以實(shí)現(xiàn)高幀速率下的低光成像。另外i，利用高幀率進(jìn)行低光圖像捕獲可以減少運(yùn)動(dòng)偽影的影響。值得一提的是，使用SPAD的高幀率圖像捕獲技術(shù)可以與其他運(yùn)動(dòng)補(bǔ)償操作組合，從而進(jìn)一步減少運(yùn)動(dòng)偽影。緩解的運(yùn)動(dòng)偽影可以相應(yīng)地改善頭顯執(zhí)行的其他操作，例如后期重投影、滾動(dòng)快門偽影校正等。
圖2B顯示了處理216組合部分幀214A、214B和214C以形成圖像218。因?yàn)榭梢栽诒苊庾x取噪點(diǎn)的同時(shí)執(zhí)行連續(xù)執(zhí)行的曝光和讀出操作，所以可以以高幀速率執(zhí)行曝光和讀出。因此，由于圖像218是使用以高幀率捕獲但仍共同跨越有效曝光時(shí)間206的分量生成，圖像218可以提供具有減少的運(yùn)動(dòng)模糊的低光環(huán)境的適當(dāng)曝光表示。
在一個(gè)實(shí)施例中，可以執(zhí)行額外的動(dòng)作以進(jìn)一步減輕或減少捕獲的合成圖像中的運(yùn)動(dòng)模糊。例如，系統(tǒng)執(zhí)行運(yùn)動(dòng)補(bǔ)償操作以生成合成圖像，以與上面描述的利用順序、高幀率曝光和讀出操作的技術(shù)相結(jié)合。
圖3示出了使用SPAD陣列捕獲連續(xù)低光圖像的示例。作為示例實(shí)現(xiàn)，可以使用頭顯的一個(gè)或多個(gè)SPAD陣列來捕獲連續(xù)的微光圖像，并且可以用于生成所捕獲的微光環(huán)境的透視圖像，以實(shí)時(shí)呈現(xiàn)給用戶。
圖3說明了使用SPAD陣列200執(zhí)行的各種曝光和讀出操作。特別是，圖3顯示了順序執(zhí)行的曝光和讀出作業(yè)304A至304F。
圖3所示的示例顯示了使用單獨(dú)的曝光和讀出操作集生成的每個(gè)圖像306A和306B。例如，圖像306A是使用曝光和讀出操作304A、304B和304C生成，而圖像306B是使用單獨(dú)的、不重疊的曝光和讀出組304D、304E和304F生成。可以以任何期望的速率執(zhí)行單獨(dú)的順序曝光和讀出操作集。
例如，第一組曝光和讀出操作可以包括曝光和讀出動(dòng)作304A、304B和304C，第二組曝光和讀取操作可以包括暴露和讀出操作304D、304E和304F。系統(tǒng)可以執(zhí)行連續(xù)的3組曝光和讀出操作，使得這些組以30Hz或更低（或更高）的速率完成。
流程圖700的動(dòng)作702包括執(zhí)行多個(gè)順序曝光和讀出操作，每個(gè)曝光和讀出包括：（i）應(yīng)用一組快門操作以配置SPAD陣列的每個(gè)SPAD像素以啟用光子檢測，以及（ii）對于SPAD陣列中的每個(gè)SPA像素，讀出在所述一組快門操作期間檢測到的光子的數(shù)量。
在一個(gè)實(shí)施例中，為每個(gè)單獨(dú)的曝光和讀出操作生成部分幀。多個(gè)順序曝光和讀出操作可以包括2、3或更多曝光和讀出。每個(gè)順序曝光和讀出操作具有相同的曝光時(shí)間。
動(dòng)作704包括基于在多個(gè)順序曝光和讀出操作中的每一個(gè)期間為每個(gè)SPAD像素檢測到的光子數(shù)量生成圖像。在一個(gè)實(shí)施例中，使用基于在多個(gè)順序曝光和讀出操作中的每一個(gè)期間為每個(gè)SPAD像素檢測到的光子數(shù)量而確定的部分幀來生成圖像。另外，執(zhí)行一個(gè)或多個(gè)運(yùn)動(dòng)補(bǔ)償操作以生成圖像。
動(dòng)作706包括執(zhí)行連續(xù)多個(gè)順序曝光和讀出操作。在一個(gè)實(shí)施例中，連續(xù)多個(gè)順序曝光和讀出操作包括至少部分重疊的順序曝光和讀取操作集，而在其他實(shí)現(xiàn)中，順序多個(gè)順序暴露和讀出操作包含非重疊的順序暴露和讀取操作。在一個(gè)實(shí)施例中，以30Hz或更低的速率執(zhí)行連續(xù)多個(gè)順序曝光和讀出操作。
動(dòng)作708包括生成連續(xù)圖像，每個(gè)連續(xù)圖像基于連續(xù)多個(gè)順序曝光和讀出操作中的相應(yīng)多個(gè)順序暴露和讀出操作生成。
動(dòng)作710包括在顯示器連續(xù)顯示連續(xù)圖像。在一個(gè)實(shí)施例中，用于在顯示器顯示連續(xù)圖像的幀顯示速率與執(zhí)行連續(xù)多個(gè)順序曝光和讀出操作的順序曝光和讀取操作的速率相匹配。
現(xiàn)在注意圖8。流程圖800的動(dòng)作802包括執(zhí)行多個(gè)順序快門操作，以配置SPAD陣列的每個(gè)SPAD像素以啟用光子檢測。
動(dòng)作804包括訪問SPAD陣列的每個(gè)SPAD像素的相應(yīng)二進(jìn)制計(jì)數(shù)流，每個(gè)相應(yīng)的二進(jìn)制計(jì)數(shù)流對于相應(yīng)的SPAD像素指示在多個(gè)順序快門操作期間檢測到的光子數(shù)。在一個(gè)實(shí)施例中，二進(jìn)制計(jì)數(shù)的各個(gè)流累積在系統(tǒng)片上系統(tǒng)（SOC）。
動(dòng)作806包括從每個(gè)SPAD像素的相應(yīng)二進(jìn)制計(jì)數(shù)流中識別一組二進(jìn)制計(jì)數(shù)，包括來自每個(gè)SPAD象素的每個(gè)二進(jìn)制計(jì)數(shù)流的相應(yīng)二進(jìn)制數(shù)。
動(dòng)作808包括使用該組二進(jìn)制計(jì)數(shù)生成圖像。在一個(gè)實(shí)施例中，應(yīng)用一個(gè)或多個(gè)運(yùn)動(dòng)補(bǔ)償操作作為生成圖像的一部分。
動(dòng)作810包括從每個(gè)SPAD像素的相應(yīng)二進(jìn)制計(jì)數(shù)流中識別第二組二進(jìn)制計(jì)數(shù)，第二組二元計(jì)數(shù)包括來自每個(gè)SPAD象素的每個(gè)二進(jìn)制計(jì)數(shù)流的第二組相應(yīng)二進(jìn)制計(jì)數(shù)。在一個(gè)實(shí)施例中，第二組二進(jìn)制計(jì)數(shù)包括來自也包括在該組二進(jìn)制計(jì)數(shù)中的相應(yīng)二進(jìn)制計(jì)數(shù)流的至少一些二進(jìn)制計(jì)數(shù)。另外，第二組二進(jìn)制計(jì)數(shù)包括與該組二進(jìn)制計(jì)數(shù)相同數(shù)量的二進(jìn)制計(jì)數(shù)。
動(dòng)作812包括使用第二組二進(jìn)制計(jì)數(shù)生成第二圖像。在圖像之后生成/獲得第二圖像。第二圖像和圖像二者可以連續(xù)地顯示在頭顯顯示器，以便于在低光條件下以減少的運(yùn)動(dòng)模糊進(jìn)行透視成像。
通過以上描述的方式，SPAD可以幫助生成減少噪點(diǎn)的圖像。
