中國電子元件行業(yè)協(xié)會(huì )
China Electronic Components Association
動(dòng)態(tài)檢測對于智能視覺(jué)系統來(lái)說(shuō)至關(guān)重要，可以賦能自動(dòng)駕駛汽車(chē)和高級監控等應用?；谑录囊曈X(jué)傳感器可將光照變化轉化為稀疏的事件尖峰信號，實(shí)現低數據冗余的高效動(dòng)態(tài)檢測。然而，目前基于事件的視覺(jué)傳感器通常采用簡(jiǎn)化的光敏電容器結構，特別是在光譜響應方面面臨著(zhù)諸多局限性，導致其在多光譜場(chǎng)景中難以有效獲取信息。
近日，北京工業(yè)大學(xué)與華北光電技術(shù)研究所的聯(lián)合研究團隊提出了一種基于事件的雙端薄膜視覺(jué)傳感器（如圖1），該傳感器創(chuàng )新地將無(wú)機氧化物p-n結與熱釋光電效應相結合，協(xié)同了光伏效應和熱釋電機制。這一創(chuàng )新使尖峰信號的響應度提高了十倍，動(dòng)態(tài)范圍達到110 dB，光譜響應范圍從紫外（UV）波段擴展到近紅外（NIR）波段。利用該薄膜傳感器陣列，即使在弱光條件下，這些尖峰信號仍能準確提取指紋邊緣特征，這得益于其對微弱亮度變化的高靈敏度。此外，傳感器的寬帶尖峰響應可捕獲更豐富的信息，在多光譜動(dòng)態(tài)手勢識別中準確率高達99.25%，同時(shí)數據處理量減少了65%以上。這種方法有效地消除了冗余數據，同時(shí)最大限度地減少了信息丟失，為當前的動(dòng)態(tài)感知技術(shù)提供了一種前景廣闊的替代方案。這項研究以“Thin-film event-based vision sensors for enhanced multispectral perception beyond human vision”為題發(fā)表在InfoMat期刊上。
圖1 基于事件的薄膜視覺(jué)傳感器的仿生動(dòng)態(tài)檢測方法
研究團隊設計了一種基于事件的雙端薄膜視覺(jué)傳感器，主要利用ZnO/NiO光電二極管中的熱釋光電效應和HfO?絕緣層的電容效應（如圖2B和圖2C），可增強光電轉換能力并提高傳感器的動(dòng)態(tài)響應特性，相關(guān)機理分析如圖2所示。
圖2 基于事件的薄膜視覺(jué)傳感器的設計與機理分析
隨后，研究人員測量了基于事件的薄膜視覺(jué)傳感器在光脈沖下的尖峰信號（如圖3A）。在像素值不斷變化的動(dòng)態(tài)場(chǎng)景中，有必要檢查傳感器在逐步變化的光照下的性能（如圖3E）。對現代傳感系統來(lái)說(shuō)，準確探測寬光譜場(chǎng)景信號的能力至關(guān)重要。研究人員測定了基于事件的薄膜視覺(jué)傳感器在紫外（380 nm）波段到近紅外（1064 nm）波段的響應度，以評估其寬帶探測的能力（如圖3H）。
圖3 基于事件的薄膜視覺(jué)傳感器的快速寬帶尖峰信號測量
基于事件的薄膜視覺(jué)傳感器在圖像上移動(dòng)時(shí)，會(huì )在灰度值發(fā)生變化的邊緣區域產(chǎn)生電流尖峰信號。這種能力極大的提升其在傳感器內（in-sensor）邊緣處理能力，特別是在指紋識別方面，因為指紋識別主要依賴(lài)于邊緣提取來(lái)識別指紋圖案中的獨特特征，相關(guān)實(shí)驗結果如圖4所示。
圖4 采用基于事件的薄膜視覺(jué)傳感器進(jìn)行傳感器內圖像邊緣處理的實(shí)驗結果
這項研究重點(diǎn)關(guān)注了從紫外波段到近紅外波段的低可見(jiàn)度場(chǎng)景，以評估傳感器的動(dòng)態(tài)識別能力。為了復制這一場(chǎng)景，研究人員做了兩方面簡(jiǎn)化：（1）圖像區域劃分：將圖像分成四個(gè)相等的矩形區域，每個(gè)區域代表特定波長(cháng)（380 nm、675 nm、808 nm和1064 nm）的信息（如圖5A右側）；（2）統一響應度假設：考慮到低可見(jiàn)度環(huán)境下紫外波段和可見(jiàn)光的響應度降低，假設四個(gè)波長(cháng)的響應度形同。對于識別任務(wù)，這項研究使用了包含四種動(dòng)態(tài)手勢（向左移動(dòng)、向右移動(dòng)、向上移動(dòng)和向下移動(dòng)）的數據集，相關(guān)實(shí)驗結果如圖5所示。
圖5 基于事件的薄膜視覺(jué)傳感器在低可見(jiàn)度場(chǎng)景的快速寬帶尖峰信號測量
綜上所述，這項研究提出了一種簡(jiǎn)化的基于事件的薄膜視覺(jué)傳感器，它能夠感知并直接將多光譜亮度變化轉換為尖峰信號，從而有效地促進(jìn)了靜態(tài)圖像和動(dòng)態(tài)物體的感知和處理，通過(guò)利用熱釋光電效應，其響應度提高了十倍，動(dòng)態(tài)范圍達到110 dB。這些尖峰信號實(shí)現了傳感器內邊緣處理，而對數響應則提高了對微弱光線(xiàn)變化的靈敏度，在指紋識別任務(wù)中優(yōu)于Prewitt核卷積等傳統方法。此外，從紫外波段到近紅外波段的擴展光譜范圍使傳感器能夠捕獲寬帶動(dòng)態(tài)信息，同時(shí)過(guò)濾掉冗余數據。通過(guò)將獲取的信息輸入到脈沖神經(jīng)網(wǎng)絡(luò )（SNN）模型中，動(dòng)態(tài)手勢識別準確率高達99.25%，超越了單波段傳感器，并證明了其在實(shí)時(shí)視覺(jué)處理中的有效性。這項技術(shù)為開(kāi)發(fā)先進(jìn)的機器視覺(jué)系統和實(shí)時(shí)視覺(jué)計算芯片提供了巨大潛力。
