中國電子元件行業(yè)協(xié)會(huì )
China Electronic Components Association
近日，東北師范大學(xué)徐海陽(yáng)教授團隊研發(fā)出一款仿生自適應光傳感器。在自供電模式之下，它能感知并處理從紫外到近紅外寬波段的入射光，并能很好地模擬人眼的視覺(jué)適應行為。
這項成果既豐富了當前神經(jīng)形態(tài)器件的種類(lèi)，也促進(jìn)了視網(wǎng)膜仿生器件的發(fā)展，有望成為仿生視覺(jué)系統中感知端的重要集成組件，從而推動(dòng)仿生視覺(jué)領(lǐng)域的進(jìn)一步發(fā)展。
據了解，該傳感器基于二維 γ-InSe 半導體材料，采用 “非中心對稱(chēng)”和“非對稱(chēng)接觸”的設計思路，背后機制結合了光-熱釋電效應、以及光-熱電效應，即基于以“光-熱-電”作用為基礎的工作機制。
通過(guò)此，它可以對光強和波長(cháng)進(jìn)行分辨，從而產(chǎn)生自適應的光響應。
目前，在自驅動(dòng)模式之下，其已具備模擬部分人眼適應功能的能力。
也就是說(shuō)，本傳感器可以在不同光照情境之下，進(jìn)行按需生產(chǎn)與應用，比如用于智能監控、自動(dòng)駕駛、機器人視覺(jué)等。
傳感器已經(jīng)有很多，為何要研發(fā)這種傳感器？
傳感器，并不是新鮮事物。那么研發(fā)本傳感器的背后原因是什么？
據論文共同通訊作者李遠征副教授介紹，當與周?chē)h(huán)境互動(dòng)時(shí)，人類(lèi)的視覺(jué)感知能力可以從周?chē)h(huán)境中收集到 80% 以上的信息。
視覺(jué)感知系統，是人類(lèi)以及其他脊椎動(dòng)物最重要的感知系統。作為視覺(jué)感知系統的重要組成部分，人眼可以感知顏色、亮度等視覺(jué)信息。
此外，人眼可以通過(guò)自動(dòng)調整瞳孔大小，來(lái)適應不同的光線(xiàn)強度。比如，人類(lèi)之所以能在亮光和暗光中都能看清晰圖像，正是依賴(lài)于這種視覺(jué)自適應的能力。
當前，各種模仿生物系統的傳感器陸續涌現。其中，仿生視覺(jué)傳感器已經(jīng)成為人工智能領(lǐng)域的研究熱點(diǎn)之一。在人類(lèi)的視覺(jué)系統之中，一個(gè)重要的功能便是視覺(jué)適應。
視覺(jué)適應，是一種面對刺激時(shí)的自主反應。它可以讓感知系統調整自身行為，從而適應不同的光線(xiàn)環(huán)境。
對于人造類(lèi)仿生視覺(jué)傳感器來(lái)說(shuō)，它們往往可以在各種照明條件之下，針對不同刺激響應作出自主調整，從而捕獲相關(guān)的圖像，進(jìn)而完成視覺(jué)檢查和視覺(jué)識別等任務(wù)。
目前，不少仿生視覺(jué)傳感器都能以動(dòng)態(tài)方式去適應外部光刺激，也就是說(shuō)它們具備模擬人類(lèi)視覺(jué)適應功能的潛力。
然而，現有的模擬人類(lèi)視覺(jué)適應功能，往往受困于復雜的硬件和軟件系統，導致操作效率并不夠高。
同時(shí)，已有傳感器的主要工作機制，仍然局限于對載流子捕獲或離子遷移的調控，無(wú)法滿(mǎn)足視覺(jué)自適應器件的應用需求，也無(wú)法順應人工視覺(jué)系統的發(fā)展趨勢。
所以，亟待探索關(guān)于傳感器的新機制，從而更好地服務(wù)于具有簡(jiǎn)單器件構型的仿生視覺(jué)傳感器。
也就是說(shuō)，未來(lái)的傳感器不僅要擁有傳統光傳感器的高靈敏響應性能，還要能在特殊環(huán)境之下針對所感知的圖像進(jìn)行預處理，從而在確保具有強大預處理功能的同時(shí)，也具備大型集成電路所無(wú)法達到的超低功耗特點(diǎn)。正是基于這些考慮，課題組研發(fā)了本傳感器。
傳感新技術(shù)涌現
這項創(chuàng )新背后還有另一個(gè)推動(dòng)力:堆棧傳感器技術(shù)的出現。由于之前的傳感器大多為傳統的背照式傳感器，背照式是相對于傳統CMOS前照式而言的。傳統CMOS在感光元件的感光層前面有一排金屬電路，光線(xiàn)要先通過(guò)金屬排線(xiàn)電路才能到達感光層，這就影響了透光率，甚至造成像素干擾。而背照式傳感器的意思就是將這層金屬電路層移到了感光層后面以解決上述問(wèn)題，從而提高光線(xiàn)利用率。傳統傳感器的結構是在相同的基板上實(shí)現像素和電路，為了減小CIS尺寸，必須減少無(wú)光面積。但僅實(shí)現模擬/數字電路的基本功能，為附加功能添加電路就變得非常有限。
堆棧式傳感器是對背照式結構的改進(jìn)。背照式中的感光層原來(lái)也是有電路的并且和后面的電路層相連，堆棧式就是將感光層的像素部分進(jìn)一步獨立出來(lái)，將其中的電路層挪至下方替代原有的支持基板，這就進(jìn)一步提高了感光層的利用率，可以容納更多的像素，也可以讓電路層使用更先進(jìn)的工藝?！岸褩Ｊ絺鞲衅骷夹g(shù)”，由兩個(gè)可以獨立工作的可見(jiàn)光和近紅外圖像傳感器組成，其中可見(jiàn)光傳感器將采用背照式，并配有RGB彩色濾鏡。
比如海力士的堆棧傳感器，它能夠基于先進(jìn)的半導體工藝，將一個(gè)簡(jiǎn)單的人工智能硬件引擎嵌入到較低的襯底上的ISP中。與此同時(shí)，基于機器學(xué)習的新技術(shù)如超分辨率、顏色恢復、人臉識別和物體識別也在發(fā)展中。
這些新型芯片將在一些領(lǐng)域發(fā)揮作用，其中一些創(chuàng )新已經(jīng)開(kāi)始進(jìn)入市場(chǎng)。
索尼最近宣布發(fā)布兩款智能視覺(jué)傳感器，這是世界上第一個(gè)為云服務(wù)配備人工智能處理功能的圖像傳感器。這些產(chǎn)品擴大了開(kāi)發(fā)人工智能攝像頭的機會(huì )，使零售和工業(yè)設備行業(yè)的各種應用成為可能，并有助于構建與云連接的最佳系統。
例如，當帶有這些傳感器的攝像機安裝在設施入口處時(shí)，它可以計算進(jìn)入的游客人數。當安裝在零售貨架上時(shí)，它可以檢測庫存短缺。安裝在天花板上，它可以用來(lái)繪制游客的熱圖，以確定人們聚集最多的區域。由于使用基于機器學(xué)習的ISP技術(shù)，它可以從輸入圖像中提取和分類(lèi)各種特征，CIS將成為信息傳感器的關(guān)鍵組成部分，用于收集關(guān)于圖像的各種數據點(diǎn)、位置、距離等生物特征信息。
這對于使用至少10個(gè)攝像頭來(lái)探測周?chē)h(huán)境的自動(dòng)駕駛汽車(chē)來(lái)說(shuō)更加重要。為了提高精度，汽車(chē)攝像頭需要滿(mǎn)足各種各樣的要求，比如對區分距離物體的高分辨率支持，對即使在黑暗環(huán)境中也能識別物體的HDR支持，以及對ISP進(jìn)行預處理以減少處理器的計算量。
在安全領(lǐng)域，我們需要一個(gè)功能來(lái)壓縮和加密CIS內置ISP中的圖像信號，并將其傳輸到外部處理器。如果將未加密的圖像信號按原樣發(fā)送給外界，則增加了安全漏洞和信息泄露的可能性。因此，CIS內部的加密功能至關(guān)重要。
智能手機應用程序在CIS市場(chǎng)份額中處于領(lǐng)先地位，但許多其他應用程序有望成為CIS未來(lái)增長(cháng)的驅動(dòng)力，特別是隨著(zhù)機器視覺(jué)應用程序的增長(cháng)和演變。這些新出現的機會(huì )正在推動(dòng)技術(shù)從移動(dòng)成像進(jìn)入其他增長(cháng)領(lǐng)域，我們可能會(huì )看到從使用視覺(jué)成像到使用視覺(jué)傳感和其他交互應用的轉變。
仿生眼技術(shù)迭代20余年，或成人形機器人標準模塊
李嘉茂團隊關(guān)于仿生眼的研究始于20世紀90年代。他的導師張曉林（實(shí)驗室創(chuàng )始主任）在1999年做出第一代仿生眼，主要實(shí)現了雙眼協(xié)調控制，從當時(shí)拍攝的照片中可以看到，雙眼中間有一根明顯的轉動(dòng)軸。
當時(shí)電腦還很笨重，算力也比較小，一雙仿生眼要靠?jì)膳_電腦控制。一臺電腦做視覺(jué)采集和計算，另外一臺電腦用來(lái)實(shí)現電機控制，兩臺電腦堆起來(lái)的高度接近2米。
隨著(zhù)機械、視覺(jué)傳感器、芯片等技術(shù)進(jìn)步，仿生眼的外形越來(lái)越逼真，“視力”越來(lái)越清晰，功能也越來(lái)越多。第二代具備掃視、跟蹤、穩向等多種眼球運動(dòng)能力；第三代實(shí)現立體視覺(jué)，有一定的計算能力了，但還是在大腦初級視覺(jué)的范疇；第四代實(shí)現語(yǔ)義理解，可以認知場(chǎng)景，能夠進(jìn)行視覺(jué)導航了；第五代更多是結構上的變化，大小實(shí)現了跟人眼一樣的2厘米直徑，在形態(tài)上更加仿真擬人。
李嘉茂介紹，團隊正在推進(jìn)視覺(jué)與聽(tīng)覺(jué)、與四肢協(xié)同方面的探索，包括研發(fā)機器人的腦干芯片?！皺C器人有很多傳感器，傳感器之間的同步對于機器人高精度控制來(lái)說(shuō)非常重要。腦干芯片就是把機器人的多種傳感器融合起來(lái)，就像人的腦干一樣做視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等多種信息的融合，同時(shí)集成處理器、微處理器、神經(jīng)網(wǎng)絡(luò )處理器，為機器人提供腦干以及部分大腦的功能?！彼f(shuō)。
展望仿生眼接下來(lái)的發(fā)展，李嘉茂認為，它很可能成為人形機器人的標準模塊?！艾F在，人形機器人的四肢和軀干基本做到跟人的形態(tài)一致了，但還缺少一雙‘眼睛’。隨著(zhù)視覺(jué)傳感性能的進(jìn)一步優(yōu)化，仿生眼能讓機器人跟人接觸時(shí)產(chǎn)生互動(dòng)，在情感表達上效果更好?！?br/>
記者在交流中發(fā)現，仿生眼的學(xué)科交叉屬性非常強，高度依賴(lài)基礎技術(shù)，機械、生物、計算機都包含其中。機緣巧合的是，目前仍是實(shí)驗室首席科學(xué)家的張曉林在攻讀博士學(xué)位期間學(xué)習的是機械控制，畢業(yè)后進(jìn)入醫科大學(xué)開(kāi)始研究與神經(jīng)相關(guān)的眼球運動(dòng)控制。李嘉茂學(xué)計算機出身，因為對機器人感興趣，在2005年讀研究生時(shí)選擇了機器人方向，當時(shí)機器人和人工智能還比較冷門(mén)。交叉學(xué)科的學(xué)習經(jīng)歷讓他們成為仿生人眼視覺(jué)領(lǐng)域研究的先行者，見(jiàn)證了仿生眼的迭代進(jìn)步。
采訪(fǎng)的最后，李嘉茂告訴記者，他非常期待人形機器人研究的新突破，具體到仿生眼，他關(guān)注四方面技術(shù)能力的提升：
一是更強大的后端知識與算力平臺，仿生眼屬于前端智能，與后端知識與算力平臺結合將互相賦能，形成信息采集與智能運算的強強聯(lián)合；
二是芯片算力的提升，智能算法需要消耗很大的算力，仿生眼算法的提高跟算力的提升不可分割；
三是視覺(jué)傳感器分辨率的提升，視覺(jué)傳感器的分辨率近年來(lái)飛速提升，但依舊不如人眼；
四是人工肌肉，仿生眼現在是利用電機驅動(dòng)，如果人工肌肉等更柔性的材料取得突破，將助力仿生眼的控制更高精度、體積更小型化。
李嘉茂介紹，從20多年前用兩臺笨重的電腦控制仿生眼運動(dòng)，到現在一個(gè)指甲蓋大小的芯片就能實(shí)現大部分功能，團隊的仿生眼相關(guān)技術(shù)已在地鐵弓網(wǎng)檢測、芯片制造自動(dòng)化等領(lǐng)域應用，在仿生人眼視覺(jué)領(lǐng)域實(shí)現了國際一流?！案钊似诖氖谴龠M(jìn)人形機器人迭代，仿生眼未來(lái)很可能成為人形機器人的一個(gè)標準模塊?！?/p>
