傳統的光譜儀具有體積龐大、集成度低、邊緣計算智能性差等缺點(diǎn),從而限制了近紅外光譜技術(shù)的應用。與尺寸的縮小相比,人工智能(AI)分析模型在光譜設備中的片上集成對非專(zhuān)業(yè)用戶(hù)來(lái)說(shuō)更為重要。另外,InGaAs光電探測器在近室溫下從可見(jiàn)光到短波紅外波段具備優(yōu)異的探測性能,在近紅外光譜中發(fā)揮著(zhù)重要作用。
近日,同濟大學(xué)精密光學(xué)工程技術(shù)研究所和中國科學(xué)院上海技術(shù)物理研究所的聯(lián)合科研團隊在A(yíng)dvanced Photonics Research期刊上發(fā)表了以“Near-Infrared InGaAs Intelligent Spectral Sensor by 3D Heterogeneous Hybrid Integration”為主題的論文。該論文的共同第一作者為同濟大學(xué)王緒泉和董思禹,通訊作者為上海技物所黃松壘副研究員、同濟大學(xué)董思禹和程鑫彬教授。
該研究論文報道了利用邊緣AI分析模塊與InGaAs光譜傳感器的單片集成,實(shí)現了一種近紅外智能光譜傳感器。研究人員基于先進(jìn)的三維異質(zhì)混合集成技術(shù),開(kāi)發(fā)了一種片上InGaAs智能光譜傳感器,該傳感器由用于波長(cháng)選擇的線(xiàn)性可變?yōu)V光片(LVF)、作為探測器的線(xiàn)性焦平面陣列(FPA)以及用于神經(jīng)網(wǎng)絡(luò )推理的芯片處理器共同組成。這種邊緣AI光譜傳感器打破了傳統器件對外部算法的依賴(lài),為近紅外光譜技術(shù)向小型化、集成化、智能化方向發(fā)展鋪平了道路,也為與消費電子設備和物聯(lián)網(wǎng)(IoT)的結合帶來(lái)了更多機遇。
InGaAs智能光譜傳感器的原理
這項研究提出的InGaAs智能光譜傳感器由三部分組成,即可調諧波長(cháng)的LVF、獲取相應光譜信號的InGaAs FPA以及嵌入式分析模型的AI芯片。圖1a展示了該光譜傳感器的結構和工作原理。其中LVF是采用高能物理氣相沉積工藝沉積的薄膜濾光片,其中心波長(cháng)在900 nm ~ 1700 nm之間隨位置線(xiàn)性變化。
圖1 InGaAs智能光譜傳感器原理圖以及基于A(yíng)I識別模型的片上集成流程圖
由于LVF和光敏元件采用非硅材料制備,因此設計了用于將各種材料、工藝和功能元件垂直堆疊連接起來(lái)的異質(zhì)混合集成的三維結構。這種三維結構將使摩爾定律擴展到更高的密度、更高的功能、更高的性能,以及更多樣化的材料和器件,并且以更低的成本實(shí)現集成。此外,這種結構也為研究人員在讀出集成電路(ROIC)與AI芯片中不同的CMOS制造工藝提供了靈活的選擇。
基于近紅外光譜的AI分析模型的片上集成是智能光譜傳感器發(fā)展的關(guān)鍵環(huán)節,具體流程如圖1b所示。
InGaAs智能光譜傳感器的性能
光譜性能
在實(shí)際應用之前,研究人員首先分析了該光譜傳感器的實(shí)際光譜性能,相關(guān)結果如圖2所示。圖2a和圖2b展示了900 nm ~ 1700 nm范圍中部分像素對單色光的歸一化光譜響應,具有典型的洛倫茲-高斯分布(Lorentz–Gauss distribution)帶通特征,且截止值小于OD2。圖2d展示了所有可用像素的半峰全寬(FWHM)。該光譜傳感器的基本性能可以與商用InGaAs便攜式光譜儀相媲美。
圖2 InGaAs智能光譜傳感器的光譜性能
綠茶摻糖的光譜檢測
隨后,研究人員利用該光譜傳感器和片上識別模型,對不同比例的糖和茶的混合物進(jìn)行了分類(lèi)。圖2f顯示了在訓練集和驗證集中具有不同蔗糖含量的120個(gè)樣本的原始光譜。這些樣本的光譜曲線(xiàn)顯示了綠茶的典型植物特征光譜,這與該研究早期工作以及其他研究中商用儀器所測量的光譜一致。
建模結果與邊緣識別
在這項研究中,研究人員還想要證明部署于邊緣(集成在傳感器中)的深度學(xué)習光譜分析模型可以達到與部署于計算機的傳統算法相同的效果。首先,建立基于卷積神經(jīng)網(wǎng)絡(luò )(CNN)的綠茶摻糖識別模型,并在計算機上進(jìn)行了驗證。隨后,將驗證后的模型進(jìn)一步部署到集成于InGaAs光譜傳感器的芯片處理器上,用于綠茶摻糖的邊緣識別。相關(guān)結果如圖3所示。
圖3 建模和邊緣識別結果
綜上所述,研究人員將具有AI分析模型的ARM Cortex-M7芯片嵌入到基于LVF和線(xiàn)性FPA的光譜傳感器中,開(kāi)發(fā)了一種InGaAs智能光譜傳感器?;诋愘|(zhì)混合集成的三維結構在900 nm ~ 1700 nm范圍內單次快照即可獲得超過(guò)200個(gè)光譜分辨率為中心波長(cháng)的1.25%的光譜通道,并可選擇輸出原始光譜或即時(shí)識別結果。作為邊緣AI應用的證明,該光譜傳感器對綠茶摻糖進(jìn)行了實(shí)驗檢測,實(shí)時(shí)識別準確率大于90%。該智能光譜傳感器打破了對近紅外光譜外部算法的依賴(lài),可以為原位分析和現場(chǎng)測量提供即時(shí)和參考性結果。此外,該光譜傳感器可以通過(guò)集成片上準直光學(xué)器件以及采用陶瓷或塑料封裝進(jìn)一步縮小尺寸。該智能光譜傳感器有望在科研和工業(yè)領(lǐng)域為近紅外光譜帶來(lái)更多的機會(huì ),例如消費電子設備和物聯(lián)網(wǎng)等應用領(lǐng)域。
這項研究獲得了國家自然科學(xué)基金(61925504、61621001、62105243、62192770、62192772、62205248、6201101335、62020106009、62111530053)、上海市科學(xué)技術(shù)委員會(huì )(17JC1400800、20JC1414600、21JC1406100)、上海市浦江人才計劃(20PJ1414200)、上海市“曙光計劃”項目(17SG22)、上海市科技重大專(zhuān)項(2021SHZDZX0100)、中央高?;究蒲袠I(yè)務(wù)費以及中國博士后科學(xué)基金(2020TQ0227、2021M702471)的資助和支持。