中國電子元件行業(yè)協(xié)會(huì )
China Electronic Components Association
近日，復旦大學(xué)劉琦教授、向都青年研究員、張續猛青年副研究員發(fā)表了題為“Reward-modulated spike-timing-dependent plasticity in van der Waals ferroelectric memtransistor for robotic recognition and tracking”的工作于Science Bulletin期刊上。
本文介紹了一種通過(guò)基于單個(gè)二維鐵電浮柵異質(zhì)結器件模擬實(shí)現R-STDP突觸可塑性的研究。研究團隊基于石墨烯/CuInP2S6/MoS2鐵電浮柵異質(zhì)結器件模擬實(shí)現了R-STDP突觸可塑性，并在此基礎上構筑SNN網(wǎng)絡(luò )，模擬執行了機器人對于靜態(tài)以及動(dòng)態(tài)目標的捕獲任務(wù)，模擬結果顯示機器人對于動(dòng)態(tài)樣品以及靜態(tài)樣品均能實(shí)現快速識別及捕獲，并且對于動(dòng)態(tài)目標的捕獲成功率可達到85.5%，體現出網(wǎng)絡(luò )優(yōu)異的性能。
脈沖神經(jīng)網(wǎng)絡(luò )(SNN)是眾多神經(jīng)形態(tài)計算范式中的一種，在執行AI任務(wù)過(guò)程中因能夠表現出低延遲、高能效的特征而得到了廣泛關(guān)注。脈沖時(shí)許依賴(lài)可塑性(STDP)作為一種仿生學(xué)習訓練規則能夠使SNN在對靜態(tài)樣本的學(xué)習和識別中表現出優(yōu)異的性能，然而卻無(wú)法滿(mǎn)足網(wǎng)絡(luò )對于動(dòng)態(tài)環(huán)境的適應需求。受生物體中多巴胺對于突觸可塑性調控作用的啟發(fā)，受獎勵信號調控的STDP(R-STDP)被提出用于訓練SNN網(wǎng)絡(luò )權重以滿(mǎn)足對于動(dòng)態(tài)復雜環(huán)境的適應需求。然而，在實(shí)際應用過(guò)程中，往往需要多個(gè)器件才能實(shí)現對R-STDP的模擬，繼而表現出硬件結構復雜、功耗大的問(wèn)題。
本文的核心內容是基于單個(gè)二維鐵電異質(zhì)結器件實(shí)現R-STDP突觸可塑性，并構筑SNN網(wǎng)絡(luò )模擬執行對動(dòng)態(tài)目標的捕獲。通過(guò)獨立施加偏壓以及柵壓誘導CIPS發(fā)生鐵電極化，從而降低界面勢壘高度，有助于載流子注入浮柵層中進(jìn)行存儲，進(jìn)而使器件表現出顯著(zhù)的非易失存儲特性以及長(cháng)時(shí)程突觸可塑性。在此基礎上，通過(guò)以柵壓脈沖作為獎勵信號對由偏壓脈沖主導的STDP進(jìn)行調控，可以實(shí)現STDP與anti-STDP之間的轉變，從而在單個(gè)器件中實(shí)現R-STDP，使得硬件架構相比于之前的工作得到了極大的簡(jiǎn)化。在實(shí)現R-STDP的基礎上，通過(guò)構筑SNN網(wǎng)絡(luò )進(jìn)一步模擬實(shí)現了圖像識別、小樣本學(xué)習和機器人對于靜態(tài)以及動(dòng)態(tài)目標的捕獲任務(wù)。在圖像識別任務(wù)中，網(wǎng)絡(luò )在經(jīng)過(guò)5個(gè)訓練批次以?xún)燃纯色@得95.1%的識別準確率，并且網(wǎng)絡(luò )的參數量?jì)H為8000，遠小于之前報道中所用網(wǎng)絡(luò )的參數規模。在小樣本學(xué)習內容中，使用R-STDP訓練的網(wǎng)絡(luò )體現出更高的學(xué)習效率，其在經(jīng)過(guò)一個(gè)批次的數據訓練后即可獲得高達100%的識別準確率，而使用STDP訓練的網(wǎng)絡(luò )在經(jīng)過(guò)八個(gè)批次的數據訓練后，識別準確率僅為87.4%。在對于靜態(tài)、動(dòng)態(tài)目標的模擬捕獲任務(wù)中，不論是對于靜態(tài)還是動(dòng)態(tài)目標，機器人都能快速對其捕獲。特別是在對于動(dòng)態(tài)目標的捕獲任務(wù)中，網(wǎng)絡(luò )的捕獲成功率可達到85.5%，并且在器件間差異以及周期間差異達到10%時(shí)依舊可保持約80%左右的捕獲成功率，體現出良好的魯棒特性。綜上，本研究提出了基于單個(gè)器件模擬實(shí)現R-STDP的硬件結構，有助于實(shí)現緊湊、高效的交互式 AI 應用。
本工作中采用了三類(lèi)不同形式的任務(wù)驗證基于單個(gè)二維鐵電異質(zhì)結器件實(shí)現R-STDP訓練脈沖神經(jīng)網(wǎng)絡(luò )的可行性。在仿真工作中，首先采用一個(gè)多層全卷積脈沖神經(jīng)網(wǎng)絡(luò )實(shí)現了針對MNIST手寫(xiě)數字數據集的高精度識別。該網(wǎng)絡(luò )共包含3個(gè)卷積層，卷積核通道數（尺寸）分別為30（5×5）；250（3×3）；200（5×5）。根據獎懲信號的不同，輸出層的權重將受到STDP或anti-STDP規則的調控。此外，在ETH-80數據集的小樣本學(xué)習任務(wù)中，本工作采用了一個(gè)單層包含了20個(gè)尺寸為30×30的卷積核的脈沖神經(jīng)網(wǎng)絡(luò )以實(shí)現對數據集的學(xué)習與識別。機器人對靜態(tài)與動(dòng)態(tài)目標的捕獲任務(wù)中采用了一個(gè)雙層全連接結構的脈沖神經(jīng)網(wǎng)絡(luò )，神經(jīng)元層分別包含100與13個(gè)神經(jīng)元。上述任務(wù)中采用的脈沖神經(jīng)元模型均為L(cháng)IF神經(jīng)元，可通過(guò)泄漏-積分-發(fā)放過(guò)程實(shí)現對脈沖信號的時(shí)序處理。
1、優(yōu)異的非易失存儲特性：鐵電浮柵異質(zhì)結在±45 V柵壓范圍下可實(shí)現85 V的存儲窗口，存儲窗口比值高達96%。
2、通過(guò)單個(gè)器件實(shí)現R-STDP：通過(guò)獨立調控偏壓以及柵壓信號均能使器件表現出非易失存儲特性，因此通過(guò)同時(shí)施加柵壓以及偏壓脈沖可實(shí)現對STDP特性的調控，進(jìn)而實(shí)現R-STDP。
3、實(shí)現R-STDP功耗低：由于CuInP2S6鐵電極化場(chǎng)可對界面勢壘高度進(jìn)行調控，因此只需施加±5 V范圍內的電壓脈沖即可實(shí)現R-STDP，對應功耗僅為1.3 nJ。
4、網(wǎng)絡(luò )結構精簡(jiǎn)：基于異質(zhì)結器件實(shí)現的R-STDP構筑的SNN網(wǎng)絡(luò )參數量?jì)H為8000，卻能夠實(shí)現95.1%的圖像識別準確率。
5、網(wǎng)絡(luò )魯棒性突出：在模擬執行動(dòng)態(tài)目標捕獲任務(wù)中，當器件間差異以及周期間差異達到10%時(shí)，網(wǎng)絡(luò )依舊可保持約80%左右的捕獲成功率。
研究團隊基于單個(gè)二維鐵電異質(zhì)結器件實(shí)現了R-STDP突觸可塑性，并在此基礎上構筑了SNN網(wǎng)絡(luò )，模擬執行了圖像識別、小樣本學(xué)習和靜態(tài)以及動(dòng)態(tài)目標的捕獲任務(wù)。該異質(zhì)結器件表現出結構簡(jiǎn)單、功耗低的特性，能夠顯著(zhù)簡(jiǎn)化模擬實(shí)現R-STDP所需的硬件架構。并且，基于R-STDP構筑的SNN網(wǎng)絡(luò )表現出學(xué)習效率高、魯棒性突出的優(yōu)勢。綜上，本研究提出了基于單個(gè)器件模擬實(shí)現R-STDP的硬件結構，有助于實(shí)現緊湊、高效的交互式 AI 應用。
