近日，北京大學(xué)心理與認(rèn)知科學(xué)學(xué)院博雅特聘教授、麥戈文腦科學(xué)所研究員、教育部長(zhǎng)江特聘教授吳思做客腦客中國(guó)科研直播間，作為第221位講者，以“連續(xù)吸引子神經(jīng)網(wǎng)絡(luò)：模型、理論及應(yīng)用”為題，系統(tǒng)闡述了該模型的理論基礎(chǔ)、自適應(yīng)機(jī)制及其在認(rèn)知功能建模與類腦智能中的應(yīng)用。

從吸引子網(wǎng)絡(luò)到連續(xù)吸引子網(wǎng)絡(luò)

吳思教授指出，大腦計(jì)算的基本特征是利用大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)進(jìn)行信息加工——大腦內(nèi)神經(jīng)元數(shù)目達(dá)10的11次方，每個(gè)神經(jīng)元擁有1000至10000個(gè)連接。連接主義帶動(dòng)了深度學(xué)習(xí)與大語(yǔ)言模型的發(fā)展，但當(dāng)前人工神經(jīng)網(wǎng)絡(luò)忽略了神經(jīng)元狀態(tài)隨時(shí)間變化的動(dòng)力學(xué)特征，不足以解釋大腦功能。

由此引入吸引子（Attractor）概念：大腦用網(wǎng)絡(luò)狀態(tài)表征信息，要求表征可靠且可重復(fù)，因此網(wǎng)絡(luò)需從不同初始狀態(tài)演化到同一穩(wěn)定狀態(tài)，即吸引子。經(jīng)典模型通過能量函數(shù)局部極小值解釋聯(lián)想記憶，但其吸引子是孤立的，無法反映大腦對(duì)信息的結(jié)構(gòu)化表征。

連續(xù)吸引子神經(jīng)網(wǎng)絡(luò)（Continuous Attractor Neural Network, CANN）正是對(duì)經(jīng)典模型的推廣。其穩(wěn)定狀態(tài)并非孤立點(diǎn)，而是低維流形（如一維“峽谷”），系統(tǒng)可在子空間內(nèi)穩(wěn)定移動(dòng)，用于表征頭部朝向等連續(xù)變量。吳思教授團(tuán)隊(duì)提出理論可解的CANN模型，基于平移不變性假設(shè)推導(dǎo)出高斯形狀的局部活動(dòng)包（Bump）作為穩(wěn)定狀態(tài)。

生物學(xué)實(shí)證方面，2017年研究人員在果蠅橢圓體頭朝向神經(jīng)元中發(fā)現(xiàn)環(huán)狀結(jié)構(gòu)，局部活動(dòng)包隨頭部擺動(dòng)在環(huán)上轉(zhuǎn)動(dòng)，首次為CANN提供直接實(shí)驗(yàn)證據(jù)。Moser等人利用CANN成功解釋海馬位置細(xì)胞和內(nèi)嗅皮層網(wǎng)格細(xì)胞的放電模式。目前，CANN在大腦中的廣泛存在已成為領(lǐng)域共識(shí)。

Adaptive CANN

經(jīng)典CANN強(qiáng)調(diào)穩(wěn)定性，但大腦同時(shí)需要狀態(tài)快速切換與信息快速搜索，即靈活性（Mobility）。為此，吳思教授團(tuán)隊(duì)引入自適應(yīng)（Adaptation）機(jī)制：在動(dòng)力學(xué)方程中加入慢速負(fù)反饋項(xiàng)，模擬神經(jīng)元發(fā)放頻率適應(yīng)現(xiàn)象。這一機(jī)制使網(wǎng)絡(luò)產(chǎn)生內(nèi)在移動(dòng)性，即在無外界輸入時(shí)自發(fā)產(chǎn)生行波解（Travelling Wave）。

Computing with travelling wave

當(dāng)適應(yīng)性強(qiáng)度處于臨界狀態(tài)時(shí)，在噪聲波動(dòng)下網(wǎng)絡(luò)在局部布朗運(yùn)動(dòng)與長(zhǎng)距離跳躍間切換，形成Lévy flight——數(shù)學(xué)上已證明這是開放空間中最優(yōu)的信息搜索策略。該模型解釋了海馬清醒狀態(tài)下的回放（Replay）現(xiàn)象：實(shí)驗(yàn)顯示老鼠靜息時(shí)海馬內(nèi)部空間位置表征的游走軌跡呈Lévy flight分布。

Computing with Smooth Tracking

當(dāng)內(nèi)在行波速度大于外界驅(qū)動(dòng)速度時(shí)，內(nèi)部表征領(lǐng)先于真實(shí)位置約15至20毫秒，從而補(bǔ)償神經(jīng)信號(hào)傳遞延遲。實(shí)驗(yàn)中老鼠在黑暗轉(zhuǎn)盤上轉(zhuǎn)動(dòng)時(shí)，解碼出的大腦內(nèi)部頭朝向始終領(lǐng)先于真實(shí)頭朝向，與模型預(yù)測(cè)吻合。

Computing with Oscillatory Tracking

在特定參數(shù)下，內(nèi)部表征圍繞真實(shí)位置前后震蕩，可解釋海馬Theta節(jié)律下的相位進(jìn)動(dòng)（Phase Precession）現(xiàn)象，并發(fā)現(xiàn)不僅有Pre-cession還有Pro-cession，隨后被研究證實(shí)。吳思教授指出，相位進(jìn)動(dòng)可能通過將時(shí)間序列壓縮到Theta節(jié)律窗口內(nèi)，參與情景記憶構(gòu)建。

Emergent CANN

在訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)完成路徑積分或工作記憶任務(wù)時(shí)，即便初始權(quán)重完全隨機(jī)，網(wǎng)絡(luò)也會(huì)自動(dòng)學(xué)習(xí)出具有高斯連接模式的連續(xù)吸引子結(jié)構(gòu)。這表明連續(xù)結(jié)構(gòu)并非生物智能專屬，人工智能在優(yōu)化任務(wù)中同樣會(huì)自發(fā)涌現(xiàn)該結(jié)構(gòu)。

“Hidden” CANN

大腦中存在興奮-抑制平衡（E-I Balance）網(wǎng)絡(luò)與CANN的共存機(jī)制：前者連接強(qiáng)而隨機(jī)，后者連接弱而高度結(jié)構(gòu)化，弱結(jié)構(gòu)化連接淹沒在強(qiáng)隨機(jī)連接中，AI模型中同樣如此。吳思教授推測(cè)，大腦以E-I平衡結(jié)構(gòu)為“基座”，包括CANN在內(nèi)的結(jié)構(gòu)化連接在經(jīng)驗(yàn)與任務(wù)中快速習(xí)得，二者結(jié)合兼顧高效信息加工與特定任務(wù)表征。

Brain-inspired computing

類腦應(yīng)用方面，團(tuán)隊(duì)利用二維CANN構(gòu)建類腦算法，與清華大學(xué)合作實(shí)現(xiàn)無人自行車對(duì)行人的跟蹤——在操場(chǎng)樹木無明顯差異、圖像劇烈晃動(dòng)條件下，網(wǎng)絡(luò)一旦鎖定目標(biāo)即可干凈濾除噪聲。基于海馬與內(nèi)嗅皮層耦合的CANN模型，團(tuán)隊(duì)還實(shí)現(xiàn)了機(jī)器人同時(shí)定位與空間建圖（Neural SLAM）。將CANN思想引入AI世界模型，在隱空間任務(wù)上達(dá)到當(dāng)前最優(yōu)性能。

吳思教授總結(jié)，連續(xù)吸引子神經(jīng)網(wǎng)絡(luò)是神經(jīng)系統(tǒng)信息表征的標(biāo)準(zhǔn)化模型；加入自適應(yīng)機(jī)制后系統(tǒng)獲得更豐富的計(jì)算性質(zhì)；連續(xù)結(jié)構(gòu)可在AI模型中自動(dòng)涌現(xiàn)并具有強(qiáng)大應(yīng)用潛力。他展望，未來基于吸引子網(wǎng)絡(luò)的計(jì)算建模有望將心理學(xué)心智模型與神經(jīng)活動(dòng)聯(lián)系起來，解釋心理與認(rèn)知活動(dòng)規(guī)律，同時(shí)推動(dòng)AI世界模型向類腦方向發(fā)展，為具身智能提供新的理論基礎(chǔ)。

以上為本期直播部分內(nèi)容，觀看本期及往期完整視頻內(nèi)容可掃描下方二維碼觀看。

掃描二維碼

觀看完整視頻