
BBC喺2025年11月2日報道,薩里大學(University of Surrey)嘅研究團隊提出一套將大腦佈線原則「搬入」人工神經網絡嘅做法。研究唔係淨係喺訓練算法度打磨,而係由最根本嘅「接線規則」入手:用大腦連接嘅局部聚簇、層級模組同稀疏長程連結等特徵,去替代傳統深度網絡中普遍採用嘅全連接或隨機稀疏化方式。
研究組詳細描述佢哋點樣把神經生物學中常見嘅連線模體(motifs)同小世界、模組化結構編碼做網絡嘅初始連接圖。工程上,呢個意味住喺網絡建立之初就預設一組一方面有密集局部連通、另一方面包含少量跨模組長程邊嘅拓撲,而唔係等到訓練階段先透過權重學習去形成呢啲結構。
論文同BBC報道都舉咗實際測試:團隊喺若干標準視覺同分類基準上,比較咗傳統架構同佢哋嘅「生物啟發接線」架構嘅表現。結果顯示,喺相同或更少嘅參數預算下,新架構喺準確率、收斂速度同對噪聲嘅魯棒性方面都有可觀提升。報道指出,呢啲提升唔係微弱嘅波動,而係喺多個任務中持續可重現。
技術細節方面,研究者冇簡單複製大腦每一條神經元連線,而係抽取出大腦連接策略入面可以通用嘅要素:層內強耦合、層間選擇性長連接,以及模組邊界處嘅橋接節點。佢哋透過圖生成算法把呢啲要素轉成神經網絡嘅拓撲先驗,然後喺該拓撲上訓練權重。
呢種設計帶嚟兩個直接好處:一係參數稀疏但結構有序,令模型喺邊緣裝置或專用加速器上有更低嘅記憶體同運算需求;二係因為拓撲本身已承載功能組織,訓練時模型更快搵到有效嘅表示,從而縮短訓練時間並提高對輸入擾動嘅抗性。
BBC報道同時討論咗應用前景:研究者認為,呢種從連線層面出發嘅思路同目前興起嘅神經形態硬件(neuromorphic chips)天然契合,未來可用嚟設計更節能嘅在地(on‑device)AI;喺安全領域,有序嘅結構亦可能減少某啲對抗性攻擊成功嘅空間。
報道強調,呢項工作唔係一勞永逸嘅方案,而係提出一種範式轉換——將注意力由「更大、更深嘅網絡」同「更複雜嘅訓練方法」部分轉向「點樣喺構架層面借鑒大腦嘅佈線智慧」。研究團隊表示,下一步會擴大測試維度、喺更多任務同更複雜數據集上驗證,並探索與現有模型融合嘅工程細節。
對AI大型預訓練模型從業者嚟講,呢條路徑有明顯吸引力:透過更聰明嘅「接線」換取計算資源同能耗嘅優勢,意味住未來嘅AI產品可以喺更細、更平嘅裝置上實現更強嘅智能,係推動AI向日常生活更深層次滲透嘅關鍵一環。
論文連結:Topographical sparse mapping: A neuro‑inspired sparse training framework for deep learning models
論文摘要:AI模型參數規模急劇膨脹帶嚟計算成本大增同效率低下嘅挑戰。動態稀疏訓練作為解決過參數化問題嘅創新方法,已成為實現能量高效人工神經網絡(ANN)架構嘅關鍵途徑。然而,與隨機拓撲搜尋廣泛受到關注相比,受神經生物學啟發嘅高效稀疏設計仍未獲得充分探索。本文提出Topographical Sparse Mapping(TSM)方法,靈感來源於脊椎動物視覺系統同收斂單元。TSM為多層感知機(MLP)引入稀疏輸入層,大幅減少參數數量。與依賴複雜計算去優化稀疏連接模式嘅方法不同,我哋嘅生物啟發稀疏連接方案無需精細優化即可自然提升性能。值得注意嘅係,TSM入面嘅連接數量僅由輸入特徵決定,與接收層神經元數量無關。TSM嘅增強版(ETSM)喺訓練中引入額外剪枝過程,以實現預期參數減少。該簡化框架超越多項最先進稀疏訓練方法,喺準確性、泛化能力同訓練效率上表現出色。ETSM顯著克服咗簡單性與準確性之間嘅傳統權衡,同時實現兩者改善。額外實驗進一步證明,相比無結構剪枝,拓撲結構化嘅輸入映射可以加速收斂並提升最終準確率。ETSM為計算高效ANN設計提供新視角,凸顯拓撲稀疏連接嘅價值。呢啲發現強調咗利用神經生物學原理有效應對ANN過參數化挑戰嘅潛力。