
BBC在2025年11月2日报道,萨里大学(University of Surrey)的研究团队提出了一套将大脑连线原则“搬进”人工神经网络的做法。研究并非仅在训练算法上打磨,而是从最根本的“接线规则”入手:用脑连接的局部簇化、层次模块与稀疏长程连接等特征,去替代传统深度网络中普遍采用的全连接或随机构稀疏化方式。
研究组详细描述了他们如何把神经生物学中常见的连线模体(motifs)和小世界、模块化结构编码为网络的初始连接图。工程上,这意味着在网络建立之初就预设一组既有密集局部连通、又包含少量跨模块长程边的拓扑,而不是等到训练阶段才通过权重学习形成这些结构。
论文与BBC报道都列举了实际测试:团队在若干标准视觉与分类基准上对比了传统架构与其“生物启发接线”架构的表现。结果显示,在相同或更少的参数预算下,新架构在准确率、收敛速度以及对噪声的鲁棒性上均有可观提升。报道指出,这种提升并非微弱的噪音波动,而是在多个任务中持续可复现。
技术细节方面,研究者没有简单复制大脑的每一条神经元连接,而是抽取出大脑连接策略中的泛化要素:层内强耦合、层间选择性长连接、以及模块边界处的桥接节点。他们通过图生成算法把这些要素转为神经网络的拓扑先验,然后在该拓扑上训练权重。
这样的设计带来两个直接好处:一是参数稀疏但结构有序,使得模型在边缘设备或专用加速器上具有更低的内存与计算需求;二是因为拓扑本身承载功能组织,训练时模型更快找到有效的表示,从而缩短训练时间并提高对输入扰动的抵抗力。
BBC报道同时讨论了应用前景:研究者认为,这种从连线层面出发的思路与当前兴起的神经形态硬件(neuromorphic chips)天然契合,未来可用于设计更节能的在地(on‑device)AI;在安全领域,有序的结构也可能减少某些对抗性攻击成功的空间。
报道强调,这项工作并非一劳永逸的方案,而是提出了一种范式转换——将注意力从“更大、更深的网络”和“更复杂的训练方法”部分转向“如何从构架层面借鉴大脑的布线智慧”。研究团队表示,下一步要扩大测试维度、在更多任务与更复杂数据集上验证,并探索与现有模型融合的工程细节。
对AI大预言模型从业者来说,这条路径有明显吸引力:通过更聪明的“接线”来换取计算资源与能耗的领先优势,意味着未来的AI产品可以在更小、更便宜的设备上实现更强的智能,这是推动AI向日常生活更深层次渗透的关键一环。
论文地址:Topographical sparse mapping: A neuro‑inspired sparse training framework for deep learning models
论文摘要:AI模型参数规模的急剧膨胀带来了计算成本激增和效率低下的挑战。动态稀疏训练作为解决过参数化问题的创新方法,已成为实现能量高效人工神经网络(ANN)架构的关键途径。然而,与随机拓扑搜索的广泛关注相比,神经启发的高效稀疏设计仍未得到充分探索。本文提出Topographical Sparse Mapping (TSM)方法,灵感来源于脊椎动物视觉系统和收敛单元。TSM为多层感知机(MLP)引入稀疏输入层,大幅减少参数数量。与依赖复杂计算优化稀疏连接模式的方法不同,我们的生物启发稀疏连接方案无需精细优化即可自然提升性能。值得注意的是,TSM中的连接数量仅由输入特征决定,与接收层的神经元数量无关。TSM的增强版(ETSM)在训练中引入额外修剪过程,以实现预期参数减少。该简化框架超越多项最先进稀疏训练方法,在准确性、泛化能力和训练效率上表现出色。ETSM显著克服了简单性与准确性之间的传统权衡,同时实现两者改进。额外实验进一步证明,拓扑结构化输入映射相比无结构修剪加速收敛并提升最终准确率。ETSM为计算高效ANN设计提供了新视角,凸显拓扑稀疏连接的价值。这些发现强调了利用神经生物学原理有效应对ANN过参数化挑战的潜力。