2025年8月10日报道，巴塞尔大学与中国科学技术大学的研究团队于2025年6月27日在《物理评论快报》（Physical Review Letters）上发表了一项突破性研究引起了大家的关注。它首次提出了一种新颖的理论框架，用几何与物理学原理解释深度神经网络（DNNs）如何学习特征。这一发现不仅深化了我们对支撑大型语言模型（LLMs）等人工智能技术的核心机制的理解，还为优化AI训练提供了新思路。
灵感来源：从数据分离到物理模型
深度神经网络通过分层处理数据，将输入转化为“特征”，逐层精炼以做出准确预测。特征学习是DNNs在图像识别、语言处理等任务中表现优异的关键，但其内在机制长期以来难以捉摸。研究负责人伊万·多克马尼奇（Ivan Dokmanić）在接受Phys.org采访时透露，灵感源于一场关于“数据分离定律”的研讨会。演讲中提到，在训练良好的神经网络中，数据表示（如猫和狗的特征）随着网络层深入变得更规律、更几何化，类间区分度逐层提高，且每层提升幅度近似相等。
多克马尼奇和共同作者Cheng Shi注意到，这一“数据分离”现象在特定超参数（如学习率和噪声）下成立，但在其他条件下失效。他们认为，理解这一现象的根源能揭示DNNs特征学习的本质。于是，他们转向物理学，借鉴地震学和材料科学中常用的弹簧‑滑块链模型，将DNN建模为一个简单的机械系统，研究线性和非线性力（如弹簧和摩擦）之间的交互。
弹簧‑滑块模型：DNNs的物理类比
研究团队将DNN的特征学习类比为弹簧‑滑块链的运动。每个网络层对应链中的一个滑块，层间的数据简化过程类似弹簧的拉伸，网络中的非线性（如激活函数）则对应滑块与表面的摩擦力。训练过程中的损失函数（即模型对数据的解释需求）驱动数据分离，类似外力拉动滑块链，使滑块逐层分开。多克马尼奇解释：“深层网络比浅层分离更多数据，就像深层滑块比浅层移动更远。非线性越大，深层与浅层的差异越明显。”
当加入训练噪声时，类似“震动”滑块链，滑块会短暂“悬空”，减少摩擦影响，使弹簧更均匀地分配拉力。这与工程中的“声学润滑”或地球物理中的“粘滑现象”类似。在DNN中，噪声使数据分离曲线更平滑，反映了模型在不同超参数下的行为。团队还尝试了其他类比，如可伸缩衣架和手工折叠尺，最终选定弹簧‑滑块模型，因其在地震和材料变形研究中已被验证为有效工具。
理论突破：从现象到泛化
这项研究引入了一种全新的“自顶向下”理论方法，区别于传统研究简化的网络模型（如忽略深度或非线性）。多克马尼奇团队的模型综合考虑了深度、非线性、噪声和学习率等因素，发现数据分离曲线的形状能预测DNN在未见过数据上的表现（泛化能力）。通过调整噪声和非线性，他们能改变曲线形状，从而潜在地加速大型网络的训练。例如，增加噪声可“润滑”训练过程，平衡层间分离，提高效率。
多克马尼奇强调：“大多数人对弹簧和滑块有直觉，但对深度神经网络却没有。我们的理论利用简单机械系统的直觉，解释拥有数十亿参数的复杂网络。这非常强大，因为我们的模型只需几个参数就能揭示真相。”
未来应用：诊断与优化AI
该研究为深度学习提供了一个简单而有效的理论框架，不仅帮助理解DNN的特征学习，还可能成为优化工具。团队通过弹簧‑滑块模型计算了训练中数据分离曲线的动态，发现其形状与模型性能直接相关。未来，这可用于诊断大型网络的“过载”区域（类似结构力学中的应力集中，可能导致过拟合）或“冗余”层（资源浪费），从而优化训练。
多克马尼奇展望了两大研究方向：一是从第一性原理进一步解释弹簧‑滑块现象，填补理论空白；二是将模型应用于大型语言模型（如基于Transformer的网络），开发廉价的泛化评估工具。这可能成为替代当前流行的“缩放定律”的新路径，指导更高效的AI训练。
结语
这项研究将几何与物理学的直觉带入深度学习，揭示了DNN特征学习的内在规律。弹簧‑滑块模型不仅为复杂的AI算法提供了简洁的类比，还为提升训练效率和泛化能力打开了大门。正如折叠尺的每一段逐步展开，DNN的每一层都在解构数据的复杂性，而物理学为这一过程点亮了新的视角。未来，这项理论或将重塑我们对人工智能核心机制的理解，推动AI迈向更可靠、更高效的未来。
（字数：约1080字）