LogoAIRosetta

人类大脑自然语言处理的时间结构对应大语言模型的层级层次

Nature

Summary2025年发表于Nature Communications的研究利用ECoG数据,发现GPT-2 XL与Llama-2等大语言模型的层级序列与人脑语言区的时间动态高度对应。中间层最能预测皮层活动,LLMs在时序建模上优于传统符号方法并公开了对齐数据集。

2025年11月26日发表在《Nature Communications》上的论文《Temporal structure of natural language processing in the human brain corresponds to layered hierarchy of large language models》由以色列希伯来大学、普林斯顿大学、谷歌研究团队等多机构合作完成。该论文探讨了大语言模型(LLMs)作为理解人类大脑语言处理的计算框架的潜力。与传统心理语言学模型依赖符号表示和层次树结构不同,LLMs通过连续数值向量(即嵌入)来表示单词及其上下文。这些嵌入通过模型的多层非线性变换构建而成,能够生成复杂的语言结构。该研究的核心发现是:LLMs的层级层次与人类大脑在自然语言理解中的时间动态高度对应。这为LLMs作为人类语言认知模型提供了新证据。

论文强调LLMs的三个基本原理:基于嵌入的上下文表示、下一个词预测,以及基于错误修正的学习。这些原理已在脑成像和电生理学研究中找到神经对应。例如,上下文嵌入能有效预测大脑活动,预词预测在大脑中表现为自发神经活动,意外词引发更高的神经响应。该研究进一步扩展,考察LLMs的层级序列是否与大脑的时间处理动态一致。通过电皮层电图(ECoG)数据,作者展示了LLMs层级与大脑语言区时间动态的对应关系。

方法论

研究收集了9名癫痫患者的ECoG数据(其中7名有预定义感兴趣区电极),参与者听取一段30分钟的音频播客(“Monkey in the Middle”,NPR 2017)。神经数据预处理为高γ波段信号,以捕捉语言相关活动。作者使用GPT‑2 XL和Llama‑2作为代表性LLMs,将播客文本输入模型,提取每个词在所有层中的上下文嵌入。

焦点脑区包括语言处理流中的四个区域:中上颞回(mSTG,28个电极)、前上颞回(aSTG,13个电极)、下额回(IFG,46个电极)和颞极(TP,6个电极)。这些电极基于先前对静态嵌入(GloVe)的显著编码性能选择。作者训练线性编码模型,使用每个层的嵌入预测神经响应。性能指标为真实神经信号与模型预测信号的相关性。

为区分模型预测准确性,作者将词分为“预测词”(GPT‑2 XL最高概率词,1709个)和“非预测词”(不在前5概率内,1808个)。此外,作者比较了LLMs与经典符号方法的性能,后者包括音素、词素、句法和语义的符号表示。

主要结果

在下额回(IFG,即Broca区),编码结果显示时间序列模式:早期LLM层在词起始附近达到峰值编码性能,后期层则在时间上延迟。这表明LLMs的层级变换对应大脑的时序接收窗口,早期层处理即时信息,后期层整合更长上下文。该模式在预测词中更明显,表明LLMs的准确预测增强了与大脑动态的对应。

扩展到其他语言区,研究验证了语言处理层次的累积信息:从听觉区(mSTG)到句法语义区(IFG),时间接收窗口逐渐延长。这复制了神经科学中信息沿语言通路积累的发现。中间层嵌入最佳预测皮层活动,但ECoG的高时空分辨率揭示了层级与时间动态的精确对齐。

与符号方法比较,LLMs在预测大脑动态上显著优越。符号表示(如音素树或句法树)未能捕捉时间序列,而LLMs的嵌入通过非线性层级更好地模拟神经响应。这支持LLMs作为更优认知模型的观点。

研究还复制了先前发现:LLMs中间层最佳预测大脑活动,但本研究强调层级序列的时序对应。使用Llama‑2泛化结果,确认该对应不限于特定模型。

讨论与意义

该研究的主要贡献包括:首先,提供证据表明LLMs的层级计算序列可建模Broca区语言理解的时间动态,暗示大脑的时间处理类似于LLMs的层级进展。其次,在多个语言区验证模型,复制信息沿层次积累的神经科学结果,支持LLMs建模大脑空间‑时间层次。第三,通过符号方法比较,突显LLMs的优势,并为未来理论测试提供基准数据集。最后,公开对齐的神经和语言数据集,作为自由言语理解神经动态的公共资源。

局限性包括:数据污染可能影响LLMs性能(尽管使用付费材料);基准测试仅评估孤立知识,无法模拟现实不确定性;道德和句法板块仍是AI弱点。该研究开启了LLMs与其他语言理论比较的道路,如传统符号模型或新兴混合方法。

总体而言,该论文桥接AI与神经科学,表明LLMs不仅是工程工具,更是理解大脑语言处理的框架。未来研究可扩展到其他模态(如阅读或产生语言),或测试更多LLMs(如GPT‑4系列),进一步揭示人类认知机制。

▶️ 喜欢这篇内容?创作真的很辛苦!

欢迎关注我们的 YouTube 频道:
AI Rosetta

你的点赞、订阅和分享,是对我们最大的支持!🙏

更多AI新闻请访问: https://www.airosetta.com

CopyrightStatement

Comment

Please login before commenting

NoComments

RelatedNews

LoadingMore

人类大脑自然语言处理的时间结构对应大语言模型的层级层次 - Airosetta News