
2025年11月,Neuroscience News 报道了一项将视觉思维转写为文本的研究成果——研究团队提出的“mind captioning”方法可以把一个人正在观看或在脑中回忆的画面,生成准确的文字描述,而不需要依赖传统意义上的语言区域激活。
研究流程并不花哨:受试者在 fMRI 扫描仪中观看大量图像或回忆先前见过的画面,研究者记录下视觉皮层及相关感知区域的血氧信号。随后,他们并非直接试图从语言区重建句子,而是先把这些脑活动模式映射到视觉—语言模型(即预训练的图像—文本嵌入空间)所使用的表征上。换句话说,团队利用深度视觉模型捕捉图像的语义嵌入,再训练一个“桥接器”将大脑的视觉响应投射到这些嵌入向量,从而让下游的文本生成器基于该嵌入生成自然语言描述。
这一方法的关键亮点在于:生成的文本能准确反映画面中的主体、动作与场景关系,而非仅仅列举几个关键词。实验显示,系统不仅能为正在观看的图像生成描述,也能对受试者回忆的画面进行文字化——这意味着该方法读取到的是视觉表征层面的信息,而不是语言表达过程中的字词编码。
研究者在文章中详细记录了训练与验证流程:他们使用多组视觉素材并配对文本描述来训练视觉—语言模型,然后将受试者在看图和回忆过程中产生的 fMRI 数据输入到投影网络。评估环节通过人类注释员与自动化相似度指标来判断生成描述与真实内容的一致性,结果显示在受控实验条件下系统能生成高可读性、语义相关性强的句子。
但团队也强调了若干现实限制:当前依赖的是 fMRI,空间分辨率高但时间分辨率和可移动性受限,远未达到可穿戴、实时解码的程度;个体之间的脑区表征差异要求大量个体化标定训练,跨人通用性仍是挑战;此外,模型在复杂抽象场景、情绪或隐喻性记忆上的表现仍有限。
应用前景诱人也令人警醒。短期内,mind captioning 可用于神经科学基础研究——解剖视觉表征如何转化为语义;长期则可能帮助重症或失语患者以新的方式表达视觉体验。然而作者同时呼吁行业和社会及早讨论伦理边界:脑数据隐私、非自愿读取的风险、以及对“思想外化”误读带来的法律与心理影响,都需要制度性回应。
这项成果把视觉认知与现代视觉—语言人工智能模型的结合提到了一个新高度。研究团队表示,下一步将探索提升时间分辨率、减少对大型扫描设备依赖,并改善跨个体的迁移能力。对年轻受众而言,这项工作像极了科幻中的“读心笔记”——但研究者反复提醒,这离大众可用还有距离,更多的工作要在可重复性、安全与伦理上展开。