LogoAIRosetta

研究团队称发现能破解AI防护的“咒语式”提示,但把真正内容封存不公开

Futurism
00:0000:00

Summary2025年12月8日,一组AI安全研究者报告称,他们在对大型语言模型进行对抗测试时,找到了极少量词元就能稳定诱发模型执行被禁止指令的‘咒语式’提示。出于滥用风险,团队在论文中只发布了高层描述并将具体提示保密,引发学术透明与公共安全的争论。

2025年12月8日,一支致力于模型安全的研究团队向公众披露:在对多款大规模语言模型进行系统化红队测试时,他们发现了若干“incantations”(研究者称之为“咒语式”提示)的文本模式。每组提示仅由很少的词元组成,但在不同模型之间具有惊人的迁移性⁠—⁠⁠—⁠能稳定绕过内容过滤、让模型输出原本被禁止或限制的指令性内容。

研究报告细节显示,团队将数百组候选提示投放到闭源与开源模型上反复验证,观察到这些提示对拼写变体、插入噪声乃至上下文扰动都有一定鲁棒性:即便把提示稍作变形,攻击效果仍然存在。研究者因此判断,这类提示并非针对单一实现的“漏洞利用”,而更像是利用了当前大型语言模型在训练和对齐过程中的一致性弱点。

出于对社会滥用风险的考虑,研究团队并未在论文中公布这些提示的原文。报告中写明:核心诱发序列被加密保存在受控环境,只向经过背景审查并签署保密协议的安全研究者有限披露。公开材料仅包含攻击方法学、统计检验数据和一些高层次的缓解建议,比如提高训练数据多样性、改进对齐训练与安全评估流程。

研究者列举的潜在滥用场景包括:通过提示绕开内容过滤生成极端暴力或仇恨言论、诱导模型生成有害化学合成步骤或病原体改造思路、生成自动化的钓鱼与社工剧本、以及生成难以被现有检测器识别的恶意代码片段。

团队提出的防护路线有三类:一是改进模型端检验,强化对上下文一致性与意图识别的判别能力;二是政策层面实行分级揭露(tiered disclosure),对高风险信息实施受控访问;三是建立行业范围的“安全披露数据库”,允许认证的研究者在受监督前提下复现与验证防护措施。

该举措迅速在学界与业界引发热议。一部分研究者认为,公开全部提示会直接促成滥用者复制攻击路径,支持保密策略;另一部分批评者则担心过度保密会阻碍外界验证结论和开发长期可行的防护手段,呼吁建立标准化的第三方审查机制。

对年轻的AI从业者和爱好者而言,报告传递出两个明确信号:一方面,对抗性提示(adversarial prompts)的研究已经进入“实用化”阶段,简单的文本组合就可能产生深刻后果;另一方面,技术透明与安全管理之间的博弈将决定未来数年AI研发与部署的伦理边界。

研究团队在结论部分强调,短期内最佳路径并非彻底封闭研究,而是推动跨机构合作、建立可信的审查和访问通道,让具备相应资质的研究者在监督下开展复现与缓解工作。文末还呼吁监管者、平台与研究社区尽快对揭露与分享机制达成共识,以避免“实验室内的知识”在未准备好的环境中被滥用。

这份报告把一个看似技术性的发现推到了公共讨论的前沿:当简单的提示语就能“驯服”复杂模型时,AI安全不再只是工程问题,而成为制度与社会治理的问题。

CopyrightStatement

Comment

Please login before commenting

NoComments

RelatedNews

LoadingMore

研究团队称发现能破解AI防护的“咒语式”提示,但把真正内容封存不公开 - Airosetta News