按照常理，这些奖励方式都应该让模型表现变差。但在MATH-500这个广泛使用的数学基准测试中，Qwen模型的表现不仅没有变差，反而有所提升。这就像一个学生被故意教错了答案，考试成绩却莫名其妙地提高了。

更让人困惑的是，同样的实验在Llama模型上产生了完全不同的结果。Llama模型在接受这些异常奖励时，表现如预期般下降了。这说明Llama模型的行为符合我们对强化学习的正常理解，而Qwen模型的行为则存在某种异常。

这个现象在学术界引起了广泛讨论。一些研究者认为这可能代表了强化学习的新突破，暗示着即使在噪声环境下，足够强大的模型也能找到正确的方向。另一些研究者则持怀疑态度，认为这个现象过于反常，可能存在其他原因。

研究团队决定深入调查这个现象。他们首先排除了一些简单的解释。比如，这不是因为Qwen模型的架构更先进，因为类似的现象在其他先进模型上并没有出现。这也不是因为训练数据的质量问题，因为同样的训练过程在其他模型上产生了不同的结果。

通过仔细分析，研究团队意识到问题可能出在评估数据上。如果Qwen模型在预训练阶段就已经"见过"了MATH-500数据集中的题目，那么它在测试时实际上是在进行记忆回忆，而不是真正的数学推理。在这种情况下，即使给出错误的奖励信号，模型也可能通过某种机制激活其记忆中的正确答案。

这个假设解释了为什么只有Qwen模型表现出这种异常行为。Qwen模型在训练时使用了大量的网络爬虫数据，这些数据很可能包含了各种数学竞赛题目和解答，包括MATH-500数据集中的内容。而Llama模型的训练数据相对更加精选，污染程度可能较低。

为了验证这个假设，研究团队设计了一系列精巧的实验。他们的发现不仅解释了这个神秘现象，也揭示了当前AI评估体系中的一个重要问题。

二、侦探式调查：寻找"作弊"的证据

就像侦探调查案件一样，研究团队开始寻找Qwen模型"作弊"的证据。他们设计了一个特别巧妙的测试方法：只给模型展示数学题目的前一部分，看它能否准确地"续写"出剩余部分。

这个测试的逻辑很简单：如果一个学生真的在考试中作弊，那么当你只给他看题目的开头时，他应该能够准确地说出题目的剩余部分，因为他事先已经见过完整的题目。但如果他没有作弊，那么他不可能仅凭开头就知道完整题目的内容。

研究团队选择了几个不同的数学数据集进行测试，包括MATH-500、AMC（美国数学竞赛）、AIME（美国数学邀请赛）等。对于每个题目，他们只展示前40%、60%或80%的内容，然后让模型尝试续写剩余部分。

结果令人震惊。当研究团队给Qwen2.5-Math-7B模型展示MATH-500题目的前60%时，它能够准确重现剩余40%内容的比例高达54.6%。这意味着超过一半的题目，Qwen模型都能够仅凭开头就准确地"猜出"完整内容。更令人吃惊的是，即使只展示前40%的内容，Qwen模型仍然能够准确重现剩余60%内容的比例达到39.2%。

作为对比，Llama3.1-8B模型在相同测试中的表现完全不同。当展示前60%内容时，它只能准确重现剩余部分的3.8%。当展示前40%内容时，这个比例更是降到了2.4%。这种巨大的差异清楚地表明，Qwen模型确实对这些题目有着异常的"熟悉度"。

但这还不是最有说服力的证据。研究团队接下来进行了一个更加严格的测试。他们使用了LiveMathBench这个数据集，这是一个在Qwen2.5模型发布之后才公开的数学测试集。如果Qwen模型的异常表现确实是由于数据污染造成的，那么它在这个全新数据集上的表现应该会回归正常。

果然，当使用LiveMathB