为什么重要
尽管 LLM 在标准数学基准中表现优异，但这种能力可能是对标准文本格式的过拟合。Robust Reasoning Benchmark 通过系统性的格式扰动，揭示了模型推理能力的真实边界——特别是开源推理模型在扰动下的灾难性崩溃，暴露了”高分不等于真正推理能力”的根本问题。
核心设计
基准提出包含 14 种扰动技术的评估流水线，应用于 AIME 2024 数据集，评估 8 个前沿模型。扰动涵盖格式变换、上下文干扰等多个维度。此外还测试了在单一上下文窗口中连续求解多个数学问题时的性能衰减（工作记忆污染）。
关键发现
闭源前沿模型展现出一定抗扰动韧性，但开源推理模型（7B-120B 参数）遭遇灾难性崩溃，平均准确率下降 55%，部分扰动下甚至下降 100%。论文指出中间推理步骤会永久性污染标准密集注意力机制，未来架构需要在思维链中集成显式的上下文重置机制。