GSM-Plus

为什么重要

GSM8K 已接近饱和，但 GSM-Plus 通过 8 种系统化扰动（数值替换、问题改写、增加干扰信息等）揭示了模型数学推理的脆弱性。高分不等于真正理解。

构建方式

1. 对 GSM8K 的 1,319 道题进行 8 种变换
2. 数值扰动、问题改写、逆向提问、增加干扰条件等
3. 测试一致性（同题不同形式应该得到一致结果）

任务示例

原始：“A store sells 5 apples at $2 each. How much total?” 扰动：“A store sells 5 apples at $2 each and 3 oranges at$1 each. How much did the apples cost in total?”（增加干扰信息）

关键发现

• 在简单数值替换下性能下降 10-20%
• 增加干扰信息时下降更多
• 揭示了模型可能在做模式匹配而非推理

关联基准

• GSM8K：原始基准
• MATH：竞赛级数学
• MMLU-Redux：MMLU 纠错版

不足与展望

• 基于 GSM8K 的扰动，题目仍偏基础
• 8 种扰动不完全穷尽
• 但鲁棒性评测理念重要