DeltaLogic 是 ICLR 2026 Workshop 发表的推理基准转换协议,专门评估 LLM 在证据微小变化后修正信念的能力。传统推理基准评估从固定前提推导答案,但忽略了模型在证据变化时的信念修订能力。DeltaLogic 将自然语言推理示例转换为修订片段:先在前提 P 下询问初始结论,再应用最小编辑 δ(P),最后判断原结论是否应保持或修订。
从 FOLIO 和 ProofWriter 数据集实例化。关键发现:初始推理能力强不代表修订能力强——Qwen3-1.7B 初始准确率 66.7% 但修订准确率仅 46.7%,在应改变结论的情节中惯性高达 60%(即错误保持原结论)。Phi-4-mini-instruct 表现最好(修订 85%)但仍有不稳定性。这揭示了一种被忽视但实际重要的推理能力缺陷。