稳定计数容量实验台

先让你自己崩一次,再看 126 个模型崩在哪——Stable Counting Capacity 的自适应阶梯、nMAE 判据与二分细化,全部在浏览器里真跑。

稳定计数容量实验台

先让你自己崩一次,再看 126 个模型崩在哪——arXiv:2605.02028 的测定流程,浏览器里真跑

屏幕会闪现一串重复符号,你要报出个数。每个长度档从 0.8L–1.2L 均匀采样若干题, 判据是 nMAE = (1/K)·Σ|x̂−x|/L < 0.05。 通过就把 L 翻倍,失败就在 [上次通过, 本次失败] 上二分细化——这就是论文的 SCC 测定流程,你就是被测对象。

每档题数 K(论文用 16,这里可调小以便做完)8
闪现时长1.5s
📖 文献值
  • · 126 个模型变体
  • · 实测容量区间 50–2000
  • · 判据 nMAE < 0.05
  • · 崩溃吸引子 500 / 1000 / 2000(500 最频繁)
  • · 经验效率前沿 ≈ 2 tokens / 每个真实计数
  • · 加大模型规模、推理时计算、外部工具都不救
🧮 浏览器内真算
  • · 你自己的 SCC 测定与 nMAE(Tab ①,浏览器内真算)
  • · 自适应阶梯 + 二分细化定界(Tab ②)
  • · N ⇄ SCC 曲线、best-of-k 对照(Tab ②)
  • · 崩溃指纹直方图与离散度指标(Tab ③)
⚠️ 教学模型的边界
  • · FiniteCounter 的 slip 概率、吸引子权重是示意参数
  • · 「状态耗尽即猜测」是对论文机制探针的一个可实现类比,不是论文的原始内部结构
  • · Tab ④ 的两条曲线形状是示意,论文只给了定性结论
论文摘要(节选,原文):“We query 126 leading model variants with the task of counting a long string of repeated characters, and we find they all cannot accurately count above a model-dependent, syntax-sensitive counting capacity threshold. Failures are abrupt and persist even with increasing model size, inference time computation, and external tool. Mechanistic probing indicates that models use a finite number of internal states to mimic counting as a rule and fail once these states are exhausted.”
⚠️ 本工具不调用任何模型,全部计算在浏览器内完成;Tab ① 的被试是你自己。