位置偏差成因竞技场
U 型到底从哪来——注意力预算三分解（稀释律：单个证据 ∝ 1/L）· Cesàro 矩阵迭代幂浏览器内真算（primacy tail / recency delta / 1/(H−1)! 阶乘死区）· 三派 2026 理论对撞（At Birth / 残差感知 rollout / 语料记忆需求，对「换个位置编码」给出三个不同答案）· 五族缓解手段与不可跨越的理论地板 · 从业者协议与 benchmark 可见性诊断
⚠️
本工具不站队——2026 年三篇论文对「U 型从哪来」给出的答案互相冲突，页面把它们并排摆出来。🧮 Cesàro 迭代幂是浏览器内真算（不是真实 attention rollout，是它的一个可解析的教学替身，UI 已写明作用域）；📖 三派论文的预测与引文均附一手链接；⚠ 曲线形状与增益区间是本站构造。 本工具不调用任何模型。
🧭位置偏差成因竞技场Cesàro 矩阵幂浏览器内真算三派理论对「换个位置编码」给出三个不同答案
At Birth：初始化即存在残差 rollout：有限深度必然语料记忆需求：数据决定取数 2026-09-30
🧮A 派「生而有之」—— Cesàro 迭代幂（浏览器内真算）
🧮 O(N·H) = 512 次浮点加层数 H4 层
拖 H 看中段死区按 1/(H−1)! 收缩。
残差混合 α1.00
α=1 = 关掉残差（纯因果平均）；α<1 = 每层的输出混回输入（残差流），末位会留一个 O(1) 锚点。
前 5%（primacy tail）
65.28%
45–55%（阶乘死区）
0.568%
后 5%（recency delta）
0.00%
归一化熵
0.620
argmax @ 0%
中段质量 vs 1/(H−1)!（真算 vs 闭式参考）
实测中段质量 0.5684% · 1/(H−1)! = 1.67e-1
两者不是同一个数（闭式还带 lnH−1 因子），但随 H 的收缩速度由阶乘主导—— 这就是 A 派说的「O(1/(H−1)!) 阶乘死区」。
残差的后果
末位质量（recency delta）0.00%
α=1：没有恒等项，质量一路被推向开头——这就是「注意力坍缩到首 token」。
作用域声明：这是教学方法，不是真实 attention rollout。真实 rollout 的每层矩阵由 softmax(QKᵀ) 决定、随输入变化；这里把它替换成一个与输入无关的 Cesàro 矩阵 （C[i][j] = 1/(i+1)，j ≤ i），好处是迭代幂有闭式解、可以在浏览器里逐层真算。 A 派论文正是用这个替身导出闭式影响密度的。 🧮 本页真算 ⚠ 替身 ≠ 真实注意力
⚔️同一现象、三种归因、互相冲突的预测
A生而有之（At Birth）
Borun D Chowdhury（单作者） · arXiv:2603.10123 · 2026-03-10
U 型在初始化时就存在，去掉 RoPE 后依然存在。把多层因果注意力建模为 Cesàro 矩阵的迭代幂，可导出连续极限下的精确闭式影响密度：因果掩码造成开头的对数发散（Primacy Tail），残差造成末位一个 O(1) 锚点（Recency Delta），中间是按 1/(H−1)! 收缩的阶乘死区。
换个位置编码能不能消掉 U？→ 不能——它是因果解码器 + 残差连接的固有几何性质，训练前就在那儿。
📖 摘要逐字：「the U-shape is already present at initialization, before any training or positional encoding takes effect」
B残差感知 rollout
Herasimchyk / Labryga / Prusina / Laue（汉堡大学，4 位） · arXiv:2602.16837 · 2026-02-18
用残差感知的累积注意力 rollout 建立结构性理论：有限深度下，因果掩码与残差共同诱导出宽广、常呈 U 型的影响剖面；无限深度下该框架消解了此前「纯注意力」理论与观测之间的矛盾（Wu et al. 2025 的「注意力必然坍缩到首 token」）。四条架构性力量：因果掩码→primacy，残差→recency，相对位置偏置（ALiBi 一类）→进一步偏 recency。
换个位置编码能不能消掉 U？→ 不能——有限深度的因果 Transformer 必然产生它。
📖 摘要逐字：「At finite depth, causal masking and residual connections induce broad, often U-shaped, influence profiles」
C预训练语料的记忆需求🟡 待回源
Salvatore / Wang / Zhang（ICLR 2026） · ICLR 2026 · 🟡 本轮未取到编号
让 GPT-2 与 Llama 变体从零训在两种人类记忆范式上——长时记忆需求（全序列均匀召回）与短时记忆需求（只重最近）——就能复现 U 型。结论：recency 直接对应短时需求；primacy 来自均匀长时需求 + 自回归性质 + attention sink 的形成。
换个位置编码能不能消掉 U？→ 能——是数据决定的，换个语料配方形状就变。
🟡 定性结论来自提案转述，本轮未回源到一手页面，页内只做定性呈现
TTMLS 综述（缓解侧）
TMLS AI Research · 2026-06-22 · 声明不做实验
综合五族缓解手段（位置插值/重标定、推理时注意力校准、单通道缩放、序不变推理、信息密集型训练）后：所有方法都只是压平 U，没有任何一个报告消除了它。另给出稀释律——单个证据分到的注意力质量约按 1/L 衰减。
换个位置编码能不能消掉 U？→ 不能消除，只能压平。
📖 页面原文：「We run no experiments. Every empirical number is cited...」
“the U-shape is already present at initialization, before any training or positional encoding takes effect. It is an inherent geometric property of the causal decoder with residual connections.”
—— arXiv:2603.10123 摘要（2026-03-10，实查）
⚠ 本轮回源更正：B 派论文的正式标题是 “A Structural Theory of Position Bias in Transformers”（提案写成 “A Residual-Aware Theory of...”），作者 4 位、日期 2026-02-18（提案写 2026-02-20）。 已按 arXiv API 实查结果更正。C 派（ICLR 2026）本轮未取到编号，只做定性呈现。
🌾C 派「语料记忆需求」—— 配方滑杆 + 真跑的字符级采样
长时记忆需求占比 λ0.60
1 = 全序列均匀召回（长时需求）；0 = 只在最近窗口内复用（短时需求）。
下面几个统计量是真跑出来的：生成 1500 个 token 的合成序列，测「要解出下一个 token 得往回看多远」。 λ 越高，复用越全局、长程召回越多。 🧮 现算
为什么同时给三个数：间隔分布是重尾的。局部抄写会形成长游程——游程内间隔 = 1， 跨游程可达数百步，于是均值被少数长间隔拉高。实测 λ=0.1 时均值 25、 中位数却只有 1；λ=0.9 时均值 46、中位 30。 均值只差 1.9 倍，长程占比（间隔 ≥ 32 的位置比例）却差 7 倍——后者才是判别量。
λ → 权重的映射是本站构造的 ⚠ 构造，用来把「语料配方」和「位置曲线形状」接起来。 它不是论文给出的函数，只是让这条定性结论可交互。
长程召回占比（间隔 ≥ 32）
37%
判别量 · 真跑
中位回溯距离
11
token 数
平均回溯距离
43.4
重尾，仅供参考
全局复用（长时需求）占比59.3%
局部复用（短时需求）占比40.7%
导出权重（⚠ 构造映射）
wP（长时需求 → primacy）0.32
wR（短时需求 → recency）0.26
wU（相关性检索）0.42
开头
75%
中间
51%
结尾
71%
C 派的结论：recency 直接对应短时需求；primacy 来自均匀长时需求 + 自回归性质 + attention sink 的形成。 拖 λ 从 0 到 1，可以看到曲线从「偏 recency」翻到「偏 primacy」——这就是 C 派说「换个语料配方形状就变」的含义。📖 ICLR 2026，🟡 待回源 · 页内曲线与映射均为 ⚠ 本站构造
🧮 真算：Cesàro 迭代幂行分布、三区质量、语料复用间隔📖 文献值：arXiv:2603.10123 / 2602.16837 / TMLS / Hsieh 2024 / fork 2026⚠ 教学模型：注意力预算三分解、增益区间、配方→形状映射
自洽校验 ✓ 6/6
A 生而有之 · Lost in the Middle at Birth（arXiv:2603.10123, 2026-03-10）B 残差 rollout · A Structural Theory of Position Bias in Transformers（arXiv:2602.16837, 2026-02-18）TMLS 综述 · Position Bias in Long Context（TMLS AI Research, 2026-06-22）校准实测 · Found in the Middle（Hsieh et al., arXiv:2406.16008）2026 复现 · lost-in-the-middle-2026（NQ-open 重跑）