大模型前沿动态 · Vol.105

大模型前沿动态 · 2026年09月12日：OpenAI 存储平台扛住10亿用户、网商银行 Agent 进核心风控、位置编码反成泛化负担

Habitat 每秒处理 7000 万次请求支撑 10 亿周活用户并从 Python 迁往 Rust；网商银行百灵 2.0 覆盖 4200 万小微商家，复杂需求从 3 天压到 10 分钟；距离泛化实验显示 NoPE 反超 RoPE；量化进展分走算法与工程两条路。

大模型 OpenAI 存储基础设施 Habitat 金融Agent 网商银行 位置编码 距离泛化 模型量化 GGUF 推理优化 Agent落地 arXiv

模型能力的竞赛之外，还有一批瓶颈正在换地方：OpenAI 的存储层被 10 亿用户顶到 7000 万 QPS，网商银行把 Agent 塞进了风控与审批的核心环节，位置编码在标准规模下从刚需变成负担，低比特量化的收益则从格式转移到预算分配。下面四条给出了各自的证据。

一、OpenAI 拆开 Habitat：10 亿用户背后是每秒 7000 万次存储请求

事件概述：9 月 11 日，OpenAI 工程博客发布由 Jon Lee、Chaomin Yu、Ben Ries 三人署名的文章，讲述在线存储平台 Habitat 如何被改造到今天的规模。数字摆在最前面：每秒处理超过 7000 万次请求，服务每周超过 10 亿人，覆盖近 40 个地理区域，数据量超过 500 PB。两年前，Habitat 还只是一个连着单一数据库的 Python 客户端库。

技术解析：转折发生在 2025 年中，客户端库的形态先撑不住了。协议一旦要改，就得让几十个服务各自升级客户端。作者举的例子是：为了把最关键的数据集迁移到区域分布的 Azure Cosmos DB 账户、压缩单区域故障的影响范围，需要在客户端里塞进额外路由逻辑，用 feature flag 兜住，再逐个团队推。光是推完就花了几天，随后想加影子验证分片逻辑是否正确，又几天；发现某个地方写错了，再几天。等到终于要开开关时，某个团队因为无关原因回滚到了一个有 bug 的旧版本客户端，正好触发了本想避免的那次故障。

于是 Habitat 被拉成独立服务，换来部署、可观测性、平台增强的单一控制点，以及一个能集中做访问控制、审计、限制底层存储访问的收口。

Python 在这个量级上暴露出两个具体问题。一是 asyncio 调度延迟主导了尾延迟：追踪 p99 以上的请求会发现，下游存储响应得很快，请求却卡在等待协程被重新排程去解析响应。asyncio 解决 I/O 并发，绕不开 GIL，而 Habitat 还扛着路由、压缩、加密、校验和、下游健康检查、请求影子、对冲这些 CPU 活儿。二是进程数量多一个数量级之后，连接数极易打爆下游——一次日常发布如果不限速，连接轮换就能引起明显 CPU 抖动；一次连接泄漏可以把 NAT 网关打满。Envoy 被用来把 Python 的 HTTP/1 连接升级成 HTTP/2 做多路复用、做连接池并延长连接寿命，限流与熔断也收在它这一层。文章末尾提到服务正在迁往 Rust，存储层与 Cosmos DB 的优化留到第二篇。

行业影响：这条工程线的价值在于把「10 亿用户」拆成了可核对的工程量。OpenAI 说自己连续三年年增长超过 10 倍，而常规做法是照着 10 倍设计、指望撑几年再准备下一个 10 倍——增速本身让这套节奏失效，于是每一步都变成先榨干现有栈、再换基础投资的排序问题。另一个值得记的细节是，文章把 Habitat 描述成抵御「外部、内部和 agent 行为体」未授权访问的关卡，把 agent 与内部人员并列成需要管控的访问主体，这是 AI 产品才有的安全模型。Agent 类产品带来的读写放大，正在把消费级 AI 的瓶颈从 GPU 推向 OLTP。

相关链接：

二、网商银行百灵 2.0 上岗：4200 万小微商家，复杂需求从 3 天压到 10 分钟

事件概述：9 月 12 日量子位报道，网商银行在 2026 外滩大会披露了 AI 银行的落地进展。前台是对 4200 万小微商家开放的「百灵 2.0」，官方称其为全球首个小微普惠金融 Agent；后台是八大 AI 工作台，本次公开了四个——千里眼（风控）、定海针（人审）、宝莲灯（营销）、筋斗云（产研）。报道里的典型案例是一位餐饮老板，在聊天框说了一句「想把额度提一提」，10 分钟后拿到 40 万、可按开店进度分笔支用的融资方案；额度从 15 万提到 40 万。

技术解析：四个工作台对应四种不同的 AI 介入方式。千里眼把风控的分析单位从「客群」细化到「客户」。苏州一位连锁摄影商家带着「评级较差、负债较高」两个风险标签，按传统规则应该直接拦截；系统沿着决策链回溯，看到这个商家两年内把同一门生意开到 6 座城市、9 家门店，月营收稳定在 70 多万元，负债高是扩张的结果，最终给出的不是拒绝而是重新测算过定价与期限的 30 万额度。

定海针做的是「AI 先整理、专家再判断」的双向回路。一位经营存储设备线上销售的吴女士申请提额，系统在几秒内把经营、融资、履约和保证人信息压成一页简报，给出「不予提额」的初步建议，理由是保证人存在逾期、同业支持较弱、近期多次申贷。审批专家逐项追问后推翻了三条：保证人正按重组计划正常还款；电商本就轻资产，同业支持弱不等于生意差；近期多次申贷是因为存储设备涨价需要提前采购。定海针依据新事实重新推理，最终批出 180 万。专家的标注会回流知识库。

宝莲灯解决的是响应速度。今年 7 月台风过境广西，南宁武鸣的沃柑种植户在百灵里说了一句「我受灾了」，系统交叉验证对话、卫星遥感、经营流水与区域事件后判断受灾的不止他一人，上游农资经销商、下游冷链物流商同被波及，1 小时内数万名产业链客户收到了延期还款方案。

筋斗云打通产品到研发的上下文。需求阶段不再靠文档层层传递，直接生成可交互的高保真原型；研发阶段转成包含数据、模块、接口、测试范围的系统分析，确认后开子代理并行推进并同步安排自动化评测。「农小宝」的天气预警功能由此在 2 天内做出可验证版本，过去至少一个月。方法层面被概括为 Agent First：Harness 工程负责分层治理与白盒化，保证出错能中止、接管、追溯；评测走「定义问题 → 执行 → 评测 → 纠正回流」，把质量从 90% 打磨到 99.9%；知识库把散落在人脑、邮件、文档里的规则和客户数据统一抽取编译。

行业影响：这组案例的意义在于 Agent 进了银行的核心生产环节，而不是套在客服外壳上。真正的门槛不是模型，是评测能不能验证到 99.9%、知识库能不能把隐含经验编译成机器可用的上下文、出问题时能不能中止接管追溯。报道里还有个反直觉的数字：AI Coding 的占比提升了一倍，落到业务修改需求上只有 15% 由 AI 完成——需求澄清、交互设计、系统分析、测试、合规审核没跟上，编码省下的时间又耗在跨部门对齐上。这条对所有推 Coding Agent 的团队都成立。

相关链接：

三、距离泛化实验：NoPE 反超 RoPE，位置编码的作用需要重新审视

事件概述：9 月 10 日提交到 arXiv 的论文《Distance generalization in transformers: why bother with positional encoding?》（arXiv:2609.11913，15 页 7 图），作者为 Daniel Henrik Nevermann 与 Claudius Gros。以往的长度泛化研究改的是上下文长度，这篇固定上下文长度 T=256，只改源 token 与召回 token 之间的距离，用两个合成延迟复制任务做测试：C 任务复制前 10 个 token，S 任务只复制偶数位并保持顺序。模型是 8 层、8 头、隐藏维 512 的因果 decoder-only Transformer。

技术解析：论文回答三个问题。第一，位置编码能否改善距离分辨。答案是不能，而且反着来——分布内三种方案准确率都高，分布外排序是 NoPE 最好、ALiBi 次之、RoPE 最差。作者据此认为因果 Transformer 能自己学会编码相对位置。这条结论有规模前提：小模型上显式位置编码是必需的，NoPE 会崩，连分布内的延迟复制任务都学不会；ALiBi 在 8 头设置下小模型衰减更快，推测是 slope 数量在参数不足时形成干扰。

第二，训练时的距离多样性有多大用。以训练中见过的距离种类数 N_d 作代理，从 5 增到 50，绝对分布外性能 P_out 上升，相对指标 P = P_out / P_in 却下降。由于 P_in ≈ N_d，可推出 P_out 对 N_d 是次线性增长，存在明显收益递减。作者还留了一个未排除的可能：也许存在一个最小多样性门槛，低于它模型根本发展不出泛化能力。

第三，距离迁移什么时候正、什么时候负。RoPE 下第二个任务主要充当干扰项，分布外曲线衰减更快。ALiBi 与 NoPE 在中等分布外距离上多为正迁移，更大的距离上转负。当两个任务的距离区间被拉开（C 在 15–25、S 在 45–55），出现了方向不对称：从结构更复杂的 S 到更简单的 C，大距离上发生建设性迁移；而在 C 的训练区附近，两个任务都被负面干扰，C 自己在自己的训练区内也受影响。

行业影响：这篇的价值在于把两种失败模式拆开了——处理不了没见过的位置，与处理不了没见过的 token 依赖——而长度泛化实验一直把两者混在一起。结论与长度泛化方向一致（NoPE 更强），说明长上下文外推的一些经验可能搬错了对象。对工程实践有三条可操作提示：位置编码的收益要按模型规模分档看，小模型别摘；堆更多训练距离样本仍在涨绝对性能，相对增益却在掉；用 RoPE 时做多任务混合训练，第二个任务有可能直接变成干扰。

相关链接：

四、低比特量化的两条路：Kashin-DCT 把正交变换降到 O(N log N)，per-tensor layout 重分配 bit 预算

事件概述：9 月 10 日，量化方向同时出现两条进展。一是 arXiv:2609.11687《Structured Transforms for Low-Overhead Quantization of Language Models》，作者为 Daria Cherniuk、Alexander Rudikov、Boris Kashin、Ivan Oseledets。二是 Hugging Face 上 bartowski 发布的《Per-tensor layout maps for GGUF quantization》。前者改算法，后者改工程配置。

技术解析：Kashin-DCT 沿用把每个权重分解成两个因子的框架——一个有界 ℓ∞，另一个经正交变换后有界 ℓ∞——关键替换是把稠密随机正交矩阵换成符号随机化离散余弦变换，单次迭代代价从 O(N²) 降到 O(N log N)。配套的贪心交替更新算法能保证每个因子形成稳定 2-bit 聚类所需的四峰分布，并给出聚类中心的闭式初始化，去掉了此前多重启 k-means 的瓶颈。与 OPTQ 式顺序误差补偿、QuIP 式 incoherence 预处理组合后，这条 JAX 流水线在 OPT、Llama-2、Pythia 上按通道 4-bit 的表现与 OPTQ、QuIP、QuIP-RG 以及一个免微调、免向量量化的 QuIP# 变体相当，wall-clock 扩展性更好。数值稳定性是它最硬的一块：在 QuIP 系列发散到四位数困惑度（Pythia-6.9B）或因 LDL 回代出现 NaN 而中止（Mistral-7B）的压力配置下，Kashin-DCT 保持数值稳定并贴近 FP16 基线。推理时每个权重拆成每通道两个 2-bit 因子码，结构上适配原生 2-bit 硬件。

per-tensor layout maps 走的是另一条路。llama.cpp 里 llama-quant.cpp 长期依赖基于形状与深度的模型无关启发式（例如 use_more_bits 按层在前 1/8、后 1/8 或中间每三层来分配精度），作者改用数据驱动：主扫描用 degrade-one，所有张量设为 q8_0、只把某一个降到 q2_k 看 KLD 变化；配套的 upgrade-one 扫描多数结果接近噪声，未成为主要依据。在 Qwen3.5-0.8B 与 4B 上跑了约 96 小时、1000 多个量化配置，学出每种张量类型的相对损伤表 prior.json，再由 solver.py 结合模型 shape 与目标量化类型解出逐张量的类型分配。

几条规律值得单列：token_embd 主导敏感度尺度，在 0.8B 上代价约为最差单权重张量的 8 倍、4B 上 16 倍，但从 q4_k 就能拿回大部分性能；按 bit 计算最敏感的是 attn_v、attn_output、ffn_up、ssm_out；ffn_gate 基本不值得额外 bit；深度上呈 U 型，首尾层比中间层敏感，印证了旧启发式的假设。命名也回归实义：_S 表示 90% 张量是标称类型，_M 是 70%，_L 最多允许 50% 被 bump。效果上，Qwen3.5-4B 的 Q3_K_M 比之前小 15%，Q4_K_M 整体 KLD 略差但体积小 5% 以上，按每 bit 算是更好的模型；Q6_K_L 给到 7.2–7.4 bpw。低于约 3 bit 时 dense 模型与旧方法基本打平，高于 Q5 之后 bump 基本是噪声。方案带 canary 回退，MiniCPM5-2B 首轮曾触发回退。

行业影响：两条路指向同一个判断——低比特的边际收益已经从「换更聪明的量化格式」转到「按张量敏感度分配预算，并保证不炸」。Kashin-DCT 的卖点是 O(N log N) 与数值稳定，让 2-bit 从能跑变成能用；per-tensor layout 不改变格式，只把 2–6 bit 档位里的预算重新分配，已在 MiniCPM5-2B、Gryphe Pantheon-Reasoning-26B-A4B 上发布。局限同样明确：作者还没吃下 Qwen3.8-Flash-Next 与 DeepSeek-V4.1-Flash 的巨大 PLE n-gram 表，也没吃下 Hy4-preview 的 gated MLA 与稀疏注意力——这几个恰好是当下最热的架构，谁先解决谁就拿到端侧部署的下一程。

相关链接：

编者小结

把这四条并排看，共同点是「规模到了某个点，瓶颈就换地方」。OpenAI 的瓶颈在存储层，10 亿用户把在线存储顶到每秒 7000 万次请求，Python 服务的 asyncio 调度与连接扇入成了主要矛盾，解法是把库拆成服务再迁 Rust。网商银行的瓶颈不在模型而在评测与上下文，Agent 能进风控与审批，靠的是可量化的评测回路与编译过的知识库，模型只是其中一环。位置编码的瓶颈随规模翻转，小模型离不开它，标准规模下摘掉反而泛化更好。量化的瓶颈则从格式换成了预算分配与数值稳定。四处都在讲同一件事：能力堆到一定程度之后，决定上限的是那些原本不被当作主要矛盾的层。