推理成本的两条路：算法压缩与 Harness 数据飞轮

这周有两件事同时发生，值得放在一起看。

第一件：2026 年 3 月 24 日，Google Research 发布 TurboQuant，把 LLM 推理的 KV-cache 从 16-bit 压缩到 3-bit，内存需求降低 6 倍，吞吐量提升 8 倍，精度零损失。消息一出，全球存储芯片股蒸发近千亿美元市值。

第二件：Philipp Schmid（Google DeepMind Staff Engineer）在 1 月发表的 The Harness is the Dataset 最近被大量转发。核心观点是：Agent 的执行脚手架（Harness）本身就是数据集——每一次失败的轨迹，都是下一个模型版本的训练素材。

表面上看，一个是推理优化，一个是训练策略。但它们其实在回答同一个问题：AI 的边际成本，由什么决定？

---

算法压缩路：效率的数量级突破

TurboQuant 的核心创新（来源：yage.ai 技术拆解）：把 KV-cache 向量从笛卡尔坐标转换为极坐标，利用神经网络中「方向比大小更重要」的特性，大幅减少信息量；再用基于 Johnson-Lindenstrauss 投影的 1-bit 纠错，把压缩噪声限制在安全范围内。

这个方案的关键特性是免训练、数据无关。企业不需要重新训练现有模型，可以直接作为推理层的插件使用。独立开发者在论文发布后数小时就在消费级 RTX 4090 上复现了效果。

这是「算力为王」叙事的第一次真正动摇。过去两年，AI 行业的竞争逻辑是谁的 GPU 更多、HBM 更大、数据中心更密。TurboQuant 提醒我们：一个算法可以在一夜之间改变整个硬件需求曲线。

当然，杰文斯悖论会反击——单位效率提升往往被总需求的增长吞噬。更长的上下文、更复杂的 Agent 并发、更多的多模态任务，会持续消耗被释放出来的算力空间。但利润结构和竞争格局必然重塑。

---

Harness 数据飞轮路：失败即资产

Schmid 的论断极具挑衅性：

“Competitive advantage is no longer the prompt. It is the trajectories your Harness captures. Every time your agent fails to follow an instruction late in a workflow can be used for training the next iteration.” — Philipp Schmid，The Harness is the Dataset，2026-01-05

这句话的含义是：在 Agent 时代，真正的护城河不是你写了多好的 Prompt，也不是你选了多强的基座模型，而是你的 Harness 积累了多少高质量的失败轨迹——每一次 Agent 在工作流后期没有遵循指令，每一次工具调用出错，每一次多步推理崩溃，都是可以用来精调下一代模型的黄金数据。

这和 TurboQuant 的路径完全不同。后者是「用更少的资源运行同一个模型」，前者是「用自己的数据持续进化模型」。

两条路对应两种企业：

• 大模型提供商（OpenAI、Anthropic、Google）更可能走 TurboQuant 路——他们掌握模型，优化推理是直接降本增益。
• Agent 应用层公司（垂直领域的 Copilot、工作流自动化工具）更可能走 Harness 路——他们的优势不在于拥有模型，而在于拥有领域内的高质量失败数据。

---

交汇点

有意思的是，两条路最终可能汇合。

想象一个场景：一家做合同审查的 Agent 公司，用 TurboQuant 把推理成本压缩到原来的六分之一，把节省下来的算力全部用来部署更密集的 Harness，捕获更多的失败轨迹，反哺下一版本的领域精调模型。在这个飞轮里，算法效率是燃料，Harness 数据是发动机。

中关村论坛上有数据显示，Agent 时代「干活」的 Token 消耗量是问答的 10-100 倍。这个数字既是成本压力，也是数据机会。每一个 Token 消耗的背后，都是一段可以被 Harness 记录的轨迹。

谁先把这两条路接通，谁就掌握了 Agent 时代的定价权。