KV 房租:前缀缓存命中率实验室

Prompt 块排序沙盘(append-only 纪律)· 盈亏平衡 × TTL(闭式解 + 蒙特卡洛双路互验)· 块对齐浪费锯齿 × 各家最小前缀门槛 · 路由器的反噬

Manus 官方博客原文:「the KV-cache hit rate is the single most important metric for a production-stage AI agent」,并给出 agent 场景 input:output ≈ 100:1。各家 read / write / TTL / 最小前缀四件套分栏并列,未回源的一律留白。

📄 Manus 官方博客(2025-07-18)原文:“If I had to choose just one metric, I’d argue that the KV-cache hit rate is the single most important metric for a production-stage AI agent.” —— 不是准确率,不是延迟,是一个缓存指标。原因也写在原文里:“In Manus, for example, the average input-to-output token ratio is around 100:1.”。 agent 每轮把整段上下文重发一遍,而「重读同一个前缀」的定价只有全新输入的 0.025×–0.1×。上下文窗口不是免费存储,是按 published rate card 付租金的记忆。

Prompt 块顺序

拖动 ↑↓ 改变顺序。命中长度逐块真算:稳定块全额计入,追加块只损失本轮新增,易变块直接断在这里

System Prompt稳定10.0k tok

人设与规则,逐 byte 不变

+10.0k

计入前缀

Tool Schemas稳定2.5k tok

工具 JSON Schema,逐 byte 不变

+2.5k

计入前缀

RAG 文档稳定2.0k tok

检索到的文档片段,本会话内不变

+2.0k

计入前缀

Few-shot 示例稳定1.5k tok

手写示例,逐 byte 不变

+1.5k

计入前缀

对话历史追加2.5k tok

只追加不改写 —— 上一轮仍是当前的前缀

+2.1k

计入前缀

timestamp / user_id易变150 tok

每轮都变 —— 放在哪里,哪里就是缓存的断点

+0

断点

当前 query易变300 tok

每轮都变,通常在最后

+0

已失效

结算参数

🧮 块对齐与最小门槛都是本站套用的参数,选不同厂商门槛会变

厂商 / 模型

对齐块大小 🧮

⚠️ 各家实际块 / 页大小与隐式断点策略均未在官方页面公布 —— 这是本站为讲清机制设的可调参数

30 轮

命中结算

真算,不是估算

整份 prompt18.9k tok
最长公共前缀(原始)18.1k tok
− 块对齐损失−692
− 最小前缀门槛(512)−0
实际命中17.4k tok
命中率91.9%

账单对照

30 轮 · 每轮 500 output token

有前缀缓存$0.32
无缓存(每轮全价)$1.57
节省79.8%

· 本工具不联网、不调用 LLM。所有数字来自本页常量(逐条 curl 回源)或浏览器内确定性计算。

· 📖 / 📄 = 论文或官方原文可逐字定位;💳 = 厂商定价页;⚠️ = 未回源,置灰降级;🧮 = 本站为讲清机制而设的可调参数。

· 各家口径分栏并列 —— 写入溢价、读折扣、TTL、最小前缀是四件不同的事,本工具不做跨厂商等价换算。

· 一手源:Manus 官方博客(2025-07-18) · Anthropic Prompt Caching 文档 · OpenAI Prompt Caching 指南 · Gemini Caching 文档

· 架构侧(KV 显存口径、Engram、Mamba-3)见 记忆的代价:KV Cache 军备竞赛。数据快照日:2026-10-19。