1-bit LLM 的商用元年：14 倍更小，性能不降

4 月 1 日，一家叫 PrismML 的公司在 Hacker News 上发了一个 Show HN，1-Bit Bonsai，号称首个商业可用的 1-bit LLM。帖子获得 399 分和 149 条评论——对于一个量化模型来说，这个热度不寻常。

这不是一个 4 月愚人节玩笑。

数字是真实的，但需要解读

Bonsai 8B 的核心指标：

• 内存占用 1.15GB，是全精度 8B 模型的 1/14
• 速度快 8 倍（在 GPU 上）
• 能耗降低 5 倍
• 在 IFEval、GSM8K、MMLU-Redux 等 benchmark 上与主流 8B 模型持平

1.7B 版本在 iPhone 17 Pro Max 上跑到 130 tokens/s，4B 版本在 M4 Pro 上跑到 132 tokens/s。

这里需要理解一个技术细节：「1-bit」权重不是字面意义上每个权重只有一个比特。实际上是 1-bit 权重 + 每 128 个权重共享一个 FP16 的缩放因子。这是 BitNet 系列工作的工程化实现——微软的 BitNet b1.58 在 2024 年已经证明了理论可行性，Bonsai 的贡献是把它做成了可以在生产环境部署的东西。

HN 讨论里一位用户把它接入了 Cursor，能完成工具调用；另一位在 iPhone 上测了 LaTeX 生成，欧拉恒等式的格式完全正确。这些不是压测数字，而是真实用户的即时反馈。

为什么「够用了」比「最好」更重要

当前 LLM 推理面临三个实际约束：内存带宽、能耗、部署成本。

全精度 8B 模型大约需要 16GB 显存，这意味着一块 A10G（24GB）勉强够用，iPhone 根本跑不起来。1-bit 量化把内存需求压缩到 1.15GB，直接打开了：

• 端侧推理：手机、嵌入式设备、机器人
• 高密度服务器部署：同等显存跑 10 倍以上实例数
• 低延迟实时 Agent：内存带宽降低意味着更快的 token 生成

以前谈量化，通常接受 2-5% 的性能损失换取 2-4x 的速度提升。Bonsai 声称的是接近零损失的 14 倍压缩。如果白皮书里的数据经得住独立复现，这是量化技术的一个分水岭。

同期：RL 让小模型推理能力接近大模型

同一时期，arXiv 上出现了一篇让人印象深刻的论文：TinyLoRA（arXiv:2602.04118）。研究发现，在 Qwen2.5-8B 上，只需要训练 13 个参数（BF16 下 26 字节），就能在 GSM8K 上达到 91% 的准确率。

更重要的发现是：这个效果只有 RL 能做到，SFT 做不到。

“We are only able to achieve such strong performance with RL: models trained using SFT require 100-1000x larger updates to reach the same performance.” — TinyLoRA 论文，arXiv:2602.04118

这印证了一个已经开始形成共识的观点：推理能力不是被「教」进模型的，而是被「激活」的。模型在预训练中已经积累了足够的知识，RL 训练做的是引导它更好地组织和调用这些知识，而不是注入新知识。13 个参数就能触发这个激活，说明这种能力的存储比我们想象的更加分散和冗余。

这两个结论合在一起有一个工程意涵：越来越小的模型 + 越来越精准的 RL 后训练，可能是未来两年边缘 AI 的主要技术路线。

未解决的问题

当然，还有几个关键问题白皮书没有回答：

1. 独立复现。Bonsai 的白皮书还没有经过学术同行评审，benchmark 数字是自报。
2. 长文本和复杂推理任务。量化模型在简单任务上容易持平，在需要多步推理的任务上通常有更明显的性能下降。
3. 训练流程。训练一个 1-bit 模型比训练标准模型复杂得多，PrismML 没有开源训练代码。

不管如何，1-bit LLM 从「有意思的研究」变成「拿来就用的工具」，这个转变发生在 2026 年，比大多数人的预期早了至少一年。

边缘计算和端侧 AI 市场的技术瓶颈，可能正在被这代量化技术打穿。