2026 年 7 月 14 日，Prism ML 发布了 Bonsai 27B——基于 Qwen3.6 27B 的 1-bit 和三元量化版本。一句话概括：一个 27B 参数的多模态大模型，3.9 GB 大小，跑在 iPhone 17 Pro 上，每秒 11 个 token。Hacker News 上的反应是 615 分、215 条评论。热度很高，但热度之下，值得拆开看的东西比标题多。
27B 怎么塞进 3.9 GB？
没有魔法。Prism ML 做的是极端量化——将模型权重从 16-bit 浮点压缩到接近 1 bit，同时保留分组级别的 FP16 缩放因子。
Bonsai 27B 有两个版本：
Ternary Bonsai 27B：权重取值 {−1, 0, +1}，配合每组共用的 FP16 缩放因子，实际有效位宽 1.71 bits/weight，文件体积 5.9 GB。这是质量导向的版本——跑在笔记本上，承担完整的推理、工具调用和 agent 工作流。
1-bit Bonsai 27B：权重取值 {−1, +1}，同样有分组缩放，实际有效位宽 1.125 bits/weight，文件体积 3.9 GB。这是体积导向的版本——能在 iPhone 17 Pro 的内存预算内加载 27B 参数，是第一个跑在手机上的同级模型。
有个细节值得提一句：Prism ML 公开了「实际」bit 数而非理论下限。三元理论上只需 log₂3 ≈ 1.58 bit，但加上缩放因子的存储开销后实际是 1.71；1-bit 理论上是 1 bit，实际是 1.125。在行业里，拿理论数字做宣传很常见，Prism ML 选择报真实数字，至少是诚实的。
量化覆盖了网络的全链路——嵌入层、注意力、MLP、LM Head——没有高精度「逃生通道」。视觉塔单独以 4-bit 形式打包，所以多模态能力（截图、文档、相机输入）在设备端也能用。模型保留了 262K token 的上下文窗口，并支持推测解码（speculative decoding），通过 draft-and-verify 机制加速输出。
这两个版本都以 Apache 2.0 许可证发布，可在 Hugging Face 直接下载。
保留了 90% 的性能——但「性能」不是一个平均数
Prism ML 的官方数据是：三元版保留全精度基准的 95%，1-bit 版保留 90%。但平均数是会骗人的。拉出 15 个 benchmark 的逐项数据之后，故事要复杂得多。
| 能力类别（Benchmark） | Qwen 3.6 27B | Ternary Bonsai | 1-bit Bonsai | 1-bit 退化幅度 |
|---|---|---|---|---|
| 数学（GSM8K, MATH-500, AIME） | 95.3 | 93.4 | 91.7 | −3.6 |
| 编程（HumanEval+, MBPP+, LiveCodeBench） | 88.7 | 86.0 | 81.9 | −6.8 |
| 智能体/工具调用（BFCL v3, TauBench） | 80.0 | 74.0 | 66.0 | −14.0 |
| 指令遵循（IFEval, IFBench） | 78.4 | 71.8 | 65.8 | −12.6 |
| 知识/STEM（MMLU-Redux, MuSR） | 83.1 | 77.0 | 73.4 | −9.7 |
| 视觉（MMMU Pro, OCRBench） | 72.6 | 65.2 | 59.6 | −13.0 |
| 综合（15 项 benchmark） | 85.0 | 80.5 | 76.1 | −8.9 |
数学和编程退化最小——分别只掉了 3.6 和 6.8 分。这正是 agent 型工作流最依赖的两项能力。但如果一个模型被定位为「笔记本上的本地 agent」，那么工具调用从 80.0 跌到 66.0（掉了 14 分）是需要认真对待的信号。同样值得注意的还有指令遵循和视觉能力，1-bit 版本在这两项上分别掉 12.6 和 13.0 分。
工程分析师 Rohit Raj 在他的深度评测里指出了一个更加直观的对比：工具调用能力的退化幅度是数学的 4.6 倍——「对于一个以本地 agent 为卖点的模型来说，这是整件事的核心矛盾。」他的结论很直接：三元版用于 agent 场景，1-bit 版只能用于对话和摘要——如果你需要在手机上跑工具链，1-bit 版本还撑不住。
不同硬件上的表现
从 Prism ML 公布的吞吐量数据来看，推理速度在不同硬件上差异显著：
| 硬件 | 1-bit（tok/s） | Ternary（tok/s） |
|---|---|---|
| NVIDIA RTX 5090 | 163 | 134 |
| Apple M5 Max | 87 | 58 |
| iPhone 17 Pro | 11 | — |
RTX 5090 上的 163 tok/s 意味着接近实时交互——比大多数人阅读速度快。M5 Max 上 87 tok/s 也足够日常使用。但 iPhone 17 Pro 上的 11 tok/s 是另一个概念：这大致相当于你一边打字一边看着模型一个字一个字地往外蹦，体验上更像 2023 年初的 ChatGPT。快不快？不快。能不能用？能用。对于一个本地运行、数据不出手机的 27B 模型来说，这可能已经足够了——前提是你的使用场景不需要高频工具调用。
还有一个隐形的内存陷阱：Rohit Raj 指出，虽然 1-bit 版的权重文件只有 3.9 GB，但 KV 缓存在高上下文长度下会吃掉大量额外内存。比如 100K token 的上下文会让实际内存占用膨胀到 13.7 GB 左右——这已经超出了大多数手机的物理内存。换句话说，「27B 跑在手机上」这个说法在短对话场景成立，但在长上下文场景下，手机内存仍然是瓶颈。
为什么这很重要——不只是技术演示
把 27B 塞进手机这件事，意义在于「跑了之后能干什么」。
目前的主流移动端 AI——Apple Intelligence、Google Gemini Nano、Samsung Galaxy AI——都基于 3B 到 12B 级别的模型。Bonsai 27B 的 1-bit 版本在体积上（3.9 GB）与 Gemma 4 12B 的 4-bit QAT 版本（约 7 GB）相比更小，但参数规模是后者的两倍以上。Hacker News 上有用户交叉对比后指出：Bonsai 在数学和编程上碾压 Gemma 4 12B，在知识问答和工具调用上稍弱，在视觉任务上明显落后。
这意味着一个真实的权衡：如果你需要一个能在本地跑、懂推理、会写代码的模型，Bonsai 27B 是目前手机端最接近「可用的 27B 级 Agent」的选择。但拿它做 OCR、看图问答或复杂的多模态任务，它远不如 Google 在 Gemma 上做的 4-bit QAT 方案成熟。
Prism ML 的叙事核心有一个概念叫「智能密度（intelligence density）」——单位内存能承载的智能水平。1-bit Bonsai 27B 的智能密度是 0.53 per GB，是全精度 Qwen 3.6 27B 的十倍以上，也是现有最佳低比特替代方案的约 2.7 倍。这个指标本身不是学术标准，但它直观地捕捉了 Bonsai 系列试图回答的问题：你手里这台设备能承载多聪明的模型。
HN 上的声音：兴奋、质疑与岔开的话题
Hacker News 的 215 条评论里大致有三类声音。
第一类是对比需求。 多条评论都在追问：和 Gemma 4 12B 4-bit QAT 版比呢？和 Llama 4 比呢？目前的公开 benchmark 缺少系统和第三方评测，单靠 Prism ML 自报的数据判断不够。有用户直接质疑：「这些 14-27B 模型没有一个在文字能力上接近哪怕最便宜的 Gemma 2.5 Flash——不管它们在 benchmark 上刷了多少分。」
第二类是技术路线讨论。 一条热度较高的线程从「应该用分类器模型做任务分解」开始，一路岔到了 Mixture of Experts 和 Bitter Lesson 的争论。有趣的是，这个讨论与 Bonsai 本身关系不大——更多反映了社区对「一个大模型做所有事」vs「一堆小模型各干各的」的持续分歧。
第三类是实际体验。 有用户报告在 SQL 任务上 Bonsai 不如 Gemma 4 12B，PHP/WordPress 代码生成尚可但会陷入推理循环；另一位则表示 Qwen3.6-27B 在 agent 编码方面是这个参数级别最好的模型，「其他方面表现平平」。这些零散的实测反馈提醒一个老问题：benchmark 分数和实际体感之间的差距，在极端压缩模型上可能被拉得更大。
本地推理的代价清单
Bonsai 27B 让本地推理变得更可行，但代价是明确的：
推理速度： iPhone 上 11 tok/s 意味着任何超过 500 字的回复都需要将近一分钟。这对聊天场景勉强可接受，对需要多轮调用才能完成的任务（比如 agent 工作流）就是体验灾难。
精度损失： 工具调用能力在 1-bit 版本上退化 17.5%（80.0 → 66.0），意味着依赖工具链的场景必须用体积更大的三元版。
内存膨胀： KV 缓存在长上下文下的内存开销是权重文件的 3.5 倍，承诺的 262K 上下文在实际设备上几乎用不满。
视觉能力： 1-bit 版本在视觉 benchmark 上掉到 59.6，和全精度的 72.6 差距明显。用手机拍照让模型理解世界，这个精度可能不够。
这些是当前技术条件下的客观限制。Prism ML 做的是在量化、精度和可用性之间找到一个新的帕累托前沿——他们找到了，但这个前沿的位置说明：完全本地化的、能执行复杂 agent 工作流的 27B 级模型，还需要等硬件迭代或压缩技术的进一步突破。
格局：一场正在发生的重心转移
2026 年是移动端 AI 模型密集发布的一年。Apple Intelligence 把 3B 模型嵌入了 iOS 的系统服务；Google 的 Gemma 4 系列通过 QAT 量化把 12B 模型压缩到笔记本级别；Samsung 和 Qualcomm 各自推了针对骁龙平台的优化版本。Bonsai 27B 在这张地图上的位置是独特的：它直接把参数级别拔到了 27B，跳过了 7B-13B 的拥挤赛道。代价是更激进的量化和更多场景限制。
这种策略的价值取决于使用场景。如果你需要一个始终在线、不依赖网络、能处理私人数据的推理助手，目前 27B 级别只有 Bonsai 能跑在手机上。如果你只是需要一个本地聊天或翻译模型，7B-13B 的成熟方案（Gemma、Phi、Llama）在稳定性和生态支持上可能更有优势。
从更宏观的视角看，Bonsai 27B 的发布标志着「模型压缩」正从一个辅助性的后处理步骤，变成定义产品形态的核心竞争维度。未来的模型竞争可能不再只是「谁的参数更多」或「谁的 benchmark 更高」，而是「谁能在给定的设备内存预算内，保留最多的可用智能」。
本文的素材来自公开信息和社区讨论。如果你对这个话题有更深入的一手经验，欢迎指出文中的不足。
参考链接
- Prism ML: Announcing Bonsai 27B
- Rohit Raj: Bonsai 27B — what a 27B model on a phone actually costs you
- MarkTechPost: PrismML Releases Bonsai 27B
- Hugging Face: prism-ml/Bonsai-27B-unpacked
- Hacker News 讨论（615 分，215 评论）