2026年7月31日，独立开发者 Wafer 发布实测报告：月之暗面 2.8T 参数开源模型 Kimi K3 在单节点 AMD MI355X 上跑出了 952 tok/s/node 的聚合吞吐。在 1024 token 输入与 400 token 输出的标准基准测试中，MI355X 实现每美元 48 tok/s/$ 的吞吐性价比，显著超越 NVIDIA B300 的 33 tok/s/$ 与 B200 的 7 tok/s/$。这份报告用数据揭示了超大参数模型部署经济学的新趋势。
2.8T参数突破节点物理极限：显存容量重构部署经济学
Kimi K3 模型权重叠加 1M token 的 KV Cache（Key-Value Cache）后，整体显存需求突破 1.5TB。搭载 8 张 192GB 显存 GPU 的单节点 NVIDIA B200 总显存仅为 1.536TB，难以完整装下模型与长上下文缓存，迫使部署架构必须扩展至双节点 TP16（Tensor Parallelism 16）。当超大模型尺寸超越单节点硬件容纳极限时，显存容量直接取代纯算力成为决定部署成本的核心指标。
单张 AMD MI355X 配备 288GB HBM（High Bandwidth Memory）显存，8 卡节点总显存达到 2.3TB，能够将 2.8T 参数的 Kimi K3 完整收容在单节点内。在硬件租赁价格上，每 GPU 小时 MI355X 为 2.50 美元，远低于 B300 的 6.00 美元与 B200 的 4.25 美元。显存单点容量的优势让 AMD 在面对需要 B300（8×288GB）才能部署的顶尖闭源与开源模型时，占据了极高性价比成本杠杆。
图：Kimi K3 每节点吞吐 vs 交互性对比。来源：Wafer 博客
跨节点通信瓶颈让B200吃亏：单节点吞吐呈现3.8倍落差
为了在 B200 上运行 Kimi K3，部署必须通过两台服务器跨节点组网。跨节点通信依赖 RoCE v2 网络，实际有效带宽限制在 195 Gb/s 左右，远低于节点内 NVLink 的高速互连能力。Decoding 阶段频繁的全归约（All-Reduce）通信卡在跨节点网络链路上，导致 B200 双节点 TP16 的聚合吞吐跌至 498 tok/s，平均每节点仅贡献约 249 tok/s。跨节点网络通信延迟在自回归生成阶段对吞吐量构成了巨大打击。
相比之下，单节点 MI355X 在 TP8 配置下完全避免了跨节点网络传输，节点内通过 Infinity Fabric 保持高带宽通信。在单流生成速度上，MI355X 达到 118 tok/s，高于 B200 TP16 的 90 tok/s，虽然落后于单节点 B300 的 172 tok/s，但节点聚合吞吐达到了 952 tok/s，是 B200 TP16 双节点部署的 3.8 倍。B300 虽然以 1568 tok/s 维持了绝对速度领先，但其 2.4 倍的硬件溢价让 MI355X 拿下了更高的每美元吞吐效率。
零Custom Kernel优化：几行PyTorch补齐ROCm软件短板
在接入外部块扩散投机解码（Block-diffusion Draft）框架 DSpark 时，ROCm（Radeon Open Compute）环境首次运行出现缺少 top_k_renorm_prob C++ 算子的报错。原本 CUDA 构建中直接调用的 C++ 算子在 ROCm 端尚未移植，以往这通常需要开发专门的 HIP 内核。实测团队没有编写任何自定义 CUDA 或 C++ 算子，仅用几行标准的 PyTorch 矩阵操作（包含 sort、masked_fill 与除法）重新实现了该概率重缩放逻辑。
这段纯 PyTorch 替代代码迅速填补了框架调用缺口。启用投机解码后，MI355X 的单流推理速度提升 2.2 倍，中等并发下的单流吞吐提升 1.7 倍，节点聚合吞吐增加 18%，且最高吞吐并发点从 24 并发推高到 64 并发。这表明框架层的轻量级改动足以解除 AMD 硬件的调度枷锁，软件生态短板的修复成本正在被上层工程自动化极大地摊平。
图：Kimi K3 on MI355X 无投机解码与 DSpark 投机解码吞吐对比。来源：Wafer 博客
补齐维度形状缺失：零填充释放底层ASM内核算力
在 172k token 的超长上下文 Prefill 阶段，MI355X 初始耗时约为 51 秒，落后于 B300 的 23 秒。分析显示，Kimi K3 在 TP8 模式下每张卡分配 12 个注意力头，而 AMD 高性能算子库 AITER 专用的 MLA（Multi-head Latent Attention）内核仅支持 4、8、16 的倍数，导致系统自动回退至性能较低的 Triton 实现。通过在维度上实施零填充（Zero-padding）将注意力头补齐至 16 个，底层成功加载汇编级 ASM 内核，Prefill 算力提升至约 13k tok/s。
调整后 Prefill 阶段获得 2 至 3 倍的加速，首 Token 延迟（Time To First Token）得到数量级改善。这种通过特征维度补齐触发硬件优化内核的手法，再次证明了基于通用框架适配的可行性。尽管 Prefill 加速主要改善首字响应延迟，并不直接推高持续 Decoding 的聚合吞吐，但它消除了 AMD 芯片在长文本首字阶段的体验劣势。
大显存与工程自动化下，CUDA护城河的解构路径
MI355X 部署 Kimi K3 的实测结果展现了当前大模型推理硬件格局的技术转向。过去芯片竞争过度聚焦于理论 Peak FLOPS 的比较，但在 2T 以上超大参数模型时代，单节点能否吞下完整模型参数与上下文缓存变成了更关键的算力瓶颈。288GB 显存让 AMD 节点得以免去跨节点通信的巨大损耗，从根本上逆转了单卡算力微弱劣势带来的综合成本损耗。
与此同时，开源框架与自动化工程工具降低了适配非 CUDA 硬件的门槛，不需要底层开发算子就能在异构芯片上释放出接近硬件极限的性能。当显存容量壁垒打破跨节点依赖、上层框架自动抹平底层软件差异时，英伟达凭 CUDA 建立的生态壁垒正受到实质性挤压。大模型推理的竞争焦点已从单纯的单卡算力较量，全面转向由显存配置与工程自动化共同主导的综合性价比比拼。
参考链接：
- Wafer 博客实测报告
- Moonshot AI Kimi K3 技术文档
- Hacker News 社区讨论
