单卡运行304B模型：AMD与DeepSeek改写推理成本

2026年8月4日

DeepSeekAMDMI300XAI推理vLLM

数据源：HN + GitHub

硬件容量压制：单卡跑通304B模型

2026 年 8 月 4 日，开源项目 ryanzhou/deepseek-v4-flash-mi300x 正式发布并登上 Hacker News 首页。该工程在无需权重量化、无需 PCIe（Peripheral Component Interconnect Express）权重流式传输与无层 offload 的前提下，首次把 304B 参数的 DeepSeek V4 Flash 完整塞进单张 AMD Instinct MI300X 显卡。在单卡生产环境中，该配置实现了 168.6 tok/s 的单流 decode（解码）中位数速度。

这一突破的核心驱动力来自于显存硬件规格与软件工程的协同交汇。AMD Instinct MI300X 拥有 192GB 的 HBM3（High Bandwidth Memory 3）显存与 5.3TB/s 的显存带宽，标价约为 NVIDIA H100 SXM5 的一半，HBM 显存容量却是后者的 2.4 倍。大显存单卡重塑了企业级 AI 推理的硬件成本结构，降低了高并发推理的算力门槛。

然而，硬件容量优势无法自动转化为落地生产的成功。从早期测试到单卡生产部署的跨越，取决于软件栈补丁与算子调优的工程深度。项目团队通过修复 ROCm（Radeon Open Compute）生态中的浮点方言与内存掩码漏洞，展示出 AI 推理的竞争护城河正在向底层软件工程掌控力转移。

DeepSeek Logo 图：DeepSeek 品牌标识。来源：deepseek-ai GitHub

显存结构拓界：无量化无流式的极致部署

DeepSeek-V4-Flash-0731 拥有 304B 总体参数（包含 13B 激活参数），采用 MIT（Massachusetts Institute of Technology）开源协议。模型权重占用 156.67 GiB 空间，在拥有 192GB HBM3 的 MI300X 上实现了全部权重驻留显存。156.67 GiB 权重完全驻留显存避免了层间换入换出的带宽瓶颈，为高并发吞吐奠定了物理基础。

在上下文承载力方面，该配置展示了长文本与高并发的处理能力。系统验证了 256K（256,000）token 的上下文长度，并通过 20GB GPU KV（Key-Value）池与 96GiB CPU（Central Processing Unit）分层搭配，构建出 1.93M token 的总容量。在 64-stream 突发并发测试中，系统跑出了 830 tok/s 的聚合吞吐且零 OOM（Out Of Memory）与零 engine 报错，显存池与主机内存的分层管理支撑了高并发流量。

支撑这一显存承载拓扑需要宿主机硬件提供充足的资源预留。运行环境配置了约 235 GiB 的 CPU RAM（Random Access Memory）用于 CPU KV 层，以及约 500GB 的磁盘存储空间来缓存 156GB 的模型权重。预热后的显存高水位线稳定在 204.5GB/205.8GB 范围，表明极限单卡部署依赖宿主机在内存与存储侧的物理预留。

图：AMD Instinct MI300X 硬件架构。来源：amd.com

软件生态越障：浮点方言与算子掩码修复

在 AMD 硬件上部署前沿模型需要跨越底层计算方言的兼容性沟壑。MI300X 采用 CDNA3（Compute DNA 3）架构与 304 个 CU（Compute Units），其 FP8（8-bit Floating Point）计算实现了 AMD 与 Graphcore 联合定义的 fnuz E4M3 变体，而下一代 MI325X 采用 OCP（Open Compute Project）标准 FP8。两种格式存在 1 个指数位的偏差，直接读取会导致 scale 计算产生 2 倍偏差。工程团队对 Lightning Indexer 缓存进行了 FNUZ 格式适配与 16x16 预重排，解决了跨硬件架构浮点表示不一致带来的精度衰减问题。

除浮点方言外，MoE（Mixture-of-Experts）路由与内存同步中的逻辑漏洞也是生产部署的障碍。团队修复了 MXFP4（Microscaling FP4）路由填充通道的掩码漏洞（mask = (offs_local < BLOCK_SIZE) & (offs_global < nonzero_indx_size)），该提交源自 Doubleword 仓库的 c32932bb9 物理修补。针对 vLLM 在 ROCm 下 CPU-KV 同步缺乏 fencing（屏障）的问题（对应 issue #47282 与 PR #47291），团队添加了显式同步保护，消除了高并发下的数据竞态风险。

这一系列修复填补了官方软件栈 Recipe 的空白。此前 vLLM 官方部署 recipe 仅覆盖了 NVIDIA 显卡以及 AMD 的 MI325X 与 MI355X 硬件。开源社区针对 MI300X 补充的补丁集，展示出替代硬件架构在真实生产落地中对底层工程调试的强烈依赖。

算子工程深化：融合内核与投机解码

修补完稳定性漏洞后，工程团队将重点转向算子与调优层面的深度性能挖掘。团队针对 21 个 A8W8（8-bit Activation & 8-bit Weight）GEMM（General Matrix Multiply）形状进行了针对性调优，直接为单流和双流 decode 带来 42% 至 62% 的性能提升。针对特定 GEMM 形状的微架构调优，证明了通用推理框架在特定芯片上拥有巨大的硬件利用率提升空间。

融合算子的引入降低了层间调度的开销。通过引入融合 SiLU（Sigmoid Linear Unit）激活函数与快速路由内核，原生 C1 decode 速度从 34.5 tok/s 提升至 56.6 tok/s，增幅达到 64%，路由内核延迟从每层 42.6 µs 降低至 11.9 µs。路由内核延迟大幅缩减降低了 MoE 架构固有的动态分流头顶开销，让计算单元能更专注于矩阵乘法计算。

实时 decode 速度的飞跃来自于投机解码技术的系统集成。项目集成了 DSpark-7 投机解码模块，采用静态 K=7 配置、概率起草、块拒绝机制以及因果验证逻辑。该机制成功将单流 decode 速度从 119.5 tok/s 进一步推升至 168.6 tok/s，在保证输出精度的同时实现了 41% 的实时解码加速。

社区演进路径：从内核试验到生产落地

单卡运行 304B 模型是社区多轮迭代的成果累积。2026 年 6 月，Doubleword 工程师 Fergus Finn 首次将 DeepSeek-V4-Flash 运行在 MI300X 上，当时实现了 2699 tok/s 的 prefill 速度，但单流 decode 处于 20 tok/s 的水平。随后 AgntroAI 通过手写 CDNA3 汇编内核，将 decode 速度提升 2.85 倍至 58.9 tok/s，且在 GSM8K 评测中维持 96.3% 的精度。

当前的 ryanzhou/deepseek-v4-flash-mi300x 项目整合了早期经验与最新的软件栈组合。系统运行在 vLLM ROCm nightly 版本（0.26.1rc1.dev229+g124154a88.rocm723）、AITER 0.1.19 以及支持 MXFP4 分组专家的 Triton OGS 之上，并配备 Caddy HTTPS 代理。从零散的内核试验到完整的生产套件，开源社区拼凑出与闭源软硬件生态相制衡的技术路径。

重塑AI推理成本格局

DeepSeek V4 Flash 在单张 MI300X 上的生产落地，为大模型部署路线提供了明确的工程范例。MI300X 依靠 2.4 倍于 H100 的 HBM 容量与一半的硬件标价，提供了硬件层面的性价比基座。vLLM ROCm、AITER 与 Triton 构成的软件补丁与融合内核，将硬件潜在的物理优势转化为实实在在的 168.6 tok/s Decode 吞吐。

这场实践揭示了 AI 芯片竞争格局的深层趋势。显卡参数账面上的显存容量与算子 TFLOPS（Teraflops）是硬件基础，而成本优势必须依靠深度优化的软件工程来解锁。开源模型与替代硬件架构在底层算子与方言层打通时，AI 推理的成本壁垒已被重新书写。