Dario Amodei 的邮件躺在收件箱里：API 价格上调 15%。Sam Altman 同步在 Twitter 上预告新一代企业版套餐，起步价六位数。开发者群聊里反复冒出同一个问题：能不能干脆把模型搬回自己机房？
James O’Beirne（GitHub ID: jamesob）做了一件更彻底的事。他掏出约 5.1 万美元，从零搭了一套 4×NVIDIA RTX PRO 6000 Blackwell 推理服务器，384GB 总显存，然后把选主板、调 BIOS、接 PCIe Switch、配 NCCL 环境变量的每一步全写进了 jamesob/local-llm。README 里直白地标了一句：「除了表格，README 里没有一个字是 AI 写的。」在 2026 年，这句话本身就是一个声明。
（图片来源：jamesob/local-llm）
钱去了哪里
先说一个反直觉的数字：基础平台只花了 $5,587。
ASRock Rack ROMED8-2T 主板（$715）搭载一颗 AMD EPYC Milan 7313P 16 核 CPU（$504），配上 128GB DDR4 ECC RDIMM 内存（$642）和两个 Super Flower 1700W 电源（$750）。加上一块 c-payne Microchip Switchtec PM40100 Gen4 PCIe Switch（约 $1,330）和 NVMe 存储（约 $1,491），基础系统总计 $5,587。
显卡才是吞金兽：4 张 NVIDIA RTX PRO 6000 Blackwell，每张 96GB 显存，合计约 $46,000。总成本约 $51,587。
选型逻辑异常清晰：把钱砸在 VRAM 上。DDR5 和 PCIe 5.0 平台在 2026 年 7 月仍然极其昂贵，jamesob 直接选了上一代 DDR4/PCIe 4.0 方案。省下的预算变成了第 4 张显卡——多 96GB 显存，对跑量化后的 594B 参数模型而言，远比更快的内存带宽实惠。
两档方案：$2k 入门，$51k 拉满
指南给出了两档明确配置。$2,000 档用双 RTX 3090（48GB 总显存）跑 Qwen3.6-27B，搭配 whisper-large-v3 做本地语音转文字。这个预算对于个人开发者完全可及——两张二手 3090 加一台普通工作站就能跑起来。
$51,000 档是另外一回事。4 张 RTX PRO 6000 Blackwell 提供 384GB 总显存，目标模型是 GLM-5.2-Int8Mix-NVFP4-REAP-594B 的量化版。RTX PRO 6000 Blackwell 没有 NVLink，GPU 之间的所有通信必须走 PCIe 总线——这也解释了那份 BOM 里最不寻常的一项：PCIe Switch。
PCIe Switch：让 GPU 直连的「法外之地」
多数开发者对多 GPU 通信的认知停留在「插在主板上就行」。主板上的 PCIe 槽通过 CPU 的 root complex 中转，GPU 之间的点对点（P2P）通信绕不开 CPU。当 4 张卡同时跑张量并行推理时，CPU 中转路径迅速成为瓶颈。
jamesob 的解法是 c-payne Microchip Switchtec PM40100 Gen4 PCIe Switch。这块板子让 GPU 之间直接建立 P2P 通道，完全绕开 CPU。实测数据相当漂亮——单向 P2P 带宽 27.5 GB/s，双向 50.4 GB/s，延迟 0.37-0.45 微秒，跑满 Gen4 线速。
（图片来源：jamesob/local-llm）
光有硬件不够。要让 P2P 真正生效，BIOS 里至少调了 5 个参数：PCIe bifurcation 设为 x16、ASPM 全部禁用、Re-Size BAR 打开、SR-IOV 关闭。内核启动参数里加了 iommu=off amd_iommu=off nomodeset——不加这行，NCCL 多 GPU P2P 直接挂掉。还需要手动设置 pcie_acs_override 禁用 ACS，否则 P2P 流量仍然会绕道 CPU。
这里面还有一条容易踩的坑：Blackwell 架构的 GPU 是 Gen5 设备，通过 Gen4 Switch 连接时需要手动将 Link Speed 强制设为 Gen4。README 明确警告：自动协商可能掉到 Gen1，训练直接失败。
软件栈与实测性能
系统跑 Debian 13 Trixie，搭配 NVIDIA 595.58.03 开源内核模块。推理引擎选 vLLM 或 SGLang，跑 TP4（4 卡张量并行）。外围工具链包括 opencode 推理界面、Telegram bot 聊天接入、私有 Gitea 代码托管、searXNG 搭配 Kagi API 做搜索。
功耗管理同样有讲究。RTX PRO 6000 默认功率上限是 600W/卡，4 卡满血跑要 2,400W，两个 1,700W 电源根本扛不住。jamesob 把每卡功耗限制在 350W，4 卡合计 1,400W，刚好落在电源安全区间内。
GLM-5.2 量化版在 240k context 窗口下跑到约 80 tok/s。对单用户交互来说完全可用，但这个数据的并发表现存疑——AI Weekly 的报道也指出，4 卡 TP4 的 80 tok/s 在多用户同时请求时能否保持，还需要实际压测验证。
本地 vs 云端：成本账怎么算
$51,000 是一笔不小的投入。直觉上，这个价格够买很多 API token。但账要细算。
按 GLM-5.2 级别的 SOTA 模型当前 API 定价，每百万 token 约 $5-10（具体因供应商而异）。80 tok/s 意味着每小时可产出约 288,000 token。一天跑满 24 小时是约 690 万 token，折合 API 费用约 $35-69/天。一年按 365 天算，API 账单在 $12,775 到 $25,185 之间。硬件成本回收周期大约在 2-4 年。
这个计算有两个前提：机器确实需要跑满全天，并且 API 价格不涨。前一个取决于实际使用量，后一个已被 Anthropic 的涨价邮件打了个问号。此外，本地推理没有数据出境问题，延迟可控，也不受 API 限流的影响——这些因素在很多企业场景里比纯粹的价格更重要。
$2,000 档的账好算得多。双 RTX 3090 跑 Qwen3.6-27B，性能足以覆盖日常编程辅助、文档处理、翻译润色等需求。按 API 替代计算，几个月就能收回硬件成本。
几点取舍与风险
第一，显卡供应。RTX PRO 6000 Blackwell 在 2026 年 7 月的零售价约 $11,000-12,000/张，渠道库存不稳定。指南发布后，实际采购成本可能高于 README 里引用的 $11,000。
第二，PCIe Switch 的兼容性边界。Blackwell Gen5 设备穿过 Gen4 Switch 的行为并未在所有负载下充分验证。README 里记录的「Link Speed 强制 Gen4」是一个有效的 workaround，但长期稳定性和训练负载下的表现仍需更多实测。
第三，$51,000 这个数字参考价值大于复制价值。大多数团队真正能落地的路径是 $2,000 档——双 3090 加开源模型，性价比极高。$51,000 档树立了一个「本地推理的上限可以到哪」的基准，拓宽了社区对自建推理能力的想象边界。
第四，单点故障。整机只有一套主板、一颗 CPU、一块 PCIe Switch。任何一个组件出问题，整台机器停摆。生产环境可能需要在关键组件上做冗余。
jamesob 这份指南的分量，在于一个真的烧了五万多美金、调了 BIOS、焊了木头架子的人，把所有踩坑记录摊在桌上。没有抽象建议，只有具体的 BOM 清单、BIOS 参数、GRUB 命令和环境变量值。
AI Weekly 给出的评价很准：「一直在等一份由真正跑过的人写的完整本地推理采购清单——这就是。」
本文的素材来自公开信息和社区讨论。如果你对这个话题有更深入的一手经验，欢迎指出文中的不足。
参考链接：