很多人脑子里跑大模型的画面是一间机房：成排的 GPU 挂在别人名下，按量计费的 API，账单随你用得越多而越长。你把 prompt 丢进一个黑盒，只能祈祷价格、模型权重和隐私条款别在你签约之后悄悄变。
对不少团队来说这是一笔亏本买卖。你放弃了对模型何时更新、数据流向何处、底层跑在什么硬件上的控制权；用量一涨，账单就涨，唯一的杠杆是「付更多钱」。
Mesh LLM 想换一种形状。它把你手上已有的 GPU 和显存聚起来，跨任意多台机器，对外暴露成一个 OpenAI 兼容的接口。起一个节点，之后再加更多；让网格自己决定模型跑在你面前的机器上、转发给某个 peer，还是切分到几台机器上流水线处理。
把别人的算力，变成自己的网格
核心卖点很朴素：不用买更大的显卡，也能跑更大的模型。把算力私下和团队共享，或者公开给全世界，去驱动 agent 和聊天。任何 OpenAI 客户端指向 http://localhost:9337/v1，就不用再管活儿到底在哪台机器上干了。
底层靠 iroh 端点组成的 mesh 分发推理。一个请求有三种落地方式：
- 本地跑，用这台机器的 GPU；
- 路由到有模型加载好的 peer；
- 把单台装不下的模型按层切分，在多台机器上做流水线推理。
架构本身是可插拔的。插件在 manifest 里声明自己提供什么能力，运行时拉起它们、做路由，并通过 MCP、HTTP、推理通道和 mesh 事件把能力暴露出去。随包目录里自带 40 多个模型，从能塞进笔记本的 5 亿参数小模型，到 235B 的 MoE 巨兽都有。
巨兽们走的是切分模式（内部代号「Skippy」）。模型按层区间切成若干 stage：第 0–15 层在一台节点，16–31 层去下一台，顺着流水线往下走。激活值从一级流到下一级，于是几台平庸的机器就能合起来跑一个谁都单独扛不住的模型。OpenAI 客户端对此一无所知，它还是只跟 localhost 说话。
iroh 兜底了最脏的活
每个节点——无论它提供模型还是只发请求——都会拉起一个 iroh 端点。这个端点就是节点的身份、一把公钥，也是它唯一的网络面。没有中心服务器。iroh 负责打洞、NAT 穿透和 relay 兜底，在任何两个节点之间开一条直接、带认证的 QUIC 连接。
为了让这套东西在公网上跑得通，Mesh LLM 在不同区域各放了一个 iroh relay，直连不成的节点总能就近找到一条 fallback 路径。
整个协议跑在 QUIC 的 ALPN 协商上，一共三套：
| ALPN | 承载内容 |
|---|---|
mesh-llm/1 | 主 mesh：gossip、路由、HTTP 隧道、插件通道 |
mesh-llm-control/1 | 拥有者控制面（配置同步、归属证明） |
skippy-stage/2 | 切分模型用的低延迟激活值传输 |
主连接内部，所有流量都是一条带「前导字节」标记的双向 QUIC stream，靠第一个字节区分类型： gossip 用 0x01，推理代理 0x04，路由查询 0x05，节点掉线 0x06，优雅退出 0x07，插件 RPC 0x08，NAT 穿透的地址交换 0x0e。一条连接同时跑 gossip、推理、路由查询和节点生命周期事件，全靠这个首字节解复用。
巧妙之处在这里：iroh 给到的是任意两台机器之间、按公钥寻址、带认证的 NAT 穿透 QUIC。于是「路由给 peer」和「把激活值流向下一级流水线」变成了一个和「跟 localhost 说话」一模一样的原语——只是端点 ID 不同。网络从此不再是需要你操心的事。
iroh 只负责安全传输。Mesh LLM 自己在上面搭了 gossip 层，由它决定谁能被放进 mesh、哪些版本互相兼容、该信任哪些 peer。
上手与边界
用户装一个约 18MB 的轻量程序，既能加入公共 mesh，也能配置私有部署。系统对标准 OpenAI 客户端呈现为 localhost:9337/v1。移动端 app 在路线上，基于 iroh 的 Swift SDK，计划讲 ACP（新兴的 agent 标准），让别的客户端也能进 mesh。贯穿始终的动机和整个项目一致：更 P2P，更少封闭服务器，没有锁定。
HN 上的讨论把几个现实问题摆到了台面。性能数字缺位是头一个被点的：有人推算切分模型在消费级网络上每生成一个 token 要跨网络搬约 2 × hidden_size × num_shards 字节，1Gbps 以太网和本地 RAM、甚至磁盘比起来都慢得离谱，问的是「1 token/s 还是更慢」。贡献者回应说，他在家庭实验室用 5ms 延迟和抖动模拟过——metro 级延迟的 WAN 下切分表现不错，全球 WAN 就没那么快；想法是拿几台没有 RDMA 或 NVLink fabric 的机器，用你自己的硬件服务一个大模型，再和别人共享。具体配置是他那两台 Mac Studio（M3 Ultra 256GB、M1 Ultra 128GB）走 1Gbps 以太网，配定制的 Q2 量化（敏感张量保留 Q8），正在做 GLM 的 DSA Metal 图来压低每层计算时间。
更尖锐的是公共 mesh 的激励问题。有人直接问：我凭什么加入公共 mesh？有没有公平性保证——比如我贡献了跑某个模型所需 1/8 的显存，能不能拿到至少 1/16 的推理份额？这种「贡献算力换什么」的问题，Mesh LLM 目前没有给出清晰答案。社区也把它和更早的同类努力（AI Horde、Nous Research 的分布式训练、Aphrodite 的尝试）摆在一起比较：AI Horde 用 kudos 积分和一周累计在线时长来换信任、防刷，这套经济设计 Mesh LLM 还没有。
参考链接：
- Mesh LLM 官方博客：https://www.iroh.computer/blog/mesh-llm
- HN 讨论：https://news.ycombinator.com/item?id=48876505