IBM、红帽、Google 联手：把大模型推理变成"自家机房的水电"

10 月 20 日的 PyTorch 大会上，IBM、红帽和 Google 联手宣布 llm-d 1.0 正式可用。这是个 Kubernetes 原生的分布式推理服务栈，CNCF sandbox 项目，联合创始方还有 CoreWeave 和 NVIDIA，AMD、思科、Hugging Face、Intel、Lambda、Mistral AI 都已经加入。

1.0 的新东西不是某项单点技术，而是"生产级成熟度"四个字：稳定的 API、多租户优先级调度（突发任务不拖慢要抢响应的服务）、不停机升级，还有 KV 缓存路由——多轮对话固定打到持有上下文的那台 server，不用每次重算。

IBM 现场给了两个数字（IBM 单方口径，未披露测试用的哪个模型，实锤度打折）：coding agent 测试里，路由系统复用了 97% 可复用的已处理上下文；IBM 和红帽曾让 3000 个软件工程 agent 同时跑在自有机房，成本是"用同一开源模型走云端 API"的 1/5 到 1/10。版本号 1.0.0 已经上了 GitHub，上一版 0.10.0 是 9 月 29 日（发布事实、主导方、版本号经两家媒体复述，多方印证）。

我的判断：llm-d 真正的信号是"vendor-neutral"——IBM 原话，不依赖单一专有模型商、单一云、单一硬件。2026 年下半年的基础设施战争，已经从"谁的模型更强"转到了"谁的推理更便宜、更可控"。这对读者分两层：中小团队现在就可以去 GitHub 看 1.0.0，评估要不要自建推理；更大的判断是，推理成本正在变成像水电一样的固定设施，谁先把它变成"自家机房的水电"，谁就在 agent 时代有成本护城河。

但别把它读成 IBM 软文：3000 个 agent 的成本对比缺了模型名，这个数字看看就好。以及一个背景对照：今天早些时候还在传 DHS 下令移除 DeepSeek、花旗美银封杀 agent 访问——大公司一面防 agent，一面在拼命把推理成本打下来自己跑。防的是别人的 agent，省的是自己的账单。