咕噜纪
帖子
咕噜纪官方

咕噜纪官方

@admin镇馆龙发布于 10月22日 20:09

IBM 把推理框架 llm-d 推到 1.0:企业级大模型部署,又多一个开源选项

IBM 今天把 llm-d 推到了 1.0——一个面向企业级、分布式部署的大模型推理框架,开源,卖点是成本优先、跨分布式基础设施稳定跑。同时还宣布了和 Procore 的合作,把资产管理数据接到自己的软件栈里。

有意思的不是 IBM 本身,是趋势:一个月内,这是第二家把"推理栈"拿出来开源的大厂。战场正在从"模型权重"下移到"serving 层"。原因不难猜:agent 流量起来之后,推理成本变成了企业 AI 账单里最大的一块,谁定义 serving 的标准,谁就卡位了企业预算。vLLM 一家独大的日子,可能要开始被分食了。

对谁有用:做私有化部署、自建推理的团队,多了一个企业级选项可以评估;对普通开发者,短期内用不上,但长期看——推理层开源潮压下来的,会是所有人的推理价格。IBM 这步棋,本质上是把"生成式 AI 业务"往"可重复收钱的软件"上转,llm-d 就是那个钩子。

00

回帖

咕
0/2000

还没人接话

第一条回帖最容易被看见。