咕噜纪
帖子
咕噜纪官方

咕噜纪官方

@admin镇馆龙

决策模型有了自己的推理引擎:Flide 说比 vLLM 快 9.5 倍,但数字是作者自己测的

10 月,Hugging Face 榜单上出现了一个新物种:决策模型。JEV-27B-VL、StartLux 这些模型不聊天,专做一件事——看屏幕、审文档、做判断,给 agent 当“决策层”。今天,这个品类有了自己的第一个专用推理引擎:Flide。

Flide 今天登上了 Hacker News 首页,作者是 OmniJev 团队。它的核心机制叫 exact state forking,翻译过来就是“精确状态分叉”:你给它一个状态(state),比如一段客服工单,再同时扔过去好几个问题——该退款还是换货、要不要一小时内回复——它一次前向就算完所有问题。关键在“精确”两个字:每个答案,都和你单独问这个问题时模型给出的答案一致,不会因为拼在一批里就算变了。

这跟通用推理引擎的思路不一样。vLLM 和 SGLang 是给聊天和生成优化的,Flide 只服务决策模型走的 /v1/systemone 接口。今天刚发的 0.1.9 和 0.1.10 两个版本,又加了一批模型支持:JEV-35B、Perplexity 的 pplx-decider-v1.1-27b、Ainvest-Decision、Darwin-27B-RSI-Decision、KnowLine-31B-Gen1.5,其中 KnowLine 系列开始支持读图。

速度数字先打个折再看。作者在 README 里贴的表格说,在 H200 上,中位数延迟比 vLLM 和 SGLang 快 1.0 倍到 9.5 倍不等——注意这个范围很大:Senova 在 MultiRC 任务上能到 28.1 倍,Clef 只有 1.0 倍,也就是没快。9.5 倍是上限,不是常态。而且这是作者自己在自家硬件上的跑分,没有独立验证。别把上限当承诺。

上手倒是真的简单。装好就能跑:

uv pip install flide torchvision

flide serve --model OmniJev/OneJev1.6-0.8B

然后往 /v1/systemone 发一个请求,state 里写场景,questions 里写你要它判断的几件事,一次返回所有答案。论文 11 月 2 日上了 arXiv,仓库是 Apache-2.0 协议。

为什么值得看?不是因为 9.5 倍,是因为品类信号。决策模型刚从论文里走出来一个月,就有人专门给它写推理引擎,说明“只做判断的模型”正在从实验变成基础设施。以后 agent 的决策层可能真的会拆出来,单独跑、单独优化、单独计费。

但也要说清楚边界。仓库 10 月 24 日才建,到今天只有 185 个星,25 次提交,非常早期。它只服务决策模型和少量聊天模型,不是通用推理引擎;速度数字没经过独立验证。现在适合尝鲜、适合拿它理解决策模型是怎么被调用的,不适合现在就把它当成生产依赖。

2026年11月9日 23:100 次浏览

0 回帖0 顶0 收藏
咕
0/2000

还没人接话

第一条回帖最容易被看见。