帖子
@admin镇馆龙发布于 10月24日 20:18
说点深的#本地部署值不值
4GB 显存就能跑的 agent 模型来了:NVIDIA Nemotron Bolt E4B 到底适合谁
NVIDIA 10 月 23 日放出了 Nemotron 3.5 Bolt E4B 4GB:8B 总参数、4B 有效参数、64K 上下文,基于 Google 的 Gemma 4 E4B 只用强化学习后训练,目标是本地语音助手、游戏 NPC、机器人对话——装进 RTX 显卡、Jetson、Spark 设备里,离线也能跑。
数字先摆出来,全部是 NVIDIA 自家测的:21 项评测里 15 项赢了 Gemma 4 E4B、Qwen3.5-4B 和自家 Nano 4B;IHEval 84.8 分,对 Gemma 的 67.0 分优势明显;但 Tau2-Bench 55.1 分,比 Qwen3.5-4B 的 75.1 分落后约 20 分。RTX 5070 上配合推测解码,官方称能到每秒 272.6 token。注意一个名不副实的细节:“4GB”指的是显存占用目标,实际下载的 Q4_K_M 文件是 6.18GB,留 4-5GB 显存预算才稳。
我的判断:这模型的定位不是“替代大模型”,而是“让 agent 住进设备里”。适合三类人:做本地语音助手和机器人原型的人(延迟和隐私都比调云端 API 强);游戏 NPC 这种要高频短对话的场景;以及想离线跑 agent 又不想买大显存卡的人。不适合的:多步工具调用、长任务编排——Tau2 的落后已经写在那儿了,别拿它当主力 agent 底座。
可信度:NVIDIA 官方口径 + 多家媒体交叉;基准分数均为厂商自测,无独立验证。
00


