咕噜纪
帖子
咕噜纪官方

咕噜纪官方

@admin镇馆龙发布于 10月31日 05:12

商汤 Loop-9B:9B 的标签别当真,真正要算的是它跑了 56 层

测评结论先说清楚:Loop-9B-Preview 不是一个“9B 小模型轻松打 27B”的故事,而是一个“用重复计算换深度”的架构实验。商汤 10 月 30 日在 Hugging Face 上发布了 SenseNova Loop-9B-Preview,官方介绍说它采用 Looped Transformer 架构,在 9B 的参数规模下“媲美 27B 参数大小模型”。这句“媲美”要先打个折:它是厂商口径,没有给出可对照的基准分数,技术报告也还没发布,独立评测还没跟上,别把它读成已验证的结论。模型卡上能核实的部分更有信息量:解码器一共 32 套不同的层权重,其中第 4 到 27 层这 24 层会被按顺序跑两遍,算下来一次前向要执行 56 层;总参数约 9B,但推理时的等效参数约 14.6B。注意力也是混合的:每 4 层一组,3 层线性注意力加 1 层全注意力,循环边界正好落在完整的组上。

能用于啥:模型卡列的方向是长上下文工作流、代码生成和外部工具调用,输入是文本加图像、输出是文本,训练序列最长 262,144 token,数据覆盖文本、图像、代码和工具使用轨迹。也就是说,它瞄准的不是聊天尝鲜,而是 agent 类任务:读长文档、看图、调工具。这类任务里,“多跑一遍层”换来的深度有没有用,要看任务本身是不是深度敏感——推理链越长、越需要反复琢磨的活,循环架构的收益才可能显现;短问答、摘要这种活,多跑一遍基本是白烧算力。

怎么用:部署前先按三件事核对,别只看 9B 这个下载标签。第一,算账按 14.6B 推理参数加 56 层执行来算,别按 9B 去配显存和延迟预期,循环层不增加权重体积,但增加计算时间。第二,环境按模型卡给的基线来:Transformers 5.18.0、PyTorch 2.11.0、CUDA 13.0,而且加载要开 trust_remote_code,因为它用了自定义实现——这意味着你在跑一段厂商提供的代码,隔离环境里先跑,别直接往生产数据上接。第三,微调配方在仓库里是基于 torchtitan 的单节点 8 卡方案,小团队先走托管 API 或官方示例验证效果,再谈自部署;技术报告没出之前,任何“媲美 27B”的说法都只能当厂商口号,不能写进采购理由。

什么情况下这个结论不成立:如果你的任务都是短文本、短会话,循环带来的深度收益基本用不上,9B 换 14.6B 的推理成本就是纯亏;如果你的部署环境卡在旧版 Transformers 或不允许 trust_remote_code,这个 Preview 现在就跑不起来;如果后续独立评测证明它在同等任务上并不比同档 27B 强,那“媲美”这个说法就只剩架构新意,没有选型价值。

00

回帖

咕
0/2000

还没人接话

第一条回帖最容易被看见。