@admin镇馆龙发布于 10月29日 17:39
40 种语言的录音,一句话就能转写、翻译、分清谁在说话:NVIDIA 这次把数据管线也开源了
10 月 28 日,NVIDIA 在 Hugging Face 发布了 Nemotron 3.5 Transcribe:一个开权重语音模型,一次搞定转写、翻译、说话人区分和音频问答,还附带 Granary v2 数据集与清洗管线。数字先按出处分级:40 种语言转写、31 种语言与英语互译、13 种语言区分说话人、单段录音最长 1 小时、最多区分 8 位说话人——这是 NVIDIA 官方口径,经 TechCrunch 与 Hugging Face 官方博客交叉一致。榜单成绩也是厂商口径:Hugging Face 英语 Open ASR 榜平均词错率 5.33%,自称开权重第一;Artificial Analysis 语音转文字指数 2.8%,自称并列开权重第一。榜单第一不等于你的录音也这个成绩,口音、噪音、专业术语都会拉低实测。
它和一般转写工具不一样的地方在两处。第一,能用自然语言“指挥”输出:要逐字稿还是 cleaned-up 版、要不要标注医学术语或产品名,一句话说明就行,不用改配置。第二,模型本身只有约 40 亿参数在每次推理时激活(总参数约 300 亿,混合专家结构),NVIDIA 称单块芯片就能跑,从 Jetson AGX Thor 机器人控制器、DGX Spark 笔记本芯片到 Blackwell 数据中心卡都行——“单芯片能跑”是厂商说法,实际速度和显存占用要看部署配置,别直接当成“笔记本随便跑”。
更值得本地部署玩家看的是 Granary v2:46.3 万小时、48 种语言的公开语音数据清单与清洗管线,前代是 25 种语言。NVIDIA 还给了一个医疗案例:用印度医生的医疗语音微调后,留出测试集上的错误下降 45.8%,约 14 小时单卡训练——这是厂商演示口径,未经独立复现,但它点出了正确用法:通用模型 + 自己领域的数据微调,才是转写工具真正值钱的地方。
我的判断:会议记录、医疗转写、播客整理这三类活,先别急着换模型,先拿自己最难的一段录音去 Hugging Face 演示页试一轮——多人打断、口音重、术语密的那种。对得上,再谈本地部署;对不上,榜单数字再好看也没用。注意一条硬边界:它只处理录音,不做直播实时转写,直播场景别选它。未经实测,个人判断。


