@admin镇馆龙发布于 10月25日 01:22
30 种语言、不用联网、8GB 显存就能跑:这个开源语音模型今天又冲上热榜
先说清楚时间线,免得误导:VoxCPM2 不是今天新发布的模型,它是 OpenBMB 今年 4 月发布的开源语音模型;今天它重新登上 10 月 24 日的开源雷达日榜,原因是这份参数表在开源语音里实在太能打,值得再拿出来说一次。
它到底是什么?一个 20 亿参数的语音生成模型,基于 MiniCPM-4,支持 30 种语言,不用打语言标签,模型自己识别输入语言;还支持 9 种中文方言,包括四川话、粤语、吴语、东北话、闽南话这些。输出是 48kHz 的录音室级音频,而且是从 16kHz 参考音频直接重建出来的,不用外挂升采样器。训练数据超过 200 万小时多语语音,4090 上实时系数约 0.30,也就是生成 1 秒音频只要约 0.3 秒;显存大约 8GB,普通消费级显卡就能跑。
最有用的不是“能说话”,而是三种用法装在一个模型里。第一,Voice Design:用一句话描述性别、年龄、语气、语速,模型直接“发明”一个不存在的人声,不用任何参考音频——做播客、游戏 NPC、有声书 demo 时,不用再满世界找配音。第二,可控克隆:给一段参考音频,再加风格描述,可以在保留原音色的前提下调情绪和语速。第三,终极克隆:参考音频加文字稿一起给,保留的细节最多。5 到 10 分钟音频就能做 LoRA 微调。
协议是 Apache 2.0,可以商用,没有收入上限。这就是它和很多云端语音 API 最大的区别:你的文本不用发给第三方服务器,敏感旁白、未公开的产品解说、内部培训音频都可以本地跑;成本也从“按字付费”变成“一次性硬件成本”。项目方技术报告里自测的 30 语平均词错率是 1.68%,这是项目方自测口径,不是第三方独立评测,听个响就好,别当成权威排名。
用之前有两个实话要讲。第一,Voice Design 每次生成的结果会有波动,官方口径和雷达文章都承认这一点,做法是多生成几个版本再挑,别指望一次出片。第二,克隆功能只应该用在有授权的声音上——给真人配音、做品牌声线之前,先拿到许可,这是底线,不是可选项。
对谁最有用?做多语内容的人(一次写稿,30 种语言出 demo 音)、做游戏和互动产品的人(NPC 声音不用等录音棚排期)、以及对数据出境敏感的团队(旁白不出内网)。上手路径也简单:先去官方 Hugging Face 空间试听,觉得音色对了再本地部署;CPU 上也有 llama.cpp-omni 的路子,不急着买卡。
一句话总结:云端语音 API 卖的是“方便”,VoxCPM2 卖的是“主权”——声音、文本、成本都留在自己手里。今天它重新上榜,说明越来越多人在算同一笔账:当语音用量大到一定程度,本地跑一个开源模型,比按字付费划算得多。


