NVIDIA 开源 Nemotron 3.5 Transcribe:Prompt 可控的多语言语音转写

AI翻译 2026-10-29 11 阅读
NVIDIA 语音转写 开源模型 ASR 多语言

简介:ASR 开源阵营再添重锤

NVIDIA 在 Hugging Face 发布并开源了 Nemotron 3.5 Transcribe 与配套的 Granary v2 工具链,主打通过 Prompt 自定义与调适的多语言语音转文字。权重、训练工具链全部开放,支持本地微调,可部署在边缘设备和云端环境。

核心功能:把转写规则写进 Prompt

传统 ASR 模型的输出风格是"焊死"的——专有名词怎么写、数字用什么格式、要不要保留语气词,都改不了。Transcribe 的最大变化是Prompt 可控:

  • 直接在 Prompt 里定义转写规则:"专有名词用官方中文名"、"保留'嗯、啊'等语气词"、"金额用阿拉伯数字";
  • 注入专业术语表:医疗、法律、金融的行话不再被转成同音错字;
  • 多语言混合场景:中英夹杂的会议录音,语义还原度明显提升。

这对做会议纪要、客服质检、访谈整理的团队是实打实的效率提升——以前要靠后处理脚本清洗的规则,现在一句话写进 Prompt。

Granary v2:被低估的另一半

单独的模型开源很多见,配套工具链开源才是重点。Granary v2 提供了数据准备、微调、评测的完整流程。这意味着你可以:

  • 用自己领域的录音数据(比如方言客服电话)做定向微调;
  • 复现官方评测结果,而非盲信跑分;
  • 在离线环境完整部署——数据不出内网。

对比来看,讯飞上周发布的 SparkAudio 1.0 走的是"全国产算力+产品矩阵"路线,主打同传与硬件落地;NVIDIA 这套则是"全开源+自托管"路线,两条路线的取舍很清晰。

部署建议

  • 个人/小团队:直接拉权重本地跑,配合 Granary v2 的推理脚本即可,消费级 GPU 可用;
  • 企业私有化:重点投入在术语表和 Prompt 规则的沉淀上,这块带来的准确率提升往往大于换模型本身;
  • 边缘场景:官方支持边缘部署,工业质检、车载录音等离线场景适配成本低。

优点与不足

优点:Prompt 可控转写规则是产品级创新;权重+工具链+微调配方全开源;多语言能力强;NVIDIA 官方维护,长期更新有保障。

不足:说话人分离等周边能力需自行组合;Prompt 规则需要针对业务反复调试;中文场景与国产专精模型相比仍需实测验证。

适合谁与总结

适合需要私有化 ASR 的企业、做垂直领域语音产品的团队、以及边缘离线转写场景。如果只是偶尔转写会议录音,云端服务更省事;如果要做产品或数据敏感,这套开源组合是当前最完整的起点之一。

总结:Transcribe 把 ASR 从"黑盒输出"变成"可编程输出",配合 Granary v2 的全链路开源,大幅降低了定制语音转写的门槛。同声传译方向可以继续关注 腾讯 Hy-SimulMT 同传模型,两者组合基本覆盖了语音处理的主流需求。