CosyVoice

GitHub ⭐ 15000许可:Apache 2.0模型类型:流式 TTS

阿里通义实验室开源的流式 TTS 大模型,支持语音克隆、情感控制和跨语言合成。

中文英语
阿里语音克隆流式中文优秀

CosyVoice 是阿里巴巴通义实验室(FunAudioLLM)开源的流式 TTS 大模型,也是目前中文语音合成模型领域最受关注的企业级开源方案之一。与前几代 TTS 系统不同,CosyVoice 以流式推理为核心设计理念,基于大规模预训练的音频语言模型,能够在极低首帧延迟下开始输出语音,非常适合语音助手、实时对话和直播等对响应速度要求苛刻的场景。

作为开源 TTS 领域的“六边形战士”,CosyVoice 集成了多项前沿能力:零样本语音克隆——仅需 3 秒参考音频即可复刻说话人音色;细粒度情感控制——可指定开心、悲伤、惊讶等多种情感表达;跨语言合成——用中文说话人的音色说出流利的英语。模型在中文语音合成上的表现尤为突出,特别是在新闻播报、有声书朗读等专业场景下的自然度和清晰度均达到业界顶尖水平。项目基于 Apache 2.0 协议开源,配备了完善的 WebUI 和 API 接口。

CosyVoice 的发布标志着阿里在语音合成模型领域的深厚积累向开源社区的全面开放。项目提供了从模型训练到推理部署的完整工具链,支持 NVIDIA 和 Ascend NPU 等多种硬件平台。在实际应用中,CosyVoice 已经在智能客服、虚拟数字人和内容创作等场景落地。不过,与其他大模型方案类似,CosyVoice 对 GPU 显存有一定要求(建议 ≥8GB),且在非中英语言的覆盖上较为有限。随着 CosyVoice 2.0 等后续版本的推进,这些限制正在逐步被突破。