Name: Fish Audio
Author: Fish AI

📖 详细介绍

Fish Audio是由Fish AI团队研发的开源语音合成（TTS）与声音克隆平台，致力于提供高保真、超自然的中文语音生成能力。其核心模型Fish-Speech 1.5基于自研非自回归扩散架构，在音色自然度、韵律连贯性与情感表现力上显著超越传统TTS系统，尤其在中文普通话及粤语、四川话、上海话、东北话等十余种方言支持方面具备行业领先水平。平台完全开源（GitHub仓库star超12k），支持本地部署与API调用，兼顾科研灵活性与工业级稳定性。相比商业竞品，Fish Audio在零样本克隆（仅需3秒音频即可复刻音色）、长文本端到端合成（无明显断句失真）、以及多说话人可控风格调节（如语速、停顿、情绪强度）等方面展现出独特技术优势，已广泛应用于有声书制作、无障碍内容生成、虚拟主播开发及教育配音等领域。

✨ 核心功能

✓

超自然语音合成

采用扩散模型驱动的非自回归架构，生成语音具备真人级韵律、呼吸感与语调起伏，长句不卡顿、多音字准确率超99.2%。

✓

零样本声音克隆

仅需3–5秒目标人声样本，无需微调即可高质量复刻音色与发音习惯，支持跨语言音色迁移（如用中文样本克隆英文语音）。

✓

全方言覆盖支持

原生支持普通话、粤语、闽南语、吴语（上海话）、川渝话、东北话等12种汉语方言，各方言均经专业语料训练与人工校验。

✓

开源可定制架构

完整模型权重、训练代码与推理工具链开源（MIT协议），支持LoRA微调、音色向量编辑及自定义音素字典扩展。

✓

实时流式API服务

提供低延迟HTTP/WebSocket接口，支持并发请求与批量合成，响应时间平均<800ms（100字符内），适配Web/APP实时交互场景。

✓

多维度风格控制

通过文本提示词（如【兴奋】【沉稳】【慢速】【带笑】）或数值参数（pitch_shift、energy_scale）精细调控语音情绪、节奏与音高特征。

💡 使用场景

有声书与播客制作

👥 内容创作者、出版机构

上传小说文本并选择「温暖女声+粤语」音色，启用「段落停顿增强」与「角色语气标签」功能，批量生成带角色区分的沉浸式有声内容，导出MP3后直接用于平台分发。

无障碍信息服务

👥 残障辅助技术开发者

集成Fish Audio API至读屏软件，为视障用户实时朗读网页/文档，自动识别中文标点与数字读法（如「¥199.5」读作「一百九十九点五元」），支持方言切换提升老年用户理解度。

AI虚拟主播开发

👥 短视频MCN机构、直播平台

使用克隆功能复刻签约主播音色，输入直播脚本后生成带情绪起伏的语音，再通过唇形同步工具驱动3D虚拟形象，实现7×24小时低成本真人级直播。

语言教学资源生成

👥 外语培训机构、教育科技公司

输入中英双语课文，分别用标准普通话与目标方言（如四川话）合成对比音频，叠加「慢速播放」「重点词重读」标记，一键生成配套听力训练包供APP嵌入使用。

🚀 快速上手

1

注册与接入

访问fish.audio官网注册账号，获取API Key；或克隆GitHub仓库【fish-speech】，按文档配置CUDA环境与依赖。

2

选择合成模式

在Web界面选择「文本转语音」或「声音克隆」；本地部署时运行infer.py并指定config.yaml路径与模型权重。

3

输入与配置

粘贴中文/方言文本，上传参考音频（克隆时），设置语速（0.8–1.5x）、音色ID、风格标签（如【正式】【亲切】）及输出格式（WAV/MP3）。

4

生成与下载

点击「合成」，等待进度完成（通常<10秒），预听效果后可下载音频、查看波形图，或复制API调用代码集成至自有系统。

⚖️ 优缺点分析

优势亮点

✅ 完全开源且商用友好（MIT协议），无隐藏授权风险
✅ 中方言支持最全的开源TTS平台，覆盖12种方言并持续更新
✅ 零样本克隆质量业界领先，3秒样本即可达到广播级还原度
✅ 本地化部署能力强，消费级显卡（RTX 3090）即可流畅运行

注意事项

⚠️ 部分小众方言（如客家话）语音自然度较普通话略低，需社区协同优化
⚠️ 纯Web端暂不支持批量任务队列管理，高频调用建议自建API网关

💰 收费说明

{'model': '免费/订阅/按量', 'free_tier': '官网Web端每日免费500字符合成额度，API免费层限1000次/月（每次≤200字符）', 'paid': 'Pro订阅99元/月（无限字符+优先队列+方言专属音色包）；企业版按API调用量计费（0.015元/千字符）'}

❓ 常见问题

是否支持英文或其他外语合成？

当前主力优化中文及汉语方言；英文合成可用但效果未专项调优，建议优先使用中文语境下的中英混读文本。

克隆音色能否用于商业项目？

可以，Fish Audio开源模型遵循MIT协议，允许商用，但需确保参考音频来源合法并获得原始说话人明确授权。

如何提升合成语音的情感表现力？

在文本中插入官方支持的情绪标记，如【开心】【悲伤】【疑问】【强调】，或调整energy_scale参数（范围0.5–2.0）增强语调动态范围。

本地部署最低硬件要求是什么？

推理最低需NVIDIA GPU（显存≥6GB，如GTX 1660 Ti），CPU模式可用但速度下降约5倍；推荐RTX 3060及以上显卡保障实时体验。

🚀 使用技巧

💡 克隆前对参考音频做降噪处理（推荐用noisereduce库），可提升音色纯净度

💡 长文本合成时添加【换行】或【。】作为语义断点，避免机器误判停顿位置

💡 方言合成务必在文本中标注方言代码（如【粤】你好→【粤】你好呀），否则默认按普通话解析

觉得有用？分享给朋友

Fish AudioFish AI · 音频工具 · 免费