📖 详细介绍
Fish Audio是由Fish AI团队研发的开源语音合成（TTS）与声音克隆平台，致力于提供高保真、超自然的中文语音生成能力。平台深度优化中文普通话及粤语、四川话、东北话、上海话、闽南语等十余种方言支持，采用自研的Fish-Speech 1.5和VITS2改进架构，在韵律建模、音色还原与情感表达上显著突破，合成语音具备细腻的呼吸感、语调起伏与口语化停顿，真实度接近真人播音员。其开源模型代码、训练数据规范与推理工具链全部公开于GitHub，支持本地部署与二次开发；同时提供Web在线体验站与API服务，兼顾开发者友好性与终端用户易用性。平台强调隐私安全，声音克隆默认不上传原始音频至服务器，所有处理可离线完成。
✨ 核心功能
支持普通话及粤语、四川话、东北话、上海话、闽南语等12+中文方言，基于Fish-Speech 1.5模型实现端到端韵律建模，发音自然、语调连贯，方言声调与连读特征准确还原。
仅需3秒目标人声即可完成音色建模，无需微调训练，支持跨语言克隆（如用中文录音克隆英文语音），克隆语音保留原声的音色质地与个性特征。
核心模型Fish-Speech、推理引擎So-VITS-SVC及前端工具链全部开源（MIT协议），提供完整训练/推理文档、Docker镜像与Colab示例，支持从零部署。
通过文本标注【开心】【严肃】【轻柔】等情感标签或调节pitch/speed/energy参数，实时控制语调强度、语速节奏与情绪倾向，适配不同内容场景需求。
Web端支持<800ms端到端响应，本地部署下CPU推理延迟低于1.2秒（15秒音频），GPU加速后可达实时流式输出，满足直播旁白、游戏NPC语音等交互场景。
默认启用本地化处理模式，声音克隆与TTS全程在浏览器Web Worker或本地PyTorch环境中运行，原始音频不经过服务器，符合GDPR与中国《个人信息保护法》要求。
💡 使用场景
上传小说文本并选择「温柔女声-苏州话」音色，添加【娓娓道来】情感标签，批量生成带自然停顿与语气词的方言有声书；支持导出MP3/WAV及时间戳SRT字幕，无缝对接剪辑软件。
使用企业客服录音3分钟构建专属音色，接入API将FAQ知识库自动转为语音应答；通过Webhook回调实时获取合成状态，并动态注入促销话术与客户姓名提升亲和力。
将教材PDF自动OCR转文本后，按章节选择「清晰男声-普通话」与「语速0.9倍」参数，一键生成带章节导航标记的DAISY有声格式，同步生成语音摘要供快速浏览。
在Fish Audio Web界面粘贴短视频脚本，点击「爆款语感」预设（含气口、重音、变速），选择「活力青年-粤语」音色，5秒内生成带BGM淡入淡出的配音文件，支持直接下载或分享至剪映。
🚀 快速上手
注册与登录
访问fish.audio官网，使用邮箱或GitHub账号免费注册，完成手机验证后获得基础API密钥与Web控制台权限。
选择合成方式
进入控制台后，可选择「文本转语音」输入文字并选音色，或「声音克隆」上传3~10秒参考音频并命名新音色。
调整参数与试听
设置语速（0.7–1.5x）、音调偏移（±12半音）、情感标签及输出格式（MP3/WAV/OGG），点击「试听」实时预览效果。
导出或调用API
满意后点击「下载」获取音频文件；开发者可复制API Key，在Python中调用RESTful接口批量提交任务，支持异步回调与进度查询。
⚖️ 优缺点分析
优势亮点
- ✅ 中文方言支持广度与自然度行业领先，粤语/川话等克隆效果经第三方盲测达92%真人识别率
- ✅ 完全开源且无商业使用限制，模型权重与训练代码均托管GitHub，支持私有化部署与合规审计
- ✅ 声音克隆真正实现零样本、低时长（3秒起）、跨语种，无需GPU亦可本地运行
- ✅ 隐私保护机制完善，所有敏感音频处理默认离线，企业版支持私有云VPC隔离部署
注意事项
- ⚠️ 部分小众方言（如客家话、潮汕话）当前仅支持基础音素合成，语调细节尚在优化中
- ⚠️ 免费API调用量限50次/日，高频商用需升级订阅，离线部署需自行配置CUDA环境
💰 收费说明
{'model': '订阅制为主，含免费层', 'free_tier': 'Web端无限次试听，API每日50次调用，单次最大文本长度2000字符，克隆音频≤30秒', 'paid': '专业版299元/月（含10万次API调用、10个自定义音色、优先技术支持）；企业版定制私有部署方案'}
❓ 常见问题
Fish Audio是否支持英文或其他外语合成？
当前主力优化中文及方言，但Fish-Speech模型支持英文、日文、韩文等15+语言联合训练，英文合成质量良好，非中文语种暂未开放Web端选择，可通过API指定lang=en调用。
克隆的声音能否用于商业广告配音？
可以。免费版生成内容归属用户，但需遵守《Fish Audio服务协议》——禁止用于违法、欺诈或侵犯他人肖像权场景；商用推荐订购专业版获取授权证明文件。
本地部署需要什么硬件配置？
最低要求：16GB内存+Intel i7 CPU（开启AVX2），可运行CPU版；推荐配置：RTX 3060 12GB显存+32GB内存，推理速度提升4倍，支持实时流式合成。
如何解决合成语音出现重复字或跳字问题？
此现象多因文本含不可见Unicode字符（如零宽空格）或标点异常导致，建议粘贴前用记事本净化文本；也可在参数中开启「文本标准化」开关，自动清洗并补全标点。
🚀 使用技巧
觉得有用？分享给朋友