过去半年，随着大厂的加入，TTS领域有了非常大的变化，在以前的文章中，我曾指出Speech是AIGC领域非常重要的一环，它将在众多AIGC领域不可或缺。TTS已经从传统的机器合成音，发展到了自然音阶段，当下的TTS项目，追求合成音的自然流畅，口语化、语气、停顿、口头禅、情绪价值等重要因素。过去一段时间，我调研了GPT-SoVITS, ChatTTS, CosyVoice, Fish-Speech等项目，同时对国内大厂云上的语音合成服务进行了了解，顺带对国外开放了合成接口的创业项目进行了试用。本文将详细阐述我所接触到的这些TTS项目，以及对它们在接入后是否符合预期做对比评测，以为正在做TTS技术选型的朋友提供参考。

TTS技术指标

在国内有一家叫做ttsmaker的网站，提供了非常多且免费的语音合成音色，是我认为国内目前最为优秀的传统TTS提供方。但可能由于其内部政策的原因，目前已关闭API服务，因此，我们无法将它作为技术备选。在此，需要指出，本文要评测的，是可以作为开发者可以常规接入，作为自己的TTS后端的技术备选，可以是服务商提供基于access_token的API，可以是类似云服务商提供的客户端SDK，也可以是开放源码自己部署为本地服务的，简而言之，如果产品虽好，但作为普通开发者无法接入的（如下文提到的Seed-TTS），不再本文考虑范围内。

我们进行TTS技术选型，一定是服务于我们的应用场景，而不是纯粹追求指标的全面性。从开发者角度，我认为我们要从以下指标去评估对应的备选是否满足我们的需求：

• 接入的便捷性：如果接入很麻烦，意味着后续的维护、升级都需要付出更多的工作
• 效果的出色度：就当下而言，合成语音越接近自然说话，效果越好
• 合成的稳定性：每次输出的效果要具有稳定性，声音保持一致，断句、背景电流声、停顿时长等都符合预期
• 成本的低廉性

每一个方面，都会有更多的细节指标来支撑，我会在最后的对比中，把这些细节指标列出来，让读者可以一目了然。

音色

在所有指标中，音色是最重要的指标。不同的模型，在生成效果上，对音色的依赖度都较大。有的甚至直接靠音色来决定生成语音的语速、风格和情感。音色可能成为当下的核心话题，虽然从社会学层面，克隆会带来一些伦理问题，但是从技术角度，想要获得具体的应用效果，在克隆上下功夫，是目前大部分团队正在努力的方向。

从技术控制的角度，除了音色外，我们希望自己控制情感、说话的风格（人物扮演的角色，例如同一个人，可以扮演家庭主妇、职场女强人、商店老板娘等等）、停顿、口头禅、情感强度、音量、语速、语言、音调（低沉或尖叫）等。只有在技术上我们可以完全独立控制这些参数，我们才能在具体的场景中获得更好的体验。例如在朗读小说时，不仅要为角色分配音色，而且还要在不同的故事情节中，对角色说的话进行情感、风格等的适配。当然，如果这些参数我们完全可控，可以借助大模型来生成朗读脚本。

TTS技术备选介绍

虽然本文试图收集更多技术备选方案，但过多的选项反而可能带来困扰，因此，我只列出相对知名的一些技术选项。

开源TTS项目

OpenVoice

可以说，OpenVoice开创了准确克隆人声的时代，它给技术界带来了新的思路。不过目前来看，OpenVoice的TTS效果已经远远落后于后起之秀。尽管如此，它依然是伟大的开源项目。目前出现了了ChatTTS+OpenVoice的组合，ChatTTS效果出色，但是克隆很逊，因此有这样的巧妙组合。

GPT-SoVITS

知名的声音克隆项目，GPT-SoVITS可以克隆出音色与原声极为接近的种子，而且所需的声音长度很短，克隆速度快，推理速度也快，支持中英语言。不过，虽然GPT-SoVITS在克隆上能够让输出的声音与原声更像，但是在推理时的自然度不够，能够比较容易听出是AI的合成声。

近期，GPT-SoVITS发布了2.0版本，在1.0的基础上做了多项提升。但是据社区小伙伴反馈，2.0之后，克隆的声音反而更不像原声了，但是稳定性获得了更好的保证。从某种角度讲，我们不应该追求与原声的相似，而应该追求稳定性。

Fish-Speech

相对冷门的TTS开源项目，Fish-Speech附属于大项目Fish Audio，Fish Audio团队部分成员来自GPT-SoVITS，技术上具有一脉相承的意味。

我在测试时，在其space demo中获得的克隆效果不佳，但在其官网克隆则可以获得声音更相似的效果。

MeloTTS

MeloTTS 是一个由 MyShell AI 开发的开源、高质量、多语言的文本转语音项目，可以将文本转换成自然流畅的语音输出，并支持英语、西班牙语、法语、中文、日语和韩语等多种语言。MeloTTS 特别支持 CPU 环境下的实时语音合成，无需依赖 GPU。

从体验来讲，MeloTTS 的合成语音只有轻微的机器感，这在开源项目中算是非常优秀。并且文本中的中文、英文和数字都几乎能准确地识别与合成，要说缺点的话就是没有太多的 voice speaker 选项，中文目前只找到了一个女声和一个男声。

另外值得一提的是，OpenVoice也是MyShell AI的项目。

ChatTTS

ChatTTS 也是一个开源的文本转语音项目，支持中文和英文。目前来说，是开源社区最活跃的TTS项目，社区出现的ChatTTS Forge项目在原项目等基础上做了很大的提升。其生成的效果非常接近真实人生。

不过，其团队出于安全和商业的考虑，开源版本的模型参数较小，且官方特意加入了噪声。

CosyVoice

CosyVoice是阿里发布的开源模型，附属于大项目FunAudioLLM。从官方的demo来看，其效果非常接近人声，其效果与ChatTTS类似，具有情感和口气。同时，其克隆效果也非常出色，是目前来说，国内最完整最优秀的TTS开源项目。

同时，阿里云上也提供了CosyVoice的服务，因此，下方就不单独提阿里云服务部分。

闭源TTS服务

微软Azure语音合成

从目前所有云服务公开的情况来看，Azure的语音合成是最优秀最稳定的选择，它提供了非常多的配置选项，可以帮助开发者在不同场景实现自己的效果。而且，网上有很多攻略，可以白嫖其免费额度。

TTSMaker

TTSMaker可能是基于Azure语音合成服务进行二次开发后的产品，其效果和性能非常令人惊艳。它提供了非常多的音色，也提供了长文本TTS，免费额度也足够普通用户使用。它分为国内版和海外版，域名即cn和com的区别，由于某些原因，com域名不能在国内访问，而由于某些原因，cn站点关闭了API服务。

火山引擎megaTTS

豆包背后使用了Seed-TTS，但是Seed-TTS并没有公开提供服务，字节在火山引擎提供了megaTTS，我有真实体验，从克隆的效果来看，非常的优秀，与豆包的克隆效果有的一比。不过megaTTS的收费比较贵。

Reecho睿声

国内较为专注语音相关的厂商，深圳的一家公司，提供了AI语音社区，可以实现合成和克隆，也开放了API。我自己试了一下克隆，效果只能说一般，但是它提供的分角色功能我觉得很有特点。

其他云语音合成

腾讯云、讯飞开放平台、有道智云都提供了语音合成服务。我没有真正体验它们的效果，但是阅读了它们的开发文档，从文档来看，感觉就不像是给普通开发者提供使用的。

ElevenLabs（仅英文）

ElevenLabs是国外的一家专注做AI语音相关的厂商，它的操作台一眼就能看出非常典型的国外小而美公司的特点。其TTS效果非常的优秀，但是只支持英文，如果给中文的话，会有非常重的外国人口音（有的情况下这竟然是一种特色）。

它有开发API，付费为订阅制，总体而言，虽然其功能很优秀，却不适合国内产品场景。

原生TTS功能

浏览器自带SpeechSynthesis

我们的浏览器自带了SpeechSynthesis接口，虽然这个接口是实验性的，但是其兼容性还是非常不错的。基于该接口，我们可以直接用javascript实现语音播报，特别是结合一些浏览器自带的分词工具，我们可以让SpeechSynthesis实现LLM边思考边说话的效果。

但是它的音色会由浏览器加载对应的声音模型，而且其生成的声音距离自然的人声还是比较远。

TTS技术选型对比评测

作为开发者，我们最终要根据当前的业务场景选择一项TTS技术来实现自己的功能。如果使用开源项目，则必须自己部署服务，并基于服务开发业务接口，难度最大；基于云服务，则不需要自己部署，虽然成本更高，但是稳定性和效果有保障；基于原生TTS或第三方原生库，成本低，难度低，但是语音效果不怎么好。

就目前来说，我们很难推荐哪一款技术选型是最合适的。我们可以根据自己的实际需求来进行选择。

总结而言：

• 如果是为了长文本读小说，可以选择TTSMaker或Azure的AI语音服务
• 如果仅仅是为了能够发出声音进行阅读，为了追求实时性，流式阅读，可以选择浏览器SpeechSynthesis
• 如果追求免费可商用自由度高，就选GPT-SoVITS，MIT协议可以克隆，效果稳定，相似度虽然不够，但起码能用
• 如果追求克隆口语化，接近自然人声，就选CosyVoice阿里云服务或Azure的AI语音服务
• 如果追求克隆音色相似度很高，可以尝试火山引擎的语音合成服务，贵就贵点

至于chatTTS和Fish-Speech，由于其协议问题，不建议采用。

结语

随着AI应用的发展，市面上会出现愈来越多GPT-4o发布时演示的与智能体实时对话的应用，这也是迈向机器人时代的重要一步。然而就目前市面上的TTS产品而言，就目前来说，都无法做到最好，特别是在口语化上，无法做到极致的自然交流。当然，这或许也不是一件坏事，毕竟我们有的时候还是需要区分是自然人声还是机器声，特别是在诈骗横行的当下。作为产品的开发者，我们在追求极致的同时，也应该考虑到安全性，避免由此带来的政策风险和将来的法律问题。

2024-08-28 1468