ChatTTS 一夜爆火， 极速出圈， 3 天就斩获 9k 的 Star 量， 截止 2024.06.04， 已经 19.3k 的 star， 极速接近 GPT-soVITs 当天的 26.2k 的 star 数。
什么是ChatTTS？
TTS全称：Text To Speech（也就是文本转语音模型）。ChatTTS是专为对话场景设计的语音生成模型，特别适用于大型语言模型(LLM)助手的对话任务，以及诸如对话式音频和视频介绍等应用。它支持中文和英文，通过使用大约100,000小时的中文和英文数据进行训练，ChatTTS在语音合成中表现出高质量和自然度。
现在ChatTTS正式上线了官网，所有用户都可以直接在线体验了。
相关链接
ChatTTS中文官网：https://chattts.com/zh
GitHub项目地址：https://github.com/2noise/ChatTTS
Hugging Face模型地址：https://huggingface.co/2Noise/ChatTTS
ChatTTS Web_UI链接：https://github.com/jianchang512/ChatTTS-ui
bilibili视频：https://www.bilibili.com/video/BV1zn4y1o7iV
使用页面
text:指的是需要转换成语音的文字内容。
Refine text:选择是否自动对输入的文本进行优化处理。
随机度:一个控制输出随机性的参数，数值越大，生成的语音随机性越高，这可能导致生成的语音质量有时更好，有时更差。
声音选择:默认值为2222，这是一个数字参数，用于选择声音的类型。可选的数字有2222、7869、6653、4099、5099，可以任选其一，或者输入其他数字以随机选择声音。
定制声音:这是一个正整数参数，用于定制声音的音调和音色。如果设置了此值，将优先使用，而忽略声音选择参数。
提示设置:用于添加笑声、停顿等效果。例如，可以设置为[oral_2][laugh_0][break_6]。
ChatTTS介绍
什么是ChatTTS？
TTS全称：Text To Speech（也就是文本转语音模型）
而ChatTTS是专为对话场景设计的语音生成模型，特别适用于大型语言模型(LLM)助手的对话任务，以及诸如对话式音频和视频介绍等应用。它支持中文和英文，通过使用大约100,000小时的中文和英文数据进行训练，ChatTTS在语音合成中表现出高质量和自然度。
ChatTTS亮点
对话式 TTS: ChatTTS针对对话式任务进行了优化，实现了自然流畅的语音合成，同时支持多说话人。 细粒度控制: 该模型能够预测和控制细粒度的韵律特征，包括笑声、停顿和插入词等。 更好的韵律: ChatTTS在韵律方面超越了大部分开源TTS模型。同时提供预训练模型，支持进一步的研究。
计划路线
开源4w小时基础模型和spk_stats文件 开源VQ encoder和Lora 训练代码 在非refine text情况下, 流式生成音频 开源多情感可控的4w小时版本 ChatTTS.cpp
使用建议
对于30s的音频, 至少需要4G的显存. 对于4090, 1s生成约7个字所对应的音频. RTF约0.3.
模型稳定性不够好, 会出现其他说话人或音质很差的现象是由于自回归模型，说话人可能会在中间变化, 可能会采样到音质非常差的结果, 这通常难以避免。可以多采样几次来找到合适的结果。
除了笑声还能控制什么吗? 还能控制其他情感吗? 在现在放出的模型版本中, 只有[laugh]和[uv_break], [lbreak]作为字级别的控制单元. 在未来的版本中我们可能会开源其他情感控制的版本.
免责声明
此repo仅用于学术目的。它旨在用于教育和研究用途，不得用于任何商业或法律目的。作者不保证信息的准确性、完整性或可靠性。此 repo 中使用的信息和数据仅用于学术和研究目的。数据来自公开来源，作者不对数据主张任何所有权或版权。
ChatTTS 是一款功能强大的文本转语音系统。然而，负责任且合乎道德地使用这项技术非常重要。为了限制 ChatTTS 的使用，我们在 40,000 小时模型的训练过程中添加了少量高频噪音，并使用 MP3 格式尽可能压缩音频质量，以防止恶意行为者将其用于犯罪目的。同时，我们内部训练了一个检测模型，并计划在未来将其开源。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～
