推荐一款高效文本生成音频(Text-to-Audio)模型:TANGOFLUX。模型免费、开源,可本地部署,能够通过提示词生成各种音效。
TANGOFLUX 拥有 5.15 亿参数,能在一块 A40 GPU 上,仅用 3.7 秒生成长达 30 秒、44.1kHz 高质量音频。开发 TTA 模型的一个关键难题是如何让它的输出更符合用户偏好。与大语言模型(LLMs)不同,TTA 没有像 “正确答案” 或 “明确奖励” 这样的参考标准,难以建立清晰的偏好数据。为了解决这个问题,TANGOFLUX 采用了一种叫 CLAP-Ranked Preference Optimization(CRPO)的新方法。这个框架可以自动生成和优化偏好数据,从而逐步提高 TTA 模型的效果。事实证明,使用 CRPO 生成的音频偏好数据比其它模型表现更好。
参考文献:
[1] 项目地址:https://tangoflux.github.io/
[2] 下载地址:https://github.com/declare-lab/TangoFlux
[3] 试用地址:https://huggingface.co/spaces/declare-lab/TangoFlux
欢迎支持我的知识星球(NLP工程化):Dify源码剖析及答疑,Dify对话系统源码,电子书籍报告下载,公众号所有付费资料。若微信群二维码过期,则加微信buxingtianxia21进群。
NLP工程化知识星球
NLP工程化资料群