Kyutai 是一家致力于推动人工智能 (AI) 开放研究的非营利实验室，其最新创新成果 Moshi Chat 取得了重大进展。这一尖端的实时原生多模态基础模型代表了人工智能技术的一项非凡成就。Kyutai 推出的 Moshi Chat 因其出色的功能而备受关注，尤其是在同时聆听和说话方面。与传统的 AI 模型不同，Moshi Chat 旨在理解和表达情感，使与之的互动更加自然和引人入胜。
Moshi Chat 凭借其独特的功能和开源可用性成为 AI 开发的先驱。
Moshi Chat 的开发证明了 Kyutai 对透明度和协作创新的承诺。该模型能够同时处理两个音频流（实时聆听和说话），这使其有别于其他 AI 模型。
此功能由对文本和音频数据组合的强大联合预训练过程支撑，利用来自 Helium 的合成文本数据，Helium 是 Kyutai 开发的 70 亿参数语言模型。人工智能技术的这些进步是严格研究和微调的结果，旨在实现无缝和高效的性能。
Kyutai Moshi Chat 的技术
Moshi Chat 的突出特点是其实时交互能力，使其能够同时聆听和响应。这是通过对文本和音频数据的混合进行联合预训练实现的，确保模型能够保持文本和听觉信息的流畅流动。Moshi Chat 语音处理能力的基础是 Helium 模型，这是一个拥有 70 亿个参数的语言模型，是这项创新技术的支柱。
根据Kyutai Moshi Chat 在 YouTube 上的主题演讲，Moshi Chat 的微调过程涉及100,000 个“口语式”合成对话的大量数据集。这些对话使用类似于Murf AI 的文本转语音 (TTS) 技术进行转换，从而使模型能够以惊人的准确度生成和理解语音。TTS 引擎支持 70 种不同的情绪和风格，使用获得许可的配音人才录制的 20 小时音频进行了微调。这种一丝不苟的训练方法使模型不仅可以理解口语，还可以传达情感和细微差别，使互动更加自然和引人入胜。
Kyutai 对负责任地使用 AI 的承诺体现在他们采用水印来检测 AI 生成的音频。此功能仍在开发中，强调了道德考虑在 AI 开发中的重要性。此外，决定将 Moshi Chat 作为开源项目发布，凸显了 Kyutai 致力于在 AI 社区内营造协作环境。
Moshi Chat 的开发涉及严格的训练和微调过程，以确保其高性能。该模型使用 Helium 7B 基础文本语言模型从头开始训练，然后与文本和音频编解码器进行联合训练。该语音编解码器基于 Kyutai 内部的 Mimi 模型，拥有300 倍的压缩系数，有助于在减少数据大小的同时保持音频质量。Moshi Chat 的微调过程涉及对100,000 份高度详细的带有情感和风格的文字记录进行注释。这些注释使模型能够理解和传达各种情感，使与模型的互动更加逼真和引人入胜。文本转语音引擎支持 70 种不同的情感和风格，它使用名为 Alice 的持牌配音人才录制的20 小时音频进行了微调。Kyutai 对适应性的关注体现在 Moshi Chat能够使用不到 30 分钟的音频进行微调的能力上。此功能允许用户自定义模型以满足特定需求，无论是用于研究、语言学习还是其他应用。该模型的部署展示了其效率和多功能性，可在 24 GB VRAM 下处理两种批次大小并支持多个后端。推理代码中的优化（例如增强的 KV 缓存和提示缓存）预计将进一步提高 Moshi Chat 的性能。Moshi Chat 不仅是一项技术奇迹，而且非常容易使用。Kyutai 开发了该模型的较小版本，可以在 MacBook 或消费级 GPU 上运行，从而让更广泛的用户可以使用它。该模型在 Scaleway 和Hugging Face等平台上的部署进一步证明了其效率，它可以在 24 GB VRAM 上处理两种批次大小，并支持包括 CUDA、Metal 和 CPU 在内的各种后端。该模型的语音是在由单独的 TTS 模型生成的合成数据上进行训练的，实现了令人印象深刻的 200 毫秒端到端延迟。这种低延迟对于实时交互至关重要，使 Moshi Chat 能够几乎立即响应用户输入。先进的训练技术和使用 Rust 开发的优化推理代码相结合，有助于该模型的卓越性能。增强的 KV 缓存和提示缓存也有望进一步提高模型的效率。展望未来，Kyutai 对 Moshi Chat 制定了雄心勃勃的计划。该团队打算发布一份全面的技术报告和开放模型版本，包括推理代码库、7B 模型、音频编解码器和完整的优化堆栈。Moshi Chat 的未来版本（例如 1.1、1.2 和 2.0 版本）将结合用户反馈来改进和增强模型的功能。Kyutai 的宽松许可旨在鼓励广泛采用和创新，确保不同受众都能享受到 Moshi Chat 的好处。我们鼓励用户通过 Kyutai 网站在线试用 Moshi Chat。登录后：
无论是讨论日常话题还是探索更复杂的主题，用户都可以自然地与 Moshi Chat 互动，从而受益于其先进的语音识别和合成功能。资料来源：https://dataconomy.com/2024/07/04/kyutai-moshi-chat-text-to-speech/
