首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

豆包推出一套AI音乐生成系统，可多方面控制音乐

科技 2024-09-18 23:12 广东

近日，Doubao团队开发的一套音乐生成系统Seed-Music，旨在通过精细的风格控制来生成高质量的音乐。

该系统提供了一套综合性的框架，能够支持多语言表达性人声音乐的生成，并允许用户对模型输出进行精确到音符级别的调整。

更重要的是，该系统还允许用户将自己的声音融入音乐创作中，这无疑为音乐创作者提供了更多可能性。

| 统一框架与多功能集成

Seed-Music提出了一种统一的框架，而不是依赖于单一的建模方法，如自回归（AR）或扩散模型。

这一框架适应了音乐家不断变化的工作流程，并且在多种使用场景下都表现出色。

其主要贡献可以归纳为三个方面：

首先，它引入了一个基于自回归语言模型（LM）的方法来生成高质量的人声音乐，该方法可以根据多样化的多模态用户输入进行条件化生成。

其次，它展示了一种基于扩散模型的方法来进行精细的音符级别音乐音频编辑。

最后，它提出了一种新的零样本歌唱声音转换方法，只需要用户提供十秒钟的歌唱或语音录音即可实现声音的转换。

| 音乐生成与编辑实例

该系统的演示部分包含了使用Seed-Music生成的音频样本，这些样例按照技术论文中的顺序排列。

其中，“歌词转歌曲”功能将自然语言转化为音乐，支持以歌词和风格描述符的形式输入文本。

此外，“短形式音频生成”功能可以生成带有表达力人声及合适伴奏的短片段音频。

“长形式音频生成”则能产生保持旋律连贯、风格一致及长期结构完整的完整长度音乐作品。

| 音频提示与乐器生成

系统还支持音频提示以及风格提示的自然语言输入。

演示中展示了两种不同的模式：“音频延续”和“音频风格转移”。

另外，在没有歌词输入的情况下，乐器生成可以作为歌唱音乐生成的一个子任务。

为了实现这一点，研究团队提出了一种新颖的乐谱符号编码，将符号表示统一成既易于人类理解又适合LM和扩散模型的形式。

| 从歌词到乐谱再到歌声

当文本输入转化为乐谱符号后，音乐家可以在可解释的方式下检查和修改音符对齐的音素以及多轨乐器部分。

乐谱符号作为一种强大的中间表示形式，既可以像MIDI一样进行编辑，又完全兼容现代的LM和扩散模型。

对于歌唱声音合成（SVS），乐谱符号可以配置为仅包含声乐属性，并仅渲染成声乐轨道，这种方法还可以扩展到其他乐器轨道。

| 声音转换与编辑

研究团队还介绍了一种新的零样本歌唱声音转换方法。

给定几秒钟的歌唱或普通语音录音，系统就能将参考声音转化为富有表现力的歌唱表演。

此外，系统还支持对已录制歌曲的歌词或旋律进行编辑，同时保持人声旋律或伴奏不变。

Seed-Music系统不仅为音乐创作者提供了一个灵活且强大的工具集，也通过结合自回归语言模型和扩散模型的优点，该系统为音乐生成领域带来了新的解决方案。

关注我们：即可加入【AI交流群】，免费领取【AI大礼包】

每日聚焦最新AI，让每个人都能享受到AI带来的乐趣！

最新文章

百度世界2024：发布文心iRAG和无代码工具秒哒

豆包发布国内首款通用图像编辑模型SeedEdit

AMD推出10亿参数开源模型OLMo，性能超越同类产品

字节公布X-Portrait 2，模仿出惟妙惟肖的人物表情

腾讯开源混元MoE和3D大模型，业界首个同时支持文字、图像生成的3D开源大模型

天工AI更新高级搜索功能，可搜索股票、科研信息

Suno推出AI音乐克隆，可复用任意音乐风格

知乎推出专业搜索功能，确保所提供的信息既专业又可靠

AI绘画能力超越FLUX，世界首个能生成长文本图像的模型

小米发布澎湃OS 2，小爱同学升级为超级小爱，体验更加智能

爱诗科技发布PixVerse V3，视频生成技术显著提升，中英文提示词均可理解

智谱推出AutoGLM，AI学会自动操作手机完成日常任务

Claude 3.5大更新，AI学会操作计算机，还能分析数据库

讯飞星火4.0 Turbo发布，多项能力实现领先

Stable Diffusion 3.5发布，消费级硬件开箱即可用

智源开源Emu3多模态大模型，视频理解和生成效果表现优异

百度联合多所高校发布Hallo2，可实现长时间高分辨率音频驱动肖像动画

ChatGPT Windows 桌面程序发布，目前仅特定用户可用

ColorOS 15 发布，以用户为中心的系统级AI升级

联想携手全球AI巨头，推进混合式AI发展

Adobe MAX 2024发布会，Creative Cloud 推出100多项新功能

苹果推出MM1.5大模型，提升AI图像视觉理解能力

Kimi探索版上线，能自主搜索并解决复杂问题

马斯克发布Robotaxi无人驾驶汽车，取消方向盘和踏板

字节扣子全面升级，可一键复制各类型AI模板

AI领域科学家，包揽了诺贝尔物理、化学奖

黑森林实验室发布FLUX 1.1 Pro，目前最先进、最高效的绘画模型

Notion AI发布“一站式”AI助手，可对多平台文件进行分析

猫眼发布“神笔马良”AI，让剧本一键成片

美图MOKI全面开放，三步生成AI创意短片

Llama 3.2发布最强端侧开源模型，手机即可运行

年轻人的第一个对象，东京政府提供AI配对平台

豆包发布AI视频生成模型，提供精准语义理解和高保真画质

基于阿里通义大模型，JetBrains AI编程助手国内发布

可灵1.5版本更新：引入运动笔刷功能，让视频精准运动

无使用次数限制，阿里上线通义万相AI视频平台

豆包推出一套AI音乐生成系统，可多方面控制音乐

元象开源中国最大MoE模型A36B，可无条件免费商用

OpenAI o1发布，理科推理能力超越人类专家博士

国内首家五官科医院，推出AI生成式病历

国家网络安全会发布《人工智能安全治理框架》

苹果发布iPhone 16系列AI手机，Apple Intelligence带来全新交互体验

谷歌AI虚拟试穿，数千件连衣裙任意穿

支付宝推出多个AI助手，理财、生活、健康统统帮你搞定

文心一言APP改名了，升级后覆盖五大生活场景

ComfyUI新版本发布，多项更新优化工作流程

快手发布电商AI换衣神器，想怎么换就怎么换

高性能低功耗，最强SOTA小模型Zamba登场

支持VR实时渲染，实景三维大模型书生3.0开源

Midjourney开放网页端，并宣布进军硬件领域

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉