AI智能音乐生成技术与元宇宙

文摘 2025-01-24 18:10 山东

1 背景

1.1 元宇宙与音乐艺术

元宇宙为音乐艺术提供了生长的土壤，未来人们可以在上面自由创作，可以与更多人交流学习。同时，元宇宙中虚拟现实等一系列技术为艺术家提供了艺术展现的新方式，有望突破时空限制，使得我们可以很容易地打造一个音乐艺术的生态圈，进而极大地提升音乐创作者和听众的情感共鸣体验。比如，现场的报告通常比线上的体验好，因为线下不仅有分享者与听者之间的交流，还有听众与听众之间的交流（体验）。因此，我们认为，随着元宇宙技术的发展，AIGC领域特别是智能音乐生成领域将需要更多地考虑高质量生成、人机协作生成和个性化生成等问题。

1.2 元宇宙背景下音乐人机共创

有鉴于此，我们开始思考如何在元宇宙背景下开展智能音乐生成研究，并有效解决上述问题。我们认为，想要满足元宇宙中对音乐生成的要求，不但需要重视人机共创，也需要重视开放式协作。人机共创和开放式协作将相辅相成。下面从开放性协作、人机共创角度介绍我们实验室四个方面的工作。

第一，人机独立发展阶段（Guo，et al，2022）。人机独立创作无合作，依赖数据。

第二，知识融入阶段 (Chen，et al，2022）。将人类的创作知识融入AI，人与机器有协作。

第三，认知拓展阶段（Wang，et al，2022）。不仅有协作，还可以在其中找到更高层面的认知拓展-更高的需求。

第四，理解升级阶段。丰富创作策略，实现人机共创，达到人机融合。

值得一提的是，这四个阶段并没有严格界定的顺序或先后，仅是一个对人机协作范式不断迭代的过程。

2 研究

2.1 人机独立

人机独立阶段，我们主要研究由大数据引导的歌曲翻译任务（人机独立）。

相较于传统的文本翻译，歌曲翻译需要满足更多的要求。包括以下三点：①可信度，即翻译结果需要保留原始语义；②和谐度，即翻译得到的歌词与原曲所构成的有机整体是和谐的，尽量避免误听的情况；③艺术性，即歌词不能像普通文本一样平铺直叙，需要有美感，也就是看起来像“歌词”。其中，想要达到第二点和谐度，首先需要保证词曲的长度相近，避免难以对齐的情况；其次则需要使旋律节奏与歌词节奏相呼应；最后，旋律走向也需要与歌词音调走向呼应。因此，单纯基于文本翻译模型的歌词翻译系统会出现原有节奏被破坏、歌词无法唱出来等问题。为此我们从局部层面和全局层面挖掘乐理知识和翻译约束，采用无监督学习的方式，引导式地进行自动歌曲翻译。

首先，使用海量文本翻译数据训练一个翻译模型，以确保翻译可信度；其次，增加乐理约束以确保和谐度，具体来说，在训练阶段增加长度标签以控制模型输出长度，在解码阶段添加节奏和音高的对齐约束；然后，利用非对齐歌词数据及少量的歌词翻译数据对基础翻译模型的语言模型部分继续优化，以生成更像歌词的翻译结果。

模型可以被分解为：①训练阶段，风格化与长度约束的歌词翻译模型；②推理阶段，音高与节奏约束的波束搜索。

实际中，如图1所示，GagaST模型成功平衡语义和可唱性，在自动和人工评估中取得不错的效果，能够很好地找到某个英文用中文的哪些歌词来替代，既能达到意思相近又能达到旋律相近。

在这项研究中，人不需要参与，也不需要协作就可以实现预定目标，因此我们定义这类研究为“人机独立”。

2.2 知识融入

语言学家、音乐家研究表明，歌词与旋律关系集中在节奏、音高和结构三方面。因此，我们开始探索融合节奏、音高和结构等音乐知识进行歌词到旋律的生成（知识融入）。近期，我们提出了ReLyMe——即人类作词、机器作旋律，一种基于人类词曲创作知识（歌词）的旋律生成方法（见图 2）。ReLyMe对节奏、音高和结构这三方面的歌词旋律关系分别建模。音高方面，我们考虑三个不同的粒度：①单个声调的音高形状；②相邻声调的音高过渡；③完整句子的音高走向。节奏方面，首先强拍需对应关键字，弱拍对应助词；同时旋律的停顿位置与歌词断句位置也要相对应；结构方面，相同结构的歌词需要对应重复的旋律。客观实验结果与主观实验结果表明，ReLyMe提升了SongMASS、TeleMelody等歌词到旋律生成模型的表现，有效地将词曲关系纳入神经网络模型，提高听众对生成的旋律的感知度。如图2所示，蓝色表示音高；绿色表示旋律相近性。

值得一提的是，古时候的名家往往身兼词曲，就像《诗经》中所有的诗都是可以唱出来的。现在有很多人只会作词，不会作曲。未来，元宇宙背景下的“分工”将越来越细，因此对合作或者协作要求就越来越高。

2.3 认知拓展

那么，如何实现人与机器更深度、紧密的共创、协作（认知拓展）？比如人类作旋律、机器作伴奏，如何解决实时人机协作难题？解决这一难题对算法的要求非常高，主要体现在机器伴奏需尽可能缩短延时、保持高质量。于是，我们提出了SongDriver。如图3所示，它借用了同声传译的思路，融合了同声传译中的人类经验提出并行机制，提升了伴奏的同步性；融合了申克理论提取的乐理知识作为特征——提升了伴奏的听感质量。也即消除了实时伴奏的逻辑延迟和误差累积，实现了较高的同步性、较稳定的听感质量。

2.4 理解升级阶段

最后，我们的工作聚焦于理解音乐本质，把音乐分析理论融入进来（理解升级），让音乐生成变得可分析、可控。在这项工作中，我们除了对单独的音乐特征进行抽取，更重视音乐特征之间的关系，从而满足更多的个性化需求。有鉴于申克/GTTM层级化的分析方式能将分离的元素联系起来，同时为用户的个性化需求留下空间，我们将其引入到我们最新的研究中，如图4所示。

具体来说，我们根据心理学实证调查了音乐底层存在的长期依赖结构，提出了知识增强的旋律骨架引导的层级式旋律生成模型，先预测骨干的发展，再填充骨干的间隙来完成旋律创作，提升了旋律的结构性和音乐性。通过实验验证，基于专业音乐知识提取的骨架具备有效性，且旋律生成的质量和可控性相比端到端更优。实际上，申克GTTM中的结构和延长，如同装修房间的硬装和软装，有稳定性一面、也有个性化一面。我们的房间会频繁装修，我们会改动硬件结构也会改动软件结构，要不断个性化、可控的装修（人机协作）。

3 结束语

人类和AI共同生活在这个世界已经成为共识，但并不是每个人都有音乐创作能力，但是每个人和AI组成的合体却能够迸发出巨大的艺术创作能力。在未来的元宇宙中，可能每个人都会携带自己的AI来与他人交流、合作和共创，因此音乐创作等艺术创作的形式也将会大不相同。同时，如图5所示，元宇宙中带来的情感共鸣提升，除了创作者之间的情感交流之外，也将体现在创作者和听众之间、听众和听众之间。

我们期待，未来元宇宙相关技术可以进一步打破时空隔阂，把我们的灵感融入到元宇宙人人共创。

选自《中国人工智能学会通讯》

人工智能与生命科学专题

End

企业热点

大空间情报

行业解读

报告精选

元力社

元宇宙产业服务平台！专注元宇宙、AI、数字人、Web3最新动向，挖掘机遇、传播价值。

最新文章

北京：打造超10个文化标杆应用场景，推进虚拟数字人演唱会，开展元宇宙沉浸演出

元宇宙日报丨博物馆用AI数字人“复活”文物、山东打造沉浸式特色文旅场景、马斯克考虑应用区块链来提高政府效率

将红色文化有机融入思政课，元宇宙大空间再现长征精神

2024-2025年LBE VR大空间市场观察（综合篇）

穿越3000年，“亲历”封神世界：《封神·朝歌》沉浸展震撼面世

首次！济南开启“元宇宙+开标”新模式

元宇宙日报丨首个世遗元宇宙，沉浸春节社交、深圳市区块链备案项目25个、昆仑万维由盈转亏？

复活兵马俑，再见秦始皇！陕西省首个原创元宇宙大空间项目亮相

AI智能音乐生成技术与元宇宙

甘肃：以人才、资金、算力等资源集聚效应，带动AI、元宇宙产业发展

元宇宙日报丨元宇宙庙会赏民俗、青岛AI力争达到1200亿元、去年AI应用消费超12亿美元

1∶1精准还原洞窟原貌，《寻境敦煌》元宇宙大空间项目亮相杭州

VR大空间、人工智能、游戏技术……用7个关键词，回看2024文化产业的“向新力”

特朗普最新官宣！3.6万亿“星际之门”将落地

AI领域竞争加剧，初创企业在2025年突破重围需要具备哪些条件？

【最新】VR大空间“真实世界研究”（附新版产品汇总表格）

天津：最高1000万元，支持元宇宙教育、医疗等应用场景建设

元宇宙日报丨天津市电力工业元宇宙重点实验室、歌尔微电子向港交所递交上市申请

“穿越”时间与空间，四川凉山首家元宇宙大空间

未来两年，有关元宇宙发展的十大预测

元宇宙如何影响娱乐

河南：瞄准元宇宙、区块链，加快建设重点领域垂直大模型

元宇宙日报丨北京朝阳推出27个互联网3.0元宇宙应用场景、甘肃算力规模突破5万P

穿越3600年前的商王朝，大空间VR沉浸展探索河南历史文化

深度丨元宇宙虚拟财产属性界定的基本逻辑

震惊！新论文发现AI并不擅长历史

特朗普一上台，拜登AI禁令被秒撤！硅谷科技「壕客」齐聚就职典礼现场

上海市第二批元宇宙重大应用场景建设成果名单发布

再获殊荣！新知元浪荣登2024 LBE大空间内容榜

元宇宙日报丨杭州五常推出首个“元宇宙”街区、我国首个“花木兰3D超写实数字人”

聚焦古代帝王陵寝探秘！XR元宇宙大空间沉浸式感受古人智慧

报告丨我国网民规模达11.08亿人，手机网民规模达11.05亿人

北京市加快推动“人工智能+新材料”创新发展行动计划（2025-2027年）（征求意见稿）

【人工智能政策汇编】国家及31省市如何提及AI的研发、应用、监管

【史上最全】国内100+LBE VR大空间大汇总

广西：最高200万元，推动工业元宇宙技术攻关

元宇宙日报丨上海去年累计63款大模型通过备案、北京最大智算中心算力再升级、全球人工智能产业融资金额超4000亿元

中国天眼元宇宙：赋能天文科普

AI PC时代已来！苹果、微软谁将赢得未来PC市场？

湖南湘潭：打造红色元宇宙体验馆，构建韶山数字孪生世界

元宇宙日报丨北京数字人企业达2805家、宁波工业元宇宙企业超百家、中国元宇宙公司被纳斯达克停牌

AI“唤醒”山西永乐宫，大空间技术再现壁画传奇

2024中国智能眼镜新品终极盘点：多维度看清全貌

报告丨《工业元宇宙应用评估体系》发布

借壳SPAC公司上市的中国元宇宙公司MultiMetaVerse被纳斯达克停牌

江西：突破2万亿元，推进“智慧医院”建设，强化元宇宙硬件支撑

元宇宙日报丨上海计划加强文旅元宇宙场景建设、脑机接口医疗应用规模达400亿美元

国内首例元宇宙技术应用于公园，促进中医药文化传播

春节成功申遗，《来自中国的世界非遗》MR交互大空间项目推出

周鸿祎谈AI：2025年是智能体之年分三大步骤六大方向

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉