让普通人也能当“作曲家”，浙大研究人员探索音乐艺术创作和心理治疗新方法丨浙里双创动态

文摘 2024-10-28 12:40 中国香港

关注浙大ZTVP，关注浙大双创最新动态

浙大人物

王子豪浙江大学计算机科学与技术学院2021级博士生，竺可桢学院ITP创新与创业管理强化班2020级学员

现就读于浙大张克俊教授指导的NEXT Lab实验室, 研究兴趣领域为人工智能音乐生成、语音合成、音频理解、音乐治疗等. 目前第一作者发表顶会&顶刊论文3篇, 均为人工智能音乐相关, 包括实时伴奏生成SongDriver(发表于CCF-A类会议ACM MM 2022 oral )、实时情感可控歌曲改编REMAST(录用于IEEE Transaction on Affective Computing, 情感计算领域顶刊, 影响因子11.2)、音频理解中文评测基准MuChin(发表于CCF-A类会议IJCAI 2024 oral ). 第一作者在投论文2篇，共同一作/共同作者论文4篇. 第一作者申请发明专利2项，获批软著3项、商标1项、设计专利1项。曾任爱歌科技创始人&CEO, 获得“互联网+”创新创业大赛国赛银奖&省赛金奖、iCAN创新创业大赛国赛二等奖&省赛一等奖、“挑战杯”创业计划竞赛国家铜奖。曾任对牛弹琴科技联合创始人&技术总裁,担任安全负责人的算法模型通过了国家深度合成算法备案, 参与了北京市政府主办的全球数字经济大会开幕式项目歌曲制作。

AI，让音乐创作更加民主化？这是浙大博四学生王子豪的梦想。

他目前是浙江大学计算机科学与技术学院 NEXT Lab 的一名博士生，在过去五年中专注于研究 AI 音乐。

同时，自 2019 年以来王子豪一边读书一边实践，曾担任爱歌科技创始人兼 CEO、对牛弹琴科技联合创始人兼技术总裁。

在今年夏天的 2024 年全球数字经济大会上，由对牛弹琴科技的深度合成算法所创作的主题曲《数字北京欢迎您》在现场展出，展示了公司产品的落地愿景。

王子豪的创业历程开始于本科阶段。作为较早进入这一领域的开发者之一，王子豪最初在爱歌科技带队研发的初创产品叫做“爱写歌”，它能将用户的清唱转化为带有编曲伴奏与混音的完整歌曲作品。

完成这一款面向专业音乐人的小众项目之后，他希望推进音乐创作的民主化，即让一个人无论是否具备音乐灵感或歌唱才能，都能用 AI 来生成音乐的方式表达心中所感。

用 AI 赋能音乐艺术创作和心理治疗

2023 年，在导师张克俊教授的指导下，王子豪与创业公司的同事、NEXT Lab 成员们提出一款名为 MuSiT 的与普通人日常用语对齐的 AI 音乐生成机制。

该机制除了用于自身模型生成外, 还可以广泛用于业界通用模型上，增强其对通俗口语描述的理解能力。

图 | 浙江大学计算机科学与技术学院博士生王子豪（来源：资料图）

MuSiT 能够显著增强 AI 对于通俗日常表达的解析能力，从而能够有效弥合用专业音乐术语训练的 AI 系统与业余普通人在表达和认知上的鸿沟。

在个性化音乐创作领域：

这套机制可以让用户能以日常口语的形式来传达个人情感、生活体验或定制需求，进而使用 AI 创作独一无二的原创音乐。

比如，在驾车途中用户心有所感时，只需简单的表达就能让 AI 创作出符合语境的精准歌曲。

再比如，当视频创作者或游戏制作者给视频或游戏配乐时，也可以通过非专业的表达来生成匹配氛围的音乐。

而在音乐治疗和心理咨询领域：

通过理解患者的口语化通俗描述，AI 能够生成有助于情感表达和心理疏导的歌曲。

比如，患者通过描述自己的情绪状态，能让 AI 生成对应的音乐，从而帮助他们更好地表达和理解自己，进而辅助于心理治疗和情绪调节等。

总的来说，本次技术不仅在音乐艺术层面开辟了个性化创作的新路径，也在心理健康等跨学科领域展现了潜在价值。

打造能听懂业余人士心声的 AI 音乐创作模型

事实上，根据给定数据自动创作音乐的 AI 音乐模型并非新鲜事。但是，在此之前这些软件距离人们的期待还有一定的落差。

要想理解这种落差首先得从“AI 对齐”说起。它指的是让 AI 理解并适应人类价值观，从而让其在执行任务时更加符合人类的期望。

比如，对于 AI 自动歌曲创作来说，人们的主要期待有：能否充分理解人类指示？能否生成满足人类听觉需求、以及符合预期结构的歌曲？

图丨问题提出和团队愿景（来源：受访者提供）

此前该领域的现状是：虽然有许多工具在某些方面已经相当不错，例如可以从文字生成音乐，以及可以从乐谱生成歌曲等。但是，依旧缺少一款能够真正理解业余人士诉求的工具。

因此，对于那些喜欢以通俗日常用语方式来描述自己思维的普通用户来说，仍然很难生成让其满意的 AI 音乐。

该团队认为导致上述局面的原因主要有两个：

首先，是因为缺乏高质量的大规模数据集，尤其是缺乏能够解析“通俗日常用语”歌曲描述的数据。

其次，是因为现有的 AI 模型的训练和推理过程还不足以充分理解“通俗日常用语”的词汇和句子，自然也就无法准确地生成符合人类用户想法的歌曲。

为此张克俊建议王子豪等人攻关这样一个课题：让通俗日常描述也能实现 AI 歌曲生成。即让 AI 能够充分理解非专业人士的口头描述，从而创作出符合用户要求的音乐作品。

要想实现这一目标：一是要对“通俗日常用语”表达方式进行深入理解；二是要能够精准把握歌曲中的复杂结构，比如曲段构成和韵律结构。

研究中：

他们面临的第一个问题是如何解决通俗描述-音乐配对数据的稀缺问题。对于这些数据来说，它必须包含各种通俗日常描述、音乐结构、流派以及情感等信息。

他们面临的第二个问题是要解决人机对齐的问题。目前，对于使用 AI 音乐生成产品的普通用户来说，往往存在口语描述和 AI 音乐模型反馈行为无法良好匹配的问题。

图丨数据集的构建（来源：受访者提供）

为了解决数据稀缺的问题，王子豪等人创建了 Muer 音乐注释平台（MuerAP），通过实施多人、多阶段的质量保证流程，来保证数据注释的准确性和一致性。

同时，他们分别邀请一批专业音乐家标注者和业余普通人标注者，让双方针对同一首歌进行标注。

不过在标注时，让他们分别使用不同的标签集合，从而能够针对同一首歌曲获得两种不同视角的结果，借此形成一个高精度的与公众理解一致的数据集（即 Muer 音乐数据集（MuerData））

王子豪表示：“MuerData 是第一个包含中文口语化通俗描述的开源音乐数据集，涵盖音乐专业人士和业余人士两种不同视角下的口语描述（风格和情感等维度），同时也涵盖了音乐结构的各个层次，旨在为端到端模型的微调训练提供精准的数据。”

相比已有的其他公开数据集，MuerData 更加适合从业余描述到歌曲的端到端模型微调，让模型能够充分理解业余人士的表达，从而可以满足大众的音乐欣赏诉求。

图丨模型的训练过程（来源：受访者提供）

而为了解决人机对齐的问题，王子豪等人提出一种单阶段通俗日常描述到歌曲生成框架，并将其命名为 MuSiT。

MuSiT 能在通俗日常描述和音乐音频听感之间进行跨模态理解，从而能在生成音乐时能与用户对齐。

据王子豪介绍，在已有的开源文本-音频对比预训练模型的训练文本中，并未出现过中文通俗日常通俗描述的词汇和短语。为此，他们基于文本-音频跨模态理解模型的通用架构，采用 MuerData 数据集来训练 ChinMu Cross-Modal Encoder。

此外，MuSiT 使用用 fine-tuned LLM 来生成 Lyrics，因此可以通过相应的口语描述，来生成带有乐句结构和押韵方案等附加信息的歌词。

而对于歌词以及额外的结构信息，王子豪等人采用交叉注意机制，来将它们作为 DiT（Diffusion Transformer）和 SiT（Scalable Interpolant Transformer）捕捉歌词和音频之间相关性的条件。

除了歌词之外，只需使用一个 DiT/SiT 模型，就能以端到端的形式生成人声、伴奏、旋律、和声、混响等全部音乐内容。

这样的好处在于：所生成歌曲的各个音乐内容之间，在听感上非常协调，不存在割裂感。

然后，他们将上述控制条件为输入，并使用在变分自编码器潜在空间中运行的、基于 Transformer 的扩散模型（DiT/SiT），来生成与口语描述贴合的高质量歌曲。

同时，还使用变分自编码器的 Decoder 来将歌曲内容解码为 wav 文件。

在训练上，他们先是基于私有的大规模“歌词-歌曲音频”成对数据集，来针对变分自编码器进行无监督预训练、针对 DiT/SiT 做有监督预训练。

接着，他们在“通俗描述 to 歌曲”的任务上，基于 MuerData 数据集，来针对 DiT/SiT 进行微调训练，以便生成贴合人类通俗描述的、结构良好的歌曲。

让普通人也能实现音乐家梦想

作为第一作者王子豪认为，正是因为有了导师的指导，以及创业公司的同事们、实验室师兄师姐师弟师妹们的大力支持，才让本次研究得以顺利完成。

图 | 模型推理时的结构（来源：受访者提供）

他们通过采用有监督学习的方法、以及采用专业人士-业余人士双视角的数据标注，并使用端到端的 single-stage 方式来完成了模型训练。

借此确保了 AI 生成音乐与人类诉求的协调和对齐，同时也让 AI 模型得以更好保持人类音乐的结构规范。

日前，关于数据集和标注平台的论文以《MuChin：一种用于评估音乐领域语言模型的中文通俗日常用语描述基准》（MuChin: A Chinese Colloquial Description Benchmark for Evaluating Language Models in the Field of Music）为题发表在 2024 年国际人工智能联合会议（IJCAI，International Joint Conference on Artificial Intelligence）上[1]，相关数据集已开源 [2]，后续研究工作也正有序开展 [3-5]。

关于未来的研究，他们也制定了一些计划。

首先，要进一步深挖专业人士和业余人士对相同歌曲的语义描述差异，并结合脑电和核磁等手段对相同歌曲在不同背景人类脑区所造成的差异性影响。

这将有助于相关算法在音乐的心理疗愈上发挥更大作用，并且将 MuerData 数据集从文本-音频扩充到更多的模态表示上。

其次，会更加关注大模型的安全和法律问题，在未来研究方向上也会涉及到 AI 大模型对于音乐版权的自动鉴定侵权与自动治理，确保模型输出的合法性。

“希望不仅能满足那些记谱高手和写歌高手的需求，更能让普通大众用音乐来感受内心世界里的万千波澜，让每个有音乐梦想的普通人都能实现自己的音乐家梦想。”王子豪表示。

参考资料

1.https://dl.acm.org/doi/10.1145/3503161.3548368

2.https://github.com/CarlWangChina/MuChin

3.https://arxiv.org/pdf/2407.03188

4.https://arxiv.org/abs/2407.07728

5.https://github.com/CarlWangChina/SaMoye-SV

文章来源：麻省理工科技评论（MIT Technology Review）

http://mp.weixin.qq.com/s?__biz=MzIyNDcyODY5MA==&mid=2247518716&idx=1&sn=911f3cab4e36da0f3f19d82c6a423094

浙大ZTVP

我浙科技创业中心（ZTVP）及浙里双创动态、双创课程、讲座、论坛、活动信息

最新文章

斩获两大国赛金奖，这个项目纾“外卖骑手安全之困”丨BEST战略在行动

箴理科技亮相深圳核博会，揭秘核能新纪元丨浙里双创动态

报名丨盘石创始人田宁：拥抱数字创新创业的黄金时代丨紫金创享

通知丨关于2024年度浙江大学紫金创业元空间创新创业奖申请的通知

报名丨李泽湘教授的Xbotpark2025冬令营招募今日开启！ZTVP联手，寻找下一个浙大系大疆！

浙大校友企业『千寻智能』完成天使+轮融资，驶入商业化落地快车道丨浙里双创动态

通知丨关于浙江大学紫金创业元空间2024年第二批创新创业项目入驻选拔的通知

2金1银！管院团队在第十四届“挑战杯”秦创原中国大学生创业计划竞赛再获佳绩丨浙里双创动态

如何培育新质生产力与打赢关键核心技术突破攻坚战？中国技术经济年会专题研讨丨ZTVP动态

发展新质生产力须切换这种思维！首部“新质生产力”案例集全方位解读丨ZTVP荐书

第16季开讲！丨创新者的逆袭：AI+时代的创新创业思维与方法论丨紫金创享

浙大校友企业『星海图』完成超2亿元Pre-A轮融资丨浙里双创动态

报名丨创业公司如何进行股权激励与税务筹划？

让杂交水稻制种“智能化”！他们为保障国家粮食安全勇闯“创业无人区”丨Z+科创营动态

2金3银！管院学子在中国国际大学生创新大赛斩获佳绩丨浙里双创动态

长安街读书会干部学习新书书单丨ZTVP荐书

一家融了15轮的成都公司，要被浙大系半导体并购了丨浙里双创动态

浙大校友携手2024年诺奖得主Nature发文！共创公司，获10亿美金融资丨浙里双创动态

让普通人也能当“作曲家”，浙大研究人员探索音乐艺术创作和心理治疗新方法丨浙里双创动态

高瓴独家投了一个浙大校友企业种子轮项目丨浙里双创动态

地卫二太空计算赋能星上能源：千帆星座18颗星入轨

中国双创10年，浙江有为10年，浙大创业10年：新增500+浙大系上市公司＆（潜力）独角兽丨求是创业邦

报名丨2025冬令营招募今日开启！年轻人、新技术、新品类，未来破局之道，从这里迈出第一步！

今年，浙大系新上市公司已达10家！丨浙里双创动态

浙大系人工智能风险治理专家『君同未来』完成数千万元天使轮融资丨浙里双创动态

浙大系杀出“智慧农业”概念第一股，开盘大涨800%！丨浙里双创动态

创新者的逆袭3：新质生产力的十八堂案例课丨ZTVP荐书

浙大研究团队设计新款软体机器人：最高弹跳超过自身身高100倍，响应仅数十毫秒丨浙里双创动态

原UC总经理朱挺创立飞牛私有云：还有点能量，想做点正确的事丨求是创业邦

帮推丨你好，新同学！每日互动（个推）2025届校招来啦！

浙大校友仇旻教授团队发布极致轻薄AR眼镜，双目重量仅5.4克丨求是创业邦

浙大研究团队设计新款软体机器人：最高弹跳超过自身身高100倍，响应仅数十毫秒丨求是创业邦

用特殊的巧克力做关键材料，曾保送浙大的他花9年时间做可以吃的3D打印

发现科创企业家-浙江大学管理学院科技成果专场对接活动在顺丰创新中心顺利举办丨浙里双创动态

25万元创业，12年后登上“商界精英榜”，浙大学霸用打印牙齿“征服”美国丨求是创业邦

第七届浙江大学校友创新创业大赛医疗健康行业决赛获奖项目揭晓丨浙里双创动态

浙大毕业卖服装，杭州夫妇一年卖了50亿元

浙大第一，2023中国高校科技成果转化年度报告，出炉！丨浙里双创动态

帮推 | 美国硅谷研学AI团即将启航

《麻省理工科技评论》2024年“35岁以下科技创新35人”入选者发布，4位浙大校友上榜！丨浙里双创动态

浙大校友干出61亿超级IPO，一个创业军团浮出水面

发展新质生产力需要学会颠覆性创新思维！《创新管理》国家一流课程秋学期开课了！丨IBE双创金课推荐

榜单丨150位浙大系“科学企业家”

『知合计算』完成A1轮融资，打造RISC-V标杆产品再进一步丨浙里双创动态

中国首个通用泛化机器人终于来了！浙大校友打造中国版Figure 01丨浙里双创动态

帮推丨关于举办2024年“新质生产力”中级技术经理人（经纪人）培训班（第三期）的通知

浙大校友企业『千寻位置』完成新一轮战略融资，整体估值超过160亿元丨浙里双创动态

读万卷书行万里路：在这里我找到了成就硅谷的背后原因丨硅谷科创营见闻

『食气生化』获数千万元Pre-A轮融资，十吨级气体发酵装置已机械竣工丨浙里双创动态

探索创新之源，启迪未来之路：我2024年最珍贵的一段记忆丨硅谷科创营见闻

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉