多元共融 沉浸盛宴｜2024杭州国际电子音乐节现场报道（六）

2024年9月29日上午，陈斐、法国电子乐研究中心项目经理蒂埃戈·洛萨和打击乐演奏家蒂埃瑞·米罗格里奥在浙江音乐学院音教剧场先后带来了【AI在应用型电子音乐创作中的灵感助力】和【从电子音乐演奏者和乐器演奏者的角度分析现场电子音乐与乐器间的交互】系列讲座。

·嘉宾介绍

陈斐，国内知名游戏音乐团队小旭音乐副总裁。

·讲座内容

本次讲座由小旭音乐副总裁陈斐发表主题演讲，探讨音乐人如何在AI音乐工具的帮助下，完成音乐创作的全过程。

第一模块是四个主要AI歌手工具的介绍：ACE Studio是国产的AI歌手工具，声音由云端生成、品质较好、可调性也极强，可以对声音作细致调节，擅长常规人声；Synthsizer V的算法由本地部署，声音品质上限很高、擅长特殊人声（说唱、方言、戏腔）的合成，可以在很大程度上弥补ACE Studio对于特殊人声合成的缺失；X Studio由网易云和微软小冰联合出品，优势在于客户端免费且使用方便，拥有很多可选的歌手；RVC是一个开源的工具、可以部署在本地、无需联网，虽然它的可调性较低，但最大的优势在于快速便捷，多用于直接替换人声。上述四款就是小旭音乐团队较为推荐同学们使用的AI歌手工具，熟悉掌握之后在音乐生产中会带来很大帮助，从选择嗓音、切换音色、音频录音和合作沟通等方面都大大提高了效率。

第二模块是AI创作音乐工具，陈斐老师罗列出了一份全面的AI创作音乐工具表，包含了9种工具：最知名、品质最高、音频提示词最新的Suno V 3.5；能够模仿知名创作者、支持局部重写、续写能力强大、但在中文创作上有所欠缺的Udio；支持歌生歌、擅长抖音歌曲创作、中文人声质量高的FISkymusic、同样擅长抖音神曲创作、中文人声好的歌歌AI、较为成熟、风格多元的国产流行歌曲编曲神器和弦派APP、集作词曲创作于一体且作词功能强大的网易天音、国产AI音乐大模型Mureka.ai（音疯）、字节出品的海绵音乐（内置剪映）和AI音乐流媒体Melodio，并提出这类工具目前共有的局限——重复性高，并对今后其发展状况作出展望。

第三模块是对SunoAI使用心得的分享，在喂养了大量的音乐风格后，该工具已经极为成熟。陈斐老师从SunoAI目前擅长与短板的两方面简述其可用性：SunoAI擅长创作喂养的数据充足，创作套路性强的（如爵士、摇滚、管弦乐、欧美流行歌曲）风格、对配器细节要求不高的Ambient类型音乐、以及旋律性弱及没有创作空间的功能性音乐，并且无需转授权，可对细节要求不高的自用音乐需求提供场景音乐和功能性音乐。相反，在风格上它不擅长创作喂养数据不足的音乐（如古风）、规律性弱的混搭融合风格音乐、需求较为具体精确的音乐，算法更加追求“通顺”，对于音乐艺术性的理解还较为薄弱。此外，在适用性上，一旦是需要转授权的音乐都不能使用AI音乐工具，尤其是需要我们进行独家授权卖断的音乐需求。版权风险是新一代音乐人必然要面对的问题，随着AI音乐工具的技术愈发成熟，能够阻止它们的只有法律。如何使用工具才是安全的，作为音乐创作者一定要做到心中有数。

第四模块是Suno和Udio续写功能的演示，续写是Suno与Udio研发出的新功能，即“音频提示词”，输入一段声音音频，AI根据所输入音乐的音频进行续写，能力与发展空间都异常强大。这两个工具目前已经支持对成品音乐进行续写，陈斐老师展示了一段AI音乐工具对久石让音乐的模仿，可以感知到AI对人们认为“最难模仿的音乐”能够学习到什么程度。科技的发展对于音乐制作专业的学生来说无疑是巨大的挑战，AI音乐又将如何影响音乐创作行业。陈斐老师提出以下几点：1.音乐制作即将从“寻找参考曲”走向“创造参考曲”；2.AI并非只解决需求的实现，它必将融入甚至主导需求的诞生，并将大量的需求自我消化；3.制作团队将从“专业作曲人员”组成变革为“少数设计类岗位+少数专业作曲+扒带优化师”的结构；4.行业新人生存难度一定程度上加剧，新人成长的土壤进一步贫瘠。

最后陈斐老师从音乐人从业与发展这个话题入手，分享了一些个人感受：一是要拓展全面能力，尽快掌握各种AI工具的使用方法，可以暂时不用但必须要懂；二是学会改变自己的行业生态位，积极地从“制作者”向“设计者”转变，人与人的沟通和理解是很难代替的；三是合理分配时间，适当控制制作技术钻研的用时，提升音乐阅历和审美能力的，从“专才”向“通才”转变。

·嘉宾介绍

蒂埃戈·洛萨于1962年出生在布宜诺斯艾利斯。他在阿根廷学习音乐，掌握了长笛、萨克斯ophone和和声，并学习了新的音乐分析技术。他获得了音乐表演的硕士学位，后来专攻声音工程技术，熟练掌握了现代数字工具的使用。1996年，他在法国定居，之前在布宜诺斯艾利斯的LIPM（音乐研究和生产实验室）担任技术经理，同时负责剧院和布宜诺斯艾利斯艺术中心的制作管理。他还在科尔多瓦大学和罗萨里奥-圣费大学教授电子音乐作曲技术。蒂埃戈·洛萨为舞蹈、当代马戏和电影创作作品，他的电子音乐作品在整个职业生涯中一直是他的重点。他还时不时地与其他音乐家合作演奏传统南美音乐、当代爵士乐和电子音乐。他的音乐在多个国家（亚洲、欧洲、美洲）演出。现在，他是INA-GRM的成员，负责GRM Tools的工作。

蒂埃瑞·米罗格里奥近年来在独奏领域取得了卓越的成绩，他受邀在四十多个国家的众多场馆和著名音乐节上举办独奏音乐会，包括萨尔茨堡、柏林爱乐、新纽约、威尼斯双年展和巴黎，以及圣保罗、北京、墨西哥城、东京、香港和芝加哥等地。他是世界上为数不多的几位能够实现如此高水平独奏活动的打击乐演奏家之一，拥有超过400部作品的演奏曲目（包括独奏曲和协奏曲）。他还为国际广播电视台制作了节目，并录制了20张独奏专辑。

·讲座内容

讲座的主要议题是电子设备、乐器和表演者的关系，以及电子音乐与打击乐、现场表演是如何结合的，以及现场演奏者应该如何面对电子音乐的部分。

第一部分从区分固定媒介与现场媒介开始：使用固定媒介时演出者必须主动适应作品固有的演出要求、时间限定也更加严格，在这种演出中需要考虑如何适应电子化的美学审美。电子设备就像一波又一波的声音、一串又一串的歌曲，需要在乐器和电子的部分之间建立起频繁的交替对话，在情绪的设计和演奏的实践上都更加灵活。在现场电子音乐演出中，演奏更加自由，更接近传统意义上室内乐演出的状态，电子音乐家与演奏家之间的关系更接近于二重奏的形式。现场电子音乐突出的优点包括增加作品与具体地点、观众群体的互动、增加和现场环境的情绪交流，更能让每一次演出都是独一无二的存在。在原声乐器与电子乐器的对话中，现场演奏的适应性更强，可以根据特定环境去变化。

第二部分着眼于施托克豪森的作品《Kontakte No.12》，作为经典的固定媒介型作品，作曲家创作了两个版本。第一个版本创作于1958年，可能是最早的著名的为纯电子设备所作的作品；第二个版本创作于1960年，这一版本在固定媒介的基础上加入了打击乐和钢琴。，由此窥见施托克豪森极为精确的记谱——时间的精确度极高（某些部分甚至要低于0.5秒）、电子部分的参数记录极全面、声音变化极详尽，以达成人与电子音乐演奏部分的一致。现场展示的乐谱中间部分是对打击乐的记谱，表现了如何在不同时段进入不同的乐器。人们还可以在谱面上看到对电子音乐部分强度的描述，具有动态效果、效果十分激烈。

第三部分由洛萨教授介绍他于2007年在GRM创作的作品《Historias de dos mundos》，电子的部分称作“tape”，当大家看到“tape”的时候就意味着这个作品没有现场的电子音乐操作，与“eletronics”开头的作品相区别。洛萨教授在谱面上绘制了一些电子声音部分的示意图，让演奏者对电子音乐部分有概念上的认识。与其它作品开头部分用演奏部分来导入的方法不同，该作品以纯电子部分开头并维持了接近3分钟，形成一种独特的氛围感，然后再引入演奏的部分。这类作品并没有采用施托克豪森一般复杂的记谱设计，尽量在电子音乐部分设立明确的信号，以让演奏员知道接下来的关键时间节点。

第四部分讨论电子音乐如何与现场演奏相结合，洛萨和米罗格里奥两位教授共同合作，介绍了Syter在现场电子音乐中的应用，并通过几个生动案例的展示加深印象。

2024年9月29日下午，杭州国际电子音乐节年度主题论坛「电子音乐与人工智能共创未来」在浙江音乐学院艺创空间热烈展开。

活动现场，主持人谢秉元携手嘉宾金耀初、杰弗瑞·斯托莱特、卢小旭、肯尼斯·菲尔兹、范青、菲利普·帕斯奎尔、倪考梦、帕纳约蒂斯·科克拉斯，针对当下时兴的电子音乐与人工智能的融合，从艺术诊疗、计算机算法、AI音乐创作等方面进行演讲讨论，进而展望人工智能对音乐产业的发展影响以及未来的发展趋势。

·主持人介绍

谢秉元，浙江音乐学院教授。数字音乐智能处理技术文化和旅游部重点实验室主任、数字音乐现代产业学院院长

·嘉宾介绍

金耀初, 欧洲科学院院士，IEEE Fellow，国家级海外高层次人才计划入选者。IEEE计算智能学会主席，《复杂与智能系统》主编

杰弗瑞·斯托莱特, 作曲家，美国俄勒冈大学未来音乐学院交互音乐中心主任

肯·菲尔兹, 中国科学院大学人居环境科学学院的媒体艺术教授, 实时网络音乐协作软件Artsmesh的创作者

范青，字节火山引擎AI应用创作方向产品负责人，海绵音乐模型商业化负责人

菲利普·帕斯奎尔, 人工智能艺术家，加拿大西蒙弗雷泽大学互动艺术与技术学院教授

倪考梦, 人工智能产业专家，AIGCxChina发起人，温州市社科联党组成员、副主席

帕纳约蒂斯·科克拉斯, 作曲家，美国北德克萨斯大学教授，国际电子音乐联合会主席

·论坛内容

主旨演讲分为七场，金耀初：《人工智能与艺术诊疗初探》、杰弗瑞·斯托莱特：《算法：人工智能之前的一步》、肯尼斯·菲尔兹：《类器官交响乐团：一个全球分布/互联网的大脑》、范青：《音乐把大象装进冰箱里的时刻——用AI音乐新技术激发用户创作，丰富生活主题汇报》、菲利普·帕斯奎尔：《掌握生产工具：小数据与模型定制》、倪考梦：《AI音乐的实践探索与未来展望》、帕纳约蒂斯·科克拉斯：《音乐创作中的人工智能与音色：拓展创作边界》。

本报告旨在探讨生成式人工智能在音乐、视频和多模态数据生成中的应用，以及音乐和艺术在生理和心理疾病治疗中的作用。同时，报告还将讨论人工智能结合艺术诊疗的潜在优势和风险，并对未来的发展趋势进行展望。回顾生成式人工智能的基础知识，包括它如何工作以及它在音乐、视频和其他艺术形式中的应用，以展示生成式人工智能具有创造新颖内容的能力，这使得它在音乐治疗等领域具有巨大的潜力。报告重点讨论音乐在治疗生理和心理疾病中的作用。音乐被广泛认为具有治愈力量，金耀初提及有关音乐治疗的实例，在帮助减轻焦虑和抑郁等症状有所见效。金耀初提出如何利用生成式人工智能来创造个性化的音乐疗法，以满足不同患者的特定需求。

最后，金耀初总结了人工智能艺术诊疗的可能潜在风险和治理问题。这包括确保人工智能系统生成的内容符合伦理和法律标准，以及保护患者隐私的重要性。

菲利普·帕斯奎尔在《掌握生产工具：小数据与模型定制》报告中指出，我们正处于大数据时代的前沿，人工智能的发展正在深入到各个领域。尤其是在音乐创作方面，人工智能的设计和开发已经逐渐向着创建一个全面、通用的音乐人工智能模型的方向发展。生成式人工智能技术，无论是通过增强现有创作软件还是通过嵌入式实时生成，正在逐渐改变创作实践的方方面面。虽然创意性人工智能不会统治世界，但其对创作者、学生、教育者以及整个创意产业的影响已不容忽视，实际上，在许多情况下，它已经深刻地改变了我们的工作方式。

作为对大数据趋势的回应，菲利普在报告中介绍 Metacreation 实验室设计的一系列基于小数据和模型定制的系统。这些系统旨在探索人工智能在创作领域的不同可能性，同时解决与大规模数据集相关的伦理和实际问题。通过这些创新，期待着未来推动人工智能在创作实践中的应用，同时保持创作者们对创作自由和伦理责任的尊重。

杰弗瑞·斯托莱特在《算法：人工智能之前的一步》的报告中表示，将人类的知识有效地转化为计算机技术架构中的算法和程序，是一项艰巨的任务，需要进行深入的研究和探索。这不仅涉及技术层面的突破，更需要对人类思维、创造力和直觉有深入地理解和把握。人工智能的出现，不仅为音乐创作带来了前所未有的便利和可能性，也极大地满足了实现大众自主创作的愿景。日益变化的科技发展给特定的艺术环境增加了更多的不确定性和随机性，不仅仅是人类需要不停地进行学习，人工智能也更是如此，而一套成熟的系统性算法正是在多次的训练和修正中总结出来的。

杰弗瑞在最后总结，人类直觉和音乐通用人工智能之间的缝隙，正是艺术创新的机遇所在。在这个大数据和人工智能的时代，我们需要探索如何在技术的框架内，保留和发扬人类独特的艺术创造力，如何在机器的逻辑和规则中，找到创新的火花。

脑类器官，源自干细胞培育的类脑细胞集合，被置于微电极阵列之上，用以捕获自发的神经脉冲行为。这些电信号不仅能够在本地通过软件进行观测，还可以被编码并通过网络传输至分布在不同校区的媒体实验室，实现数据的可视化和听觉化处理，例如通过动画或音乐形式。媒体实验室采用艺术手法对这些远程神经活动进行创意性展示，以此强化和传递这些生长中的类器官所具备的原始智能特质。

在此基础上，PCM 响应信号（通过 Supercollider 生成）将回馈至生物实验室，形成一个闭环反馈系统。假设这些外源性电信号（或听觉/波动信号）能够促使类器官尝试解读这些回声/相关信号，那么它们便能够与远程实验室建立起持续而强有力的联系。

想象一个场景，当这些实验室不再局限于校园范围，而是遍布全球，形成一个实时互动、持续运行的生物实验室和脑类器官网络，即所谓的全球大脑。媒体实验室能够访问这些实时数据，并以艺术的方式解读这种长距离且存在时间延迟的神经活动，进而打造出一个全球性的“类器官交响乐团”。

这不仅是一项技术创新，更是一次艺术与科学的深度融合。肯尼斯认为通过这种跨界合作，有望更深入地理解大脑的工作原理，探索智能的新边界，并开辟一种全新的全球协作模式。

在《音乐把大象装进冰箱里的时刻——用AI音乐新技术激发用户创作，丰富生活主题汇报》报告中，范青以海绵音乐模型在国内外市场的成果作为案例，探讨了AI音乐技术是如何激发音乐市场的活力。范青指出，AI音乐生成技术已经在全球范围内得到应用，为音乐创作领域带来了创新的变革。

范青通过分析实际用户场景，强调了AI技术降低音乐创作门槛，使得更多的人可以自由地进行创作，它不仅使音乐创作变得更为大众化，也为非专业音乐人打开了创作之门。

对于未来的发展，范青强调了用户、技术、产业之间的合作与沟通至关重要。范青认为，通过更多的合作与融合，可以推动AI音乐技术的持续创新，进而为整个音乐产业带来更加广阔的发展前景。

倪考梦在《AI音乐的实践探索与未来展望》报告中，回顾了 AI 音乐爱好者们今年以来的实践经验。他们通过参与 AI 音乐创作，不仅拓宽了音乐创作的可能性，还将 AI 音乐应用于音乐产业，推动了行业的创新与发展。

报告中，倪考梦深入探讨了 AI 音乐的发展趋势，强调了利用 AI 技术实现创作过程创新与突破的重要性。AI 音乐不仅为音乐创作提供了新的工具和方法，也为艺术与科技的融合开辟了新的道路。

展望未来，倪考梦看到了 AI 音乐在音乐创作中的巨大潜力。他认为，AI 音乐技术将为音乐创作带来更高的效率和更多元化的表现形式，同时也将对艺术与科技的融合产生深远影响。这次报告是一次结合个人经验与行业观察的深入探讨，不仅为我们提供了关于 AI 音乐实践的最新思考，也为未来的音乐创作和艺术发展提供了新的视角和启示。

在《音乐创作中的人工智能与音色：拓展创作边界》报告中，帕纳约蒂斯·科克拉斯探讨了人工智能如何影响音乐创作，特别是通过音色这一核心元素。他通过自己的作品《人工智能幻想》和《无用的盒子》展示了人工智能和机器聆听如何改变我们对音乐表达的认知。

在《人工智能幻想》中，科克拉斯运用了 Sononym 和 Orchidea 等机器学习工具来分析大量声音数据。通过相似性搜索和辅助编配，他打破了传统的音色限制，探索了音色的新可能性。而《无用的盒子》项目则结合了 FLUCOMA 技术，采用了“感知 - 思考 - 行动”的范式。在实时表演中，系统能够进行聆听、分析和互动，创造出一个盒子与其环境之间的对话。

科克拉斯的报告不仅展示了他个人的创作过程，还为我们提供了一个关于人工智能在音乐创作中应用的广阔视角。他的工作表明，人工智能和机器学习不仅可以扩展我们的创作工具，还可以推动音乐表达的新境界。