多元共融 沉浸盛宴｜2024杭州国际电子音乐节现场报道（三）

2024年9月26日上午，中国传媒大学副教授冯金硕和加拿大西蒙弗雷泽大学互动艺术与技术学院教授菲利普·帕斯奎尔在浙江音乐学院音教剧场先后带来了「人工智能多模态大模型技术在舞台艺术中的首次实时应用实践」与「音乐生成的创意AI 工具：批判性综述」系列大师讲座。

·嘉宾介绍

冯金硕

冯金硕，作曲家，博士，中国传媒大学副教授。2022年国家艺术基金资助作曲家。毕业于中央音乐学院，师从中国电子领军人物张小夫教授；美国俄勒冈大学就读国家公派联合培养博士，师从音乐学院院长杰弗里·斯托莱特教授。他的代表作品包括中国舞剧《曹雪芹》、《人生若只如初见》、《东坡海南》、《百年正阳门》和交互艺术展 《万物共生》、《夜谭·白鹿原》等。此外，他的作品还在国际上演出，包括在北京国际电子音乐节、北京现代音乐节、ICMC、CIME/ICEM、SEMUS、布拉格四年展等音乐活动。

·讲座内容

该场讲座由张小夫老师开场，邀请了中国传媒大学老师、作曲家冯金硕为嘉宾。冯老师基于从他的作品出发，细说了人工智能在音乐创作中应用与实践。冯老师提出了人工智能在音乐领域中的三个热门方向，即AI内容的生成、人工智能歌手等新生命的发掘以及人工智能在表演形式上的新可能。

冯老师就第三点为中心，提出在传统舞台艺术中表演多为单向传输的问题，并且给予拉近演员与观众距离的方式，即交互音乐。交互音乐表演的运用，实现了双向传输，演员与观众可相互影响，观众的动作或交互行为能影响音乐的表演性。而又正是人工智能在表演形式上的探索才带来了交互双向创新的新可行性。冯老师通过他的作品《说书：三打白骨精》这一交互性表演作品给予观众最直观的体验。同时，通过现场实践操作展示大模型技术在理解自然语言及处理语言方面的极大优势，以Python程序结合大模型进行实时语言捕捉和内容推理，使得在现场讲述故事时，大模型根据故事内容实时推理并产生相应的音乐。

 大模型带来创作便利的同时，冯老师也提出了它的不足之处，即反应速度较慢的问题。而相比之下，小模型参数量小，可在本地快速运行，适合处理特定任务如动作捕捉。因此在创作时，他建议大模型与小模型结合运用，大模型负责理解意图，小模型负责实时交互，如识别手势控制音乐，使表演形式新颖且快捷。

此外，冯老师还建议对于非编程背景的音乐学生，可利用开源人工智能程序如Google的TensorFlow Lite等，通过自然语言描述需求来创建人工智能交互的音乐程序，实现无编程基础也能参与的交互音乐创作。这些开源程序包含多种模型，如手势识别、面部特征识别、动作识别等，可直接用于作品创作中，只需向大模型提问即可集成。大模型根据这些描述生成代码，自动生成交互音乐程序，再将代码复制到Python环境中运行，即可实现动作控制音乐的实时交互，这种方式降低了技术门槛，让更多人能参与到交互音乐的创作中。

·嘉宾介绍

菲利普·帕斯奎尔  

菲利普·帕斯奎尔是加拿大西蒙弗雷泽大学互动艺术与技术学院的教授，并领导创意人工智能的Metacreation实验室。菲利普的研究跨越了生成系统、机器学习、情感计算和计算机辅助创意的基础研究，与创意软件产业中的应用研究和交互式生成艺术的艺术实践相结合。

他已共同撰写了200多篇经过同行评审的出版物，并创建了广受欢迎的生成艺术与计算创意的慕课课程。菲利普发起并主持了国际音乐生成研讨会（MUME）及其音乐会系列，促成了AI音乐创意联合会议的成立。他还创办了国际ACM运动与计算会议（MOCO），并担任2015年温哥华国际电子艺术研讨会（ISEA2015）的总监。菲利普是国际人工智能联合会议（IJCAI）的高级程序委员会成员。Metacreation实验室的研究已广泛应用于如Teenage Engineering、Steinberg和微软等公司。Philippe的艺术作品在全球著名场馆展出，包括奥地利电子艺术节、蓬皮杜中心和悉尼双年展。他的项目获得了多个机构的支持，如加拿大自然科学与工程研究委员会、加拿大社会科学与人文研究委员会、MITACS、加拿大艺术委员会和欧盟。

·讲座内容

该讲座邀请了国际电子音乐大师菲利普·帕斯奎尔先生，介绍在创作电子音乐时所采用的一些技术与方式，以及对创作工具的批判性认识。帕斯奎尔先生表示，在他的创作中，他不仅仅局限于传统的创作方式，还融入了研究创作的方法。利用算法这一强大工具，开展着严谨的科学探索，再从理论推向实践，部署到现实世界的各个角落，让真实的用户能够亲身体验到它们的价值，共同创作出融合科技与艺术之美的作品。

帕斯奎尔先生提出了两种目前常用电子音乐创作的方法。第一是创意AI的应嵌入式生成系统。以系统实时运行来维持现场表演工作或是在网络中在正确的时间为给定用户生成正确的内容。第二种是计算机辅助创意，要运用计算机的创造力，使用AI算法来增强创意软件的生成能力。此外，在演讲结束时，他还谈论了一些关于这些工具的评估，因为越来越多的研究关注用户体验，包括初学者、业余爱好者和专业人士，以及他们如何使用这些工具。

而在音乐创作之外，帕斯奎尔先生还提到这些AI技术还应用于电影、视频游戏等领域，实现实时生成内容，满足复杂多变的用户需求。例如，在游戏和教育中，系统能根据玩家表现生成适宜的音乐，提升用户体验。此外，计算机创造力的发展也十分值得关注，从早期的风格转换到如今的全面声音设计，基于提示的系统在音乐生成领域取得了显著进展。这些系统不仅简化了创作过程，还使音乐创作更加个性化和适应性。未来，随着技术的进步，计算机将在更多领域发挥创意作用，为用户提供更加丰富和个性化的体验。同时，这些技术也将为音乐治疗等领域带来新的可能性，通过生物反馈和情绪跟踪实现功能性音乐生成。

在此之后，帕斯奎尔先生批判性的综述了对若干创意AI工具的调查，如对Cubase的可用性与可接受性评估，从而得出MMM-Cubase的可用性。它提供了体面的用户体验，具有良好的创意支持，但缺乏表现力和控制力。该工具被广泛接受，作曲家们把这个系统看作是音乐的源泉、灵感。他在最终总结道：科技不断塑造着我们，要摆脱对AI接管的恐惧，要相信人类中心的人道主义器的力量来扩展和支持我们的创造力。 

2024年9月26日下午，2024杭州国际电子音乐节作曲比赛C组-学术类/与视觉影像结合的多媒体电子音乐作品决赛在浙江音乐学院音教剧场举办。入围决赛的16首作品分别是：

（入围决赛作品名单）

担任本次2024杭州国际电子音乐节作曲比赛C组的决赛评委是：

经过下午的评选，比赛结果将于9月29日2024杭州国际电子音乐节闭幕式统一公布。

■《马赛克拼接》－为长笛与电子音乐而作（8’00”/2016/杭州首演）

作曲/现场电子音乐：帕纳约蒂斯·科克拉斯 

(美国/希腊)

长笛：陈梓芹（中国）

■《感质》－幻听电子音乐

（9’40”/2017/中国首演）

作曲/现场电子音乐：帕纳约蒂斯·科克拉斯 

(美国/希腊)

■《滑动》－为古典吉他与电子音乐而作

（8’33”/2002/杭州首演）

作曲/现场电子音乐：帕纳约蒂斯·科克拉斯

 (美国/希腊)

古典吉他：吴优（中国）

■《感知》－幻听电子音乐

（8’22”/2013/中国首演）

作曲/现场电子音乐：帕纳约蒂斯·科克拉斯

 (美国/希腊)

■《无用的盒子》－多媒体电子音乐

 (13’30”/2023/中国首演）

作曲/现场电子音乐：帕纳约蒂斯·科克拉斯

 (美国/希腊)

■《西极》－为钢琴与电子音乐而作

（8’43”/2008/杭州首演）

作曲/现场电子音乐：帕纳约蒂斯·科克拉斯 

(美国/希腊)

钢琴：沈久茗（中国）

■《人工智能幻想》－幻听电子音乐（10’00”/2020）

作曲/现场电子音乐：帕纳约蒂斯·科克拉斯

 (美国/希腊)

■《构建合成》—— 幻听电子音乐 

（10’00”/2010/中国首演）

作曲/现场电子音乐：帕纳约蒂斯·科克拉斯

 (美国/希腊)

■《喊山》－为打击乐与电子音乐而作（8′15″/2024/世界首演）

作曲/现场电子音乐：邢依楠、张裕祺

（中国/吉林艺术学院音乐学院）

演奏：张裕祺、李墨潼

（中国/吉林艺术学院音乐学院）

■《时间操纵者》－为新媒体视觉与电子音乐而作（7’21’’/2024/杭州首演）

作曲：徐昊（中国/武汉音乐学院）

视觉设计：钱誉文（中国）

■《涟痕》－为竹笛、电子音乐与AI音乐生成模型而作（7’00’’/2024/世界首演）

作曲/现场电子音乐：薛蕙心（中国/上海音乐学院）

演奏：陈泓璇（中国/上海音乐学院）

■《算韵》－为现代舞、视觉影像而作的多媒体电子音乐

（4’48’’/2024/杭州首演）

作曲：游小丫（中国/西安音乐学院）  

舞蹈：谭梓贤（中国/西安音乐学院）

■《冲出四合院》－现场电子音乐

（4'03''/2023/杭州首演）

作曲/现场电子音乐：杨洋（中国/中央音乐学院）

■《涟歌》－为手风琴、电子音乐与视觉影像而作（7’54’’/2024/世界首演）

作曲/视觉设计：谭浏洋（中国/四川音乐学院）

演奏：华天睿（中国/浙江音乐学院）

■《枯山水》－为接触式麦克风，枯山水，和Kyma而作（9’00’’/2022/中国首演）

作曲/现场电子音乐：李陶（中国/俄勒冈大学）

■《天空的赞美诗》－为长笛与电子音乐而作（6’10’’/2023）

作曲/现场电子音乐：张懿楠（中国/浙江音乐学院）

演奏：黄译萱（中国/浙江音乐学院）

■《通天塔》－ 多媒体电子音乐

（7’46’’/2023/杭州首演）

作曲/视觉影像：唐茂文

（中国/南充电影工业职业学院）

■《漫延》－为四个人的姿势传感器与神经网络合成而作

（6’19’’/2024/杭州首演）

作曲：肖翔（中国/中央音乐学院）

演奏：肖翔、王夕嘉、林雅清、江遥

（中国/中央音乐学院）

■《珠玑》－为古筝与电子音乐而作

（5’06’’/2024/世界首演）   

作曲：李玥慜（中国/浙江音乐学院）

演奏：李玥慜（中国/浙江音乐学院）

■《听见自然的身世》－为自制数据驱动乐器齿链而作

（5’00’’/2024/世界首演）

作曲/现场电子音乐：金仡暄（中国/浙江音乐学院）

■《幻·境》－为女高音与电子音乐而作

（7’58’’/2024/世界首演）

作曲/现场电子音乐：刘钊（中国/武汉音乐学院）

演唱：杜可佳（中国/武汉音乐学院）

■《灰界》－多媒体电子音乐

（11’10’’/2024/中国首演）

作曲/现场电子音乐：陆敏捷（中国/四川音乐学院）

视觉影像：陆敏捷（中国/四川音乐学院）

唐茂文（中国/南充电影工业职业学院）

■《融合视界》－ 为Nintendo Ring-Con,Joy-Con, Max和Kyma⽽作

（8’30’’/2024/世界首演）

作曲/现场电子音乐：王驰

（中国/印第安纳大学雅各布音乐学院）

（2024杭州国际电子音乐节委约创作）