解析维也纳的标志性声音：数字音乐学与表演科学的FAIR方法

作为跨学科研究系部，音乐声学系—维也纳声音风格研究所（Institut für musikalische Akustik - Wiener Klangstil，IWK）在维也纳音乐与表演艺术大学中具有独特的地位。该研究所目前有22名科学家、学者和工程师参与7个由奥地利科学基金（FWF）和欧盟委员会（H2020）资助的研究项目。其研究领域涵盖音乐声学、表演科学、音乐信息检索、计算机音乐、音乐机器人、音乐心理学、音乐生理学、数字音乐学等。

维也纳声音风格研究所（IWK）的名称来源颇有历史。“Wiener Klangstil”最初是指只有维也纳管弦乐队演奏的典型维也纳乐器，比如维也纳号、维也纳双簧管、维也纳定音鼓等。20世纪70年代，维也纳乐器的传统制作技艺几近消失，年轻学生没有乐器可以用来学习演奏。为此，格雷戈尔·维德霍尔（Gregor Widholm）教授于1980年创建该系部，旨在通过研究典型维也纳乐器的声学特性及其演奏风格，来指导乐器的复原及修造，以重现传统手工技艺。由此，IWK开拓了一片新的音乐声学与表演科学研究领域。

作为全球最有影响力的文化品牌之一，维也纳爱乐乐团新年音乐会每年通过现场直播吸引着上百个国家的数千万观众。维也纳新年音乐会随着时间推移，既在整体上保持着统一，又由于乐团成员的持续更新以及明星指挥的交替执棒，有一定程度变化。且该音乐会系列在不同时间跨度内呈现不同作曲家作品的同时，仍然在年复一年地演奏最受观众喜爱的一些知名作品，例如小约翰·施特劳斯的《蓝色多瑙河》与老约翰·施特劳斯的《拉德茨基进行曲》等。

这些不断重复、不断变化的性质使其持续递增的音像资料，对学者们来说是具有强烈吸引力的音乐学分析宝藏。维也纳爱乐乐团是否每年都执行相同的演奏流程？我们能否追踪到它们随时间产生的变化吗？是否可以从历史表演方面来解释这些变化？例如，是否能够观察到指挥对表演的影响？与其他乐团的表演相比，维也纳爱乐乐团在演奏这些与其有千丝万缕联系的作品时，是否形成其独有的音乐签名？维也纳其他的管弦乐团与国际上的管弦乐团相比，维也纳爱乐乐团真的具有标志性的声音吗？

基于这些音乐学研究问题，以及维也纳爱乐乐团新年音乐会经久不衰的话题讨论度和全球影响力，我们于2021年9月开启这项由FWF资助，为期三年的项目。团队成员均是来自数字人文、音乐学、音乐信息学和表演研究方面的专家。

我们的目标是通过对有历史维度的新年音乐会系列进行学术研究与技术应用扩展，为现今的艺术出版做出贡献，以将这些不同但互补的技术方法结合并运用在音乐学术中。我们正在收集与这些音乐会相关的大量音乐信息，包括乐谱、录音和音频信号的特征数据、表演和目录元数据，以及从更广泛的历史背景中提取的信息。该项目不仅为前文提出的问题寻求答案，还致力于研究数据的管理，使我们正在制作的语料库能够为未来的数字音乐学、音乐信息检索以及表演科学研究提供可行基础。

通过利用开放技术创建和处理数据，互连相关规范记录以消除歧义并丰富可用信息，同时以广泛运用的可互操作词汇表进行存储等方式，能够有效促进数据的重复使用。这些诉求在来源于自然科学最佳实践所总结出的：可查找（Findable）、可访问（Accessible）、可互操作（Interoperable）和可重用（Reusable）研究数据管理的FAIR原则下得到规范化。

本项目历史参考数据的重要来源是维也纳音乐协会（Musikverein，金色大厅所在建筑）的档案，新年音乐会系列的所有表演都在这一建筑内发生。我们开发了自定义脚本[1]以从档案网站检索详细描述这些音乐会的演出、作品、指挥和主要表演者的半结构化文本，并将其转换为结构化链接数据。

为处理这些数据，我们还研发了用于探索性分析和可视化的分析工具。图1即以可视化的方式展示了施特劳斯家族在维也纳新年音乐会中最常被演奏的曲目。

我们不断从实体媒介中为语料库获取原始资料集并进行数字化，搜寻范围包括与新年音乐会相关的CD、DVD和黑胶唱片。获取这些资料绝非易事：虽然每场演出都有现场直播（以广播形式，自1959年起通过电视直播）[2]，但能在音乐商店里轻易买到的，只有1987年以后的唱片。因此，我们的查找与购买范围扩大到线上线下的跳蚤市场和二手商店。而后，这些音频将被翻录并保存在我们的机构存储库中。从数字音频信号中提取的音频特征公开可用，所以采用非商业访问的方法可对受版权限制的材料进行重复研究[3]。

现阶段，我们正在通过将相应音频的可公开访问副本筛选鉴别后，链接到可用流媒体服务上的方式，为项目外的研究人员（和更广泛的公众）在不必规避版权的情况下收听并使用音频语料库做进一步的努力。

为扩大语料库容量，我们通过搜索查阅Bielefelder Katalog Klassik[4]等目录，还收集了与本项目有关的其他知名奥地利管弦乐团和国际乐团对新年音乐会中曲目的演奏录音，以作为比较和交叉参考相关作品及其作曲家的基础。目前我们已经收录55张CD、25张DVD、9张黑胶唱片，该数目仍在持续递增。

另外，我们的数据来源不止于此，收集内容还包括文献、博客、分析、访谈、新闻与评论中关于维也纳新年音乐会的文字论述，并按类别、地点、来源日期以及表演或录音的日期对所有材料进行标记，以备基本的情绪和文本分析。

这使得语料库呈现多模态的特点。这些数据和分析将为研究提供额外优势，以阐明随时间推移，人们对新年音乐会系列、相关管弦乐队以及各位指挥的看法发生的变化。

本项目参考先前从大量音乐录音中提取定量数据（如音高、音色、响度、节奏和歌词等）的方式[5]，并建立在最近将语义工作流应用于音乐处理的其他大规模数字音乐研究项目的进展[6]和分析[7]之上。这些项目利用音乐编码、音乐信息检索和语义网技术的各个方面来互连不同的、多模态的音乐意义来源。

如图2所示，达到所需的音乐编码涉及多个步骤：首先，通过Neuraton的商业软件PhotoScore（乐谱扫描识别软件）处理印刷类乐谱图像，以光学音乐识别来获得粗略的数字化版本。其次，使用广泛应用的打谱软件，比如MuseScore和Sibelius进行校正。接着，将乐谱导出为未压缩的MusicXML（Music Extensible Markup Language，音乐扩展标记语言）文件并使用Verovio[8]转换为MEI（Music Encoding Initiative，音乐编码倡议），或用SibMEI插件[9]从Sibelius直接转换为MEI。

然后利用开源mei-friend[10]工具的改编版进行最终校正，该工具最初是Atom文本编辑器的插件，我们已将其转换为开源的、可供本地Web浏览器打开的应用程序，以帮助用户编辑完成“最后一公里”的MEI编码。

本项目还针对管弦乐的编码做出了优化，并在GitHub（开源项目托管平台）集成、概要知情（schema-informed）自动补全和其他新功能上进行了扩展，现在它已发展成为一个用户友好型且用途广泛的工具，可以编辑、校正、注释和共享MEI编码。

在数字化过程中，我们使用MusicBrainz Picard Tagger[11]，以唱片元数据来标记每首曲目的版本。所谓的唱片元数据或音乐元数据，涵盖内容广泛，它包括基本的描述性数据：艺术家、曲目名称、发行日期、流派、调式调性、速度、语言等；表演权数据，用以明确归属版权；辅助性数据，比如风格、情感等检索类关键词。

如果网络上还没有相关对应的记录，我们会登录专门账户，标记后提供给MusicBrainz（音乐标签整理工具）收录。然后在Picard的扩展插件Generate Cuesheet[12]辅助下，生成.cue格式的索引文件，和被索引的音频文件置于同一目录中，通过上下文菜单操作（context menu actions），获取与各版本音频相关的元数据的结构化描述。再结合专为本项目开发的自定义Python脚本将其转换为链接数据，并将此信息发布到我们存储数据库的另一命名图中。

本项目采用音乐编码倡议（MEI）的XML（Extensible Markup Language，可扩展标记语言）架构[13]，以机器可解释的，同时人类也能理解的方式来捕捉音乐含义。接着，通过使用包括Sync Toolbox Python在内的开源研究软件[14]，采用动态时间规整算法（dynamic time warping，DTW）及其相关衍生算法（如MsDTW和MrMsDTW），我们在每首乐曲的不同演绎版本以及呈现形式之间生成高细粒度对齐，由此生成的音频与音频、音频与乐谱的对齐构成了对语料库做“远观近听”分析的基础。

音乐编码倡议（MEI）是一个由全球数字人文学者加入的组织，也是数字音乐学的一种文件格式。作为一种基于XML的模式，它在某些方面类似于MusicXML，比如两者都是对音乐符号进行编码，且以XML表示；但在更多方面具有本质区别：MusicXML的目标是成为乐谱编辑器之间的交换格式，而MEI除了在符号和页面布局方面包含相同功能，还可以用结构化和系统化的方式对有关符号及其知识内容的信息进行编码，并通过保留符号的结构和语义以准确表示。

如图3所示，是由MEI编码的一小节钢琴旋律片段，反映了音乐符号的某种内在层次结构，以及符号特征与数字页面图像和录音音频之间的结构连接：一组音符位于一个符尾之内，它是代码层的一部分，是五线谱的一部分，也是某小节的一部分……正是由于MEI中的所有元素有且只有唯一的xml:id，因此所有元素都可在网络唯一寻址。

它与同样开源、社区驱动的雕刻引擎Verovio协作，共同发挥优势：Verovio作为一个快速、便携且轻量级的开源库，可将MEI编码自动雕刻到基于XML，用以描述二维矢量图的SVG图形格式中。来自MEI的所有元素ID都被保留在SVG中，以便通过CSS命令和JavaScript交互（如点击处理程序等）轻松访问。此外，作为由社区驱动的开源XML格式，MEI还支持多种记谱方式，如通用乐谱、有量记谱、纽姆谱和指法谱等。

除了上述强大功能以外，MEI另外还提供了一种辅助方法以更有效地在数据实践运用中贯彻FAIR管理原则：根据相关乐谱与演出音视频对齐后所创建的MIDI文件，可以在数字声学乐器或标准MIDI合成器上播放，进而实现在不违反版权限制的情况下生成语料库中所有演绎的可访问版本，由此扩展了数据的应用范围。

为直观展示每个录制演绎版本的显著表演特征（如速度和力度），我们曾采用可视化表演研究工具对大量表演数据中的音频特征进行半自动化提取。

图4左方展示了22位维也纳钢琴家和4位国际知名钢琴家演奏肖邦作品时的速度—力度曲线。我们可以清楚地看到他们各自是如何阐释作品，彼此又存在一些明显的共性，特别是在乐句分割点附近（如在第5或第8小节之后，都会做自然渐慢处理）。

我们以速度为横坐标，力度为纵坐标，在由这两个表演参数构成的空间里，创造了可视化的“演奏蠕虫”[15]，记录下艺术家个人或管弦乐队整体表演的典型图形轨迹，如图4右上方所示。

图右下角将这些二维数据以乐句为单位划分，并进行标量化及不同程度的平滑处理，再用自组织映射对齐的方式聚类（cluster），生成6位钢琴家完整演奏6首肖邦作品的自组织图（self-organising maps）[16]。以上关于钢琴家、作品和乐句的统计数据与图表，为我们从不同角度深入了解个性化音乐诠释策略以及普遍的演奏原则提供了有力支撑。

维也纳标志性声音当然也具有表演方面的特征。其中一个典型例子就是维也纳华尔兹伴奏中四分音符的“系统性变化”。如图5所示，20世纪80年代，来自瑞典乌普萨拉大学（Uppsala University）的英格玛·本特松（Ingmar Bengtsson）和阿尔夫·加布里埃尔森（Alf Gabrielsson）首次通过测量两个相邻音符的起始时长，从时间维度对这一特征进行了可视化表演研究分析[17]。

上海音乐学院的杨健教授采用更综合的方法高度完善了这项研究。其中，他运用经针对性优化后的“演奏蠕虫”呈现出维也纳爱乐乐团在新年音乐会现场演奏小约翰·施特劳斯《蓝色多瑙河》时，在速度与力度相对关系方面的独特风格。这篇论文[18]最近在《奥地利音乐学：奥地利音乐研究学报》上发表，并获得了2022年最佳论文奖。

图5 维也纳华尔兹节奏“系统性变化”的可视化呈现

当然，这些计算机技术无法取代音乐学家的洞察力。相反，它们为音乐学可使用的工具库提供了新技术：除了更加深入聚焦关注单个或几个录音（“近听”，close listening）之外，音乐学家还能够退后一步，并在大数据中验证想法（“远观”，distant listening）。从这些角度提出新问题的音乐学家，与构建工具以帮助解答学术问题的技术人员，两者间的互动，构成了我们这个项目的核心。

另一方面，音乐教育家们则可以运用上述工具，与学生分析探讨有关演奏风格等方面的内容，从而提高实证教学水平。需要注意的是，我们的数据库所提供的“参考标准”只是各音乐要素在大众演奏中的平均状态，仅是一种客观的呈现，并不能简单地依此判断演奏的孰高孰低，孰好孰坏。

现代网络出版可以复杂地呈现学术论点，以不同格式分布论据，使用多种媒体类型，以此增强读者的交互式用户体验。然而，这些发展对音乐学交流所产生的影响并不明显，音乐学主要继续以静态和线性形式出版，很少有连接不同类型支撑材料的统一用户界面。

受到近期一些研究[19]的启发，我们的目标之一是创建超媒体出版物（hypermedia publication）来实现音乐学的出版现代化。图6即展示了我们为此所设计的分层数字音乐学工作流程。

首先，从表演录音与扫描乐谱中获取所需音乐源材料，再经过左侧蓝色框图内一系列主要针对特征数据的定量音乐信息学处理。为避免陷入过于关注数据管理，导致偏离音乐学研究主题的风险，该工作流程以并行的方式，还结合了右侧橙色框图的定性过程：学术专家意见、音乐内容阐释和汇总特征分析结果。最终达成以多媒体呈现取代传统的文本文章，运用多媒体、非线性等格式综合展示音乐和艺术方面研究[20]的目的。

我们的音乐编码与关联数据框架（Music Encoding and Linked Data, MELD）使用资源描述框架（Resource Description Framework, RDF），通过MEI提供的结构，关联音乐素材，并将多媒体音乐学论文以Web应用程序形式发布，使用户在文本、音频、视频和乐谱等数字内容之间的移动浏览体验与对应的音乐学论证联系起来。

通过采用公开、透明和FAIR的方法，我们的研究结果将不再只是“为己所用”，而是为未来在历史音乐学、表演实践、音乐社会学、声学、流行音乐研究乃至当代史、文化史及其体制研究等方面的学术探讨提供帮助，以广泛与开放的音乐数据集为基础，让使用者能够独立开启对数字语料库信息的探究。

接下来，我们将对语料库继续扩充与探索，完善并提高乐谱信息的功能开发，使资源多态化，比如文字论述与音频可以对齐并置、互链互通。

在我们所设想的一种跨学科项目的工作蓝图中，音乐学的观点、源素材和数据处理工具之间将实现敏捷快速地交互，特定领域的学术洞察力和智能搜索大数据集的能力将有效地相互作用。同时，使用具有音乐意义的语义网络来连接不同的媒体类型，可以支持更丰富的出版形式，从而超越当前技术水平。这些都将共同推动学术研究实证化与可持续化发展。

音乐信息的数字化处理不但有助于推动音乐学术领域的出版现代化，还为整合全球公共领域的古典音乐资源，形成多模态对齐互通的数字图书馆提供了强力技术支持。我们近期完结的、由欧盟H2020资助的“走向更丰富的公共领域音乐资源库”（Towards Richer Online Music Public-domain Archives，TROMPA）[21]，就是音乐数字化运用的一个典型实践案例。

古典音乐作为欧洲文化遗产的宝藏之一，历久弥新。如今大部分古典曲目版权都已超过保护期限而流向公共领域（public-domain），在线社区存储库提供的大量乐谱和录音也广泛为学者和音乐家们所用。

但是，由于其质量和规模的差异，公共领域资源不会自动被丰富和语境化。在数据泛滥的现状中，跨存储库和模式之间的互联（如从乐谱到录音）仍然需要手动进行，而先前用户对曲目的见解也并没有被明确存储以供后来者学习。因此，我们无法全面了解古典音乐文化遗产的全部财富。

如图7上方所示，在音乐类应用程序开发与完善的传统价值链中，所有环节的努力最终都服务于单端用户各自对程序的应用，在这种应用之外，知识的重复使用与组合并非易事。鉴于此，TROMPA的愿景是通过以用户为中心的共创设置，建立一个新的价值循环链条，如图7下方所示。

将公开可用的古典音乐条目（如乐谱图像、乐谱编码、录音、演奏数据、元数据）链接到一个大数据网络中，采用先进的音乐信息检索工具自动分析和丰富这些乐谱与表演数据，让大众以注释、改进乐谱、提供表演等方式与这些链接数据产生交互，以便最大化地丰富与普及我们公开的音乐遗产，从而改变前文所述的现状。该项目所面向的特定与受益人群包括学者、乐器演奏者、合唱团歌手、管弦乐队演奏者和音乐爱好者等。

在这一项目中，我们对数据的收集与运用同样贯彻了FAIR原则，坚持开放标准和数据公开。数据的架构与灵感来源之一，也仍以MEI乐谱编码格式为主。作为TROMPA子项目的 “排练尝试的长时分析伴侣”（CLARA，Companion for Long-term Analyses of Rehearsal Attempts）[22]在未来，会将表演与乐谱相匹配，增加与当前演奏位置相对应的实时音符突出显示，并根据速度—力度的变化着色。

在MELD语义框架下，通过关联数据RDF结构，将捕获的演奏MIDI信息（根据音高、持续时间和起音速度来表征音符事件）与MEI编码乐谱对齐。经过以上操作，所匹配对齐的信息可即刻被再次调用，例如，审查自己的表现，或对比分析不同演奏者对同一乐谱的演绎等。由此，与乐谱对齐的表演可在更广泛的数据网络中进行注释和互连，将大幅提升远程教学的精准度与效率。

尽管我们努力为音乐表演与音乐学的数字化研究建立完整框架，但仍然有一些诸如现场听众稍纵即逝的短暂聆听体验，还是很难以定量的、数据驱动的方式去探讨。

我们1月1日在金色大厅内的现场体验必然与事后听其对应的录音所产生的感受不尽相同。对声音的录制从根本上改变了其本身，它带来了更多不确定的外在因素。将现场声音转换为唱片录音所涉及的声学链充满了粗放性与偶然性。麦克风放置、压缩器、录音技术和设备的选择都会改变音色、平衡、明亮度、共鸣甚至对音符时长的感知。它们尚不能被精确地引入比较。

这主要是因为每年广播、电视直播和CD唱片发行的演出录音都会由不同的团队，针对不同的用途进行不同的制作处理。囿于现实，我们将“维也纳的标志性声音：量化分析维也纳爱乐乐团新年音乐会”项目的分析范围仅局限在可供购买或者访问的录音中，比如奥地利媒体库（Österreichische Mediathek）中收录的相关多媒体文件。

除了从维也纳音乐协会的网站上检索和处理历史信息外，我们还在寻求访问其实体档案以及维也纳爱乐乐团的资料卷宗。这将使我们能够在乐谱附录、指挥和特定乐器演奏者的特征识别方面得出更有力的结论。值得庆幸的是，我们已经有大量包括音符起止、乐器法、分句、（相对）音准、音高、速度、节奏和节拍缓急等在内的易于处理的数据可供对比分析。

此外，通过将公共领域中关于新年音乐会系列以及关于维也纳爱乐乐团的广泛话语讨论纳入研究范畴，基于FAIR方法，我们将可以更深入地探讨该系列作为音乐、文化和政治相结合的产物，它独特的文化通货（cultural currency）性质如何在公众言论中被逐渐确定下来，并进而在塑造奥地利的国内外文化和政治身份上发挥不可替代的重要作用。

本文的内容或许在文科学报上略显另类。我们从2022年上海音乐学院“音乐表演研究国际学术论坛”的多场专家讲座中选择完整译出本篇讲稿，主要有以下几方面考虑：

首先，维也纳新年音乐会毫无疑问是全球影响力最大的文化品牌之一。中国中央电视台从20世纪80年代开始每年转播这项盛会，对于我国的音乐爱好者与专业人士影响深远。因此，这项以维也纳新年音乐会为研究对象的奥地利科学基金（FWF）项目本身就具有中西文化互鉴的推介价值。

其次，该讲稿以我们相对熟悉的案例，详细梳理了数字音乐学与表演科学前沿所采用的典型研究方法与思路，具有多方面的启示意义。例如，文中有关音乐数字图书馆的部分显然对我国的非遗保护与传承事业具有参照价值，而关于超媒体出版物的设想则正是包括《中国音乐》在内的顶尖刊物正在追求的未来发展方向之一。

此外，该课题的跨学科团队构成也很有特色，体现了FWF与mdw等相关机构的创新体制优势。其中，格布尔教授作为IWK的总负责人，拥有体系音乐学、音乐表演与人工智能等多方面的学术背景与工作经验；项目负责人魏格尔博士长期深耕文化与社会信息学等视角的音乐科技应用；而范德哈特博士则更侧重于音乐学与音乐表演方向的研究与实践等。

相比之下，中国的社会科学基金与自然科学基金划分对于这种完全打通文理界限的跨学科项目（该项目官网上写明研究由mdw的IWK以及音乐学与表演研究系合作，包含以下学科领域：语义技术30%、数据科学30%、数字人文20%与音乐学20%）往往会造成一定困难。

同时，中国音乐院校的规模体量普遍接近或超过mdw（该校是表演艺术学科QS世界排名稳居前五的学校中最大的），或许可以借鉴这所顶尖院校在系科设置等方面的先进理念。

总之，该文在研究对象、方法论以及项目运作机制等方面都对于国内同行有一定的参考价值。译校者在讲稿的基础上进行了必要补充，希望能够充分展现出原作的精髓。

杨健、Werner Goebl、David M. Weigl与Chanda VanderHart在IWK办公室门口