J. S. 巴赫音乐中音符转换的信息含量(二)
量化音乐网络感知差异
现在,咱们来研究一下推断出的音乐网络和真实网络结构之间的偏差到底有多大。如果推断出的网络结构和真实结构之间的偏差比较小,那么就说明这个网络在准确传递信息方面做得更好。所以说,这个框架可以帮助我们从网络和我们不完美的感知系统是如何互动这个角度,来理解一个网络传递信息的成功程度。在数学上,我们可以用 KL 散度来量化推断网络 () 和原始网络 () 之间的偏差:
这里 指的是原始网络的平稳分布。KL 散度越低,就说明推断出的网络和真实网络越接近,传递信息也就越准确。巴赫的音乐作品是不是有什么特别之处,能让大家感知到的结构差异更小呢?不同的作品在感知差异上有什么区别?是什么样的结构差异导致了这些区别呢?
为了回答这些问题,我们先计算出每首曲子的真实转移概率 和推断转移概率 之间的 KL 散度。然后,为了研究这些音乐网络的推断结构是否真的具有较低的差异性,我们将它们与节点和边数量相同的随机网络进行比较。数据印证了我们的推测 [图 6(a)]:巴赫的音乐网络比相同规模的随机网络具有更低的 KL 散度。即使与入度和出度分布相同的零模型网络相比,音乐网络的 KL 散度依然更低 [图 6(b)]。这表明,仅仅依靠度分布,并不能解释这些网络 KL 散度较低的现象。此外,我们观察到不同音乐类型的 KL 散度存在显著差异(图 6)。其中,众赞歌的 KL 散度最高,而前奏曲和托卡塔的 KL 散度最低。接下来,我们将尝试找出并解释造成不同音乐类型和作品之间信息推断差异的网络特性。
A. 传递聚类系数
如前文所述,音乐网络中推断的转移结构的差异不能仅用度的分布来解释。已有研究表明,对于无向网络,其推断的转移结构和真实转移结构之间的 KL 散度会随着网络中三角形密度的增加而减小 [21]。将网络推断版本的表达式 [公式 (7)] 代入 KL 散度的公式 [公式 (8)] 中,即可证明这一关系。现在,我们将这一分析扩展到有向网络,以期推广这一发现。通过代入,我们得到了基于原始网络邻接矩阵 (A) 的 KL 散度表达式:
可以看出,KL 散度取决于 形式的乘积,该乘积量化了网络中存在的传递关系。更具体地说,它取决于网络中 和 形式的有向三角形的数量。
为了量化网络中这种形式的集群程度,我们引入了一个称为传递聚类系数的度量指标,其定义与网络的聚类系数类似 [71,72]。对于每个节点,该系数的计算方法是将节点 所属的传递三角形的数量 () 除以可能的有向三角形的数量:
其中, 是节点的总度数(入度加出度)。我们对网络中所有节点的该系数取平均值,得到每首曲子的单个传递聚类系数值。根据公式 (9),我们预期网络的 KL 散度主要受传递聚类系数的影响。图 6(c) 清晰地展现了这种关系,传递聚类系数越高的音乐网络,其 KL 散度值往往越低。同时我们还观察到,与其他类型的作品(如众赞歌)相比,前奏曲和托卡塔的传递三角形密度更大,这也解释了它们相对较低的 KL 散度值。
接下来,我们将探讨这些传递关系在网络中的意义,以及它们为何能够缩小推断结构与真实结构之间的差距。从认知科学的角度来看,KL 散度和聚类之间的这种关系源于人类倾向于计算长度为 2 的转换,正如前面提到的那样。假设节点 连接到节点 ,节点 又连接到节点 ,那么人类学习者可能会误以为节点 和节点 之间也存在连接。然而,如果网络中本来就有从节点 到节点 的直接连接,那么这种错误反而会强化已有的连接,从而使推断出的网络更接近真实网络。所以我们认为,聚类程度高的网络在面对推理错误时会更加稳健。从音乐角度解读这些三角形并不容易,因为这些网络并没有考虑权重。 不过,大量三角形的存在意味着,如果音符 同时与音符 和 都有过渡,那么音符 和 之间很可能也存在过渡。这或许反映了音乐倾向于形成音调稳定的音符序列。我们将在第七节详细讨论如何进一步验证这些观点。
进一步分析传递聚类,我们发现与保留度数的随机网络相比,音乐网络的传递聚类系数更高 [图 6(d)],这表明这种特征并非偶然。图 6(d) 展示了一个有趣的现象:前奏的传递聚类系数似乎低于与其规模和度数分布相同的空网络,而合唱曲的传递聚类系数则普遍高于与其规模和度数分布相同的空网络。我们在补充材料 [57] 中对此进行了更深入的探讨,并找到了一些可能导致不同作曲形式之间差异的中尺度结构。
考虑音符转换频率
在此前的分析中,我们主要关注了从巴赫音乐作品中构建的无权重(或二元)音符转换网络的信息内容和感知过程。这些网络仅仅记录了音符之间是否存在转换关系,而没有考虑每个转换出现的频率。二进制网络使我们能够探究转换结构如何促进有效的信息传递。然而,现实世界中的网络中,各个转换发生的频率往往并不相同。为体现这种差异,我们构建了基于转换频率加权的网络。例如,如果音符 在 90% 的时间内出现在音符 之后,而音符 在 10% 的时间内出现在音符 之后,则从节点 到节点 的边的权重将大于从节点 到节点 的边的权重(有关网络构建的更多详细信息,请参见方法部分 A 1)。将转换频率纳入网络分析,引出了关于转换权重在信息传递过程中所起作用的新问题。例如,网络信息流如何因转换频率的差异而改变?这些频率差异是否会影响人们对网络结构的推断?
A. 权重降低了转换的惊奇度
对于无权重网络,随机游走的节点级熵仅仅取决于节点的出度 (),因为经过每条出边的概率都为 。如果根据转换频率对边进行加权,那么 将不再均匀分布,每条出边的被遍历概率也将有所不同。因此,边权重的引入降低了节点级熵。这很容易理解,因为任何分布的不均匀性都会导致熵的降低。然而,将此结论推广到整个网络的熵却并不容易。因为这需要考虑随机游走者在每个节点上的平稳分布,而对于有向网络,我们无法得到其封闭形式的解。总的来说,我们发现加权网络的熵仍然低于相应的未加权网络[图7(a)]。这表明,边权重的引入确实降低了网络的整体信息惊奇度。
B. 权重减少了推断网络与原始网络之间的差异
引入转换频率也有助于我们理解权重在人类对音符转换的认知过程中的作用。我们观察到,与二元网络相比,加权音符转换网络的KL散度更低[图7(b)]。这表明,权重信息有助于人们更准确地构建转换结构的内部表征,从而减少对真实结构的推断偏差。
鉴于这些数据,我们接下来比较加权音乐网络与边重连的零模型网络的熵和 KL 散度,试图搞清楚网络结构对加权网络信息传递成功的影响。在先前对无权网络的分析中,我们观察到熵主要由网络的度分布驱动,对精确的连接模式并不敏感。为了验证这一点,我们将真实音乐网络的熵与随机网络的熵进行了比较。这些随机网络保留了每个节点的确切度分布,因此节点级熵保持不变。
类似地,我们也使用了空模型。这些模型通过保留每个节点的入度、出度和出权重,来保持节点级熵固定(有关空模型的详细信息,请参见方法部分)。通过比较加权音乐网络与保留度的加权空模型的熵,我们发现实际网络的熵基本保持不变,尽管实际网络的熵稍微高一些 [图 7(c),顶部]。这些结果支持了我们的结论,即真实网络中的熵仍然主要由其度分布驱动。当我们比较实际加权网络与保留度的加权空模型的 KL 散度时,我们发现实际网络的 KL 散度低于相应的空网络 [图 7(c),底部]。总之,这些结果表明,将权重纳入我们的网络分析并不会在质量上改变我们关于网络结构影响的结果。
将音符转换频率纳入我们的网络模型,会引出几个有趣的研究方向。例如,是不是因为权重的特定分布,才提高了推断音乐网络的准确性?未来的工作可以通过将加权网络的 KL 散度与一类保留网络骨架但排列边权重的空模型进行比较来评估这种可能性。测试较高的边权重是否集中在网络的三角形簇中也很有趣,这为加权网络的 KL 散度低于无权网络提供了一个潜在的解释。由于权重代表了转换发生的次数,我们预计分析这些边权重的分布将为我们提供有关音乐作品调性特征的信息。特别是,我们预期无调性音乐的边权重异质性会比较低。这种评估作品调性特征的定量方法,与当前和正在进行的关于音乐作品中的音调以及音调感知的研究相一致 [73-76]。我们将在第七节详细阐述,我们的框架如何作为该领域进一步研究的平台。
结论和未来方向
在语言、文学、音乐甚至抽象概念方面,人类都表现出从一系列项目中识别模式和关系的非凡能力,这是信息共享和交流的一个重要方面 [35,51,77-79]。在这里,我们借鉴网络科学、信息论和统计物理学的思想,构建了一个框架,作为研究音乐作品所传达信息的垫脚石。我们使用这个框架来分析由 J. S. 巴赫创作的各种音乐中的音符转换网络。对于每首音乐作品,我们通过在连续演奏的音符之间绘制有向边来构建音符转换网络。然后,我们量化网络结构生成的信息量,并发现不同的构成形式可以根据其信息熵进行分组。我们将每首作品的信息内容与其网络结构联系起来,从而使我们能够深入了解各种作品的结构特性。接下来,受统计学习领域最新进展的启发,这些进展证明了人类如何推断视觉和听觉领域的转换结构 [35,66,67,78],我们使用了一个计算模型 [21,35] 来研究人类如何学习信息网络,以计算每首作品的平均“推断”网络结构。然后,我们量化了该模型下推断的和真实的转换结构之间的差异。在这里,我们也观察到作品之间有趣的差异,我们将其归因于网络聚类的差异。最后,我们通过用转换发生的次数对转换进行加权,研究了转换频率如何影响音乐作品的信息内容和感知。我们发现权重降低了转换的整体熵或惊奇度,也减少了推断网络和实际网络之间的偏差,这表明权重有助于准确推断这些转换结构。
此外,我们发现,与规模相同的典型转换结构相比,音乐网络包含更多信息,并且在推断结构中的差异更小。这让我们了解到,哪些网络特征能够更有效地传递信息。一般来说,网络越密集(平均度数越高),蕴含的信息就越多(信息熵越高)。对于平均度数相同的网络,与度数更规则或更均匀的网络相比,异质性更高(度数分布方差更大)的结构产生更多信息[图8(i)]。此外,高度聚类的网络更接近人类预期[图8(ii)]。总而言之,这些发现表明,对于给定规模的网络,信息的快速准确传递是由异构和聚类的结构支持的(图8)。值得注意的是,这类结构在复杂系统中十分常见[58-60,71,80]。
我们希望这个框架能够促进物理学、认知科学和音乐学之间更深层的交流。更广泛地说,我们的研究也为理解复杂系统中信息的结构提供了新的视角。最后,我们想重点探讨一些未来研究的有趣方向,并展望如何扩展和完善我们的框架。
未来方向
这项分析很自然地可以延伸到其他作曲家的作品,尤其是西方传统之外的作品。这也引出了一个问题:如何评估不同音乐风格或流派之间的差异[81-83]。例如,听众区分两个时代(例如古典时代和浪漫主义时代)的音乐的关键特征是什么?那么,结构上的差异会如何影响听众对作品的感受呢?因此,像我们这样对音乐作品进行定量分析,也许能帮助我们识别出音乐学家都无法轻易断定的作曲家或流派,这无疑是十分有趣的。
系统地分析从复杂系统中提取的信息,也为我们理解人类的创造力和体验提供了新的工具。当我们探讨人类如何体验音乐时,常常会想到一个问题:是什么让一首音乐作品动听悦耳?虽然每个人的音乐品味不尽相同,对音乐的喜好也带有强烈的主观性,但人们对某些作曲家大师级的影响力却有着普遍的共识。这也许说明,那些被大众认为动听的音乐作品,也许拥有一些共通的内在特质。如果能识别出这些特质,或许就能帮助我们更好地理解音乐创作的过程,并为现有的AI音乐创作提供新的思路[84,85]。为了找到这些模式,人们进行了一些尝试。比如,[19]中分析了巴赫、肖邦、莫扎特的部分作品以及中国流行音乐的音符转换网络,并提出“好”音乐往往具有小世界特性[71]和重尾度分布。而[30]中则研究了巴赫《平均律钢琴曲集》中的部分作品,发现其度分布并非重尾分布,这表明重尾分布并非音乐动听的必要条件。未来可以设计实验来验证,我们的发现是否与作品的美学或情感吸引力相关,这将是一个很有意思的研究方向。我们的研究发现,巴赫的音乐网络中存在着大量的传递三角形簇,这使得它们比任意的转换结构更容易被学习。那么,包含更多这类三角形簇的音乐片段,是否也会更受听众喜爱呢?未来可以通过实验来验证这一假设,比如,可以让人们对巴赫的作品进行评分,然后分析评分结果与三角形簇数量之间是否存在关联。
此外,我们还可以探究音乐作品的音调模式和特征与其整体审美情趣之间的关系。正如我们在第六节中提到的那样,检查边缘权重的分布可能会给我们提供有关音乐作品音调特征的信息。未来,我们可以进行实验来探索音乐网络中边缘权重的多样性与网络生成的音符序列的整体审美吸引力之间的关系,这将是一个很有意义的研究方向。这种量化方法将补充当前和正在进行的该领域的研究 [73-75]。从更广泛的意义上来说,我们的工作不仅关注音乐过渡结构中固有的信息,还关注人类听众如何感知这种过渡结构中的信息。这个框架可能有助于我们研究音乐的认知方面,并将数据中观察到的模式与音乐认知理论联系起来。
展望未来,将我们的分析扩展到检查音乐网络如何随时间演变也很有趣。这里有三个潜在的有趣调查方向:首先,随着作品的进行,音乐作品的熵和 KL 散度如何变化?这种时间变化在各种作曲形式中是否有所不同?其次,特定作曲家(无论是巴赫还是其他人)的音乐在其一生中是如何变化的?它是否变得更加复杂,包含更多信息?也许随着作曲家获得经验,他们的作品能够更有效、更准确地传达信息,这反映在 KL 散度的减少上?如果我们知道每首作品创作的确切日期,那么本文提出的框架或许可以帮助我们解答这些问题。第三,特定类型的音乐(例如古典音乐)在不同作曲家中是如何随着时间的推移而变化的?例如,参考文献 [32] 研究了巴赫、莫扎特、贝多芬、门德尔松和肖邦的作品中相邻音符之间音高的波动,发现作曲家最大的音高波动从巴赫到肖邦逐渐增加。正如我们之前提到的,将我们的分析扩展到不同的作曲家,并了解信息和期望如何在不同的作曲家和时间之间变化将会很有趣。此外,我们还可以追踪其他量化网络特征(例如,第六节中提到的音调模式的存在)在不同音乐传统中的演变,这将是另一个值得深入研究的方向。
最后,我们工作中描述的定量测量可以作为对人类作曲家的反馈量,以帮助他们的音乐创作。例如,在音乐创作软件中,可以添加一个功能来显示迄今为止创作的音乐网络及其熵度量等。作曲家可以利用这些指标来改进他们的音乐创作。基于我们提出的框架,该软件甚至可以建议可以改变惊喜的编辑——潜在地建议违背音乐期望的方式(导致更高的熵)或和谐地解决音符以满足这些期望。此外,收集用户在创作过程中的数据并应用我们的量化框架,将有助于我们更深入地了解音乐创作的创造过程 [86,87]。这种方法不仅分析最终作品,还能让我们更深入地了解人类创造力的奥秘。
最后,我们指出分析中的一些局限性,并为进一步的研究指明方向。首先,我们论文依赖于一种对音乐的简化表示,这种表示可以扩展,以涵盖更真实的音乐元素和更复杂的音乐结构。比如,可以考虑音色的差异、音符的音程,甚至组合音或和弦,这些对音乐的感知至关重要 [88,89]。其次,虽然我们关注的是音符之间一阶序列关系中存在的信息,但未来的工作可以分析音乐中内在的更高阶关联、层次结构以及更复杂的结构 [52–55,90,91]。最近在研究网络中存在的高阶依赖关系和结构方面的进展为理解这种复杂性提供了一种很有前景的方法 [92–94]。对位法是复调音乐分析中需要体现的一个基本特征,也就是说,不同音乐声部之间存在着一定的关系。我们目前的分析方法分别计算不同声部的音符转换,并将其合并成一个网络,因此未能体现对位法。在未来的工作中,捕捉对位法以及其他音乐技巧至关重要。一种可能的扩展方法是使用多层网络 [95–98]。在多层网络中,不同音乐声部的音符转换网络将构成不同的层。然后,可以通过量化音乐声部之间的相关性来体现声部(或层)之间的关系。信息生成过程可以建模为多个耦合的过程,每个过程运行在不同的层上,并通过层间边缘相互作用 [99]。一个类似的多层网络框架可以用来同时捕捉音乐的其他方面(如节奏或音色),以及音符转换。
考虑到这些细微差别不仅能提高我们对网络结构的理解,还能提高我们对网络感知方式的理解。在此基础上,开展有针对性的实验,构建针对不同(但相互依赖)音乐属性的感知模型,将大有裨益。此外,探索音乐感知的个体差异,例如音乐训练和文化背景的影响,也将会很有意义。我们重点介绍了一些现有研究,这些研究调查了这些细微差别如何影响音乐预期和对音乐复杂性的感知。值得注意的是,研究 [41–44] 表明,文化知识塑造了音乐预期和对音乐复杂性的感知,特别是在个人遇到新音乐形式时。同样,研究 [100] 表明,即使是节奏感知也可能在很大程度上取决于文化。研究 [45–47] 表明,语言背景,特别是声调语言背景,会影响对音乐序列的感知。此外,音乐训练的水平和类型也会影响音乐感知 [37–40]。虽然我们目前的框架和计算模型没有考虑到这些细微差别,但它提供了一个跨文化和音乐训练水平进行比较分析的基准,可以区分出普遍更容易预测的元素。这为后续研究深入研究上述特定因素如何改变这些一般预测机制留下了空间。当然,将这些细微差别纳入计算模型是未来研究的一个方向。
上述方向以及未来的研究将帮助我们更深入地理解作曲家特质、时代特征和音乐类型。因此,我们的工作提供了一个灵活的框架,适用于物理学以及其他领域的学者。除了音乐,我们的研究还可以扩展到其他复杂系统,例如语言和社会网络。例如,我们可以分析文学作品,例如莎士比亚不同作品中名词转换的熵值是否因其类型而异?更具体地说,悲剧和喜剧中,名词转换或人物关系的信息含量和可学习性是否有差异?我们的研究通过对音乐中实际和感知信息进行系统和全面的分析,为语言、音乐和艺术作为复杂系统的研究提供了补充 [30,101,102]。最后,对音乐中模式和主题的定量分析,为探索音乐与其他科学领域(包括理解蛋白质结构和设计材料)之间类比的研究提供了补充 [103–105]。
PHYSICAL REVIEW RESEARCH 6, 013136 (2024)
-往期「音乐探索」-
音色为核心的创作理念,多元视角及其在Rebecca Saunders音乐创作中的模糊性
寂静之声可有一观?探讨 Rebecca Saunders 的作品中的声音空间与声音剧情布局
通过 Lucia Dlugoszewski 和 Rebecca Saunders 的创作探索:打造女性主义生态系统
-往期「乐趣」-
往期「对话音乐家」-
对话|2024年ASCAP获奖者Fabian Leung:希望文化背景尽可能远离我的音乐
音potrait像 | 听觉跃迁:依克山·阿不都沙拉木三部器乐作品略谈
-musiCON-
纽约 musicON 2024音乐节暨国际作曲比赛盛大启幕!
公布|美好艺术中心2023年" In Bloom" musiCON 委约名单
公布 I 2022首届In Bloom MusiCON作品征集评审意见(comments of jury)
预告 I 2022 In Bloom musiCON 系列音乐会第一场(节目单和作曲家、作品简介)
预告 I 2022 In Bloom musiCON 系列音乐会第二场(节目单和作曲家、作品简介)
预告 I 2022 In Bloom musiCON 系列音乐会第三场(节目单和作曲家、作品简介)
—Sempre Musick—
美国Sempre Musick 第一届国际作曲比赛获奖作品音乐会圆满举行
美国Sempre Musick 2023年国际作曲比赛获奖名单公布
-往期「喜报回顾」-
第47届美国DownBeat学生音乐奖揭晓,附美国/国际获奖名单
见证|高中生作品由奥兰多爱乐乐团精彩呈现!记国家作曲挑战赛夺冠颁奖及演出!
喜报!2024年美本放榜!美好艺术中心学员拿到6个藤校offer+茱莉亚音乐学院作曲本科等offer!
茱莉亚音乐学院2024年作曲夏令营录取名单公布,美好艺术中心7名学员入选
2024年Tribeca青年作曲家比赛获奖名单公布!美好艺术中心学员获奖名次创历史最好成绩!
荣耀诞生!首位NYO-USA "Apprentice Composer"华裔女性获奖