本文转载自北京师范大学文理学院公众号
近日，文理学院系统科学系刘宇团队在Nature旗下新进系列期刊《npj Complexity》发表了一篇题为“Correlating measures of hierarchical structures in artificial neural networks with their performance”的研究论文，讲述如何用梯径（Ladderpath）方法来研究神经网络的结构复杂度，并指出其结构复杂度与其功能表现之间的关系。
论文介绍
这篇文章讲了这样一个故事，说机器学习中神经网络的训练，在某种程度上与生命的演化过程是高度相似的。生命系统大体都是小结构一级一级组合出来的，每一级的组件都在高度复用。而我们去看神经网络的结构，发现也是这样，虽然我们开始训练神经网络的时候没这么想，但是我们去看训练完成的神经网络，会发现它里面存在着一层一层，层级化的，高度复用的基本组件。换句话说，好的神经网络不仅loss低，它的结构本身也存在高度的复杂性。
由此利用梯径方法，我们定义了一个成为“有序率” η的量。直观上讲，如果η特别大，系统就始终只由一类重复元素构成，那么这个系统很可能没什么复杂的功能；如果η特别小，这个系统的构成就没什么规律，每个元素只出现一次，没有元素重复，这样这个系统就没什么复用的模块，很松散。“好”的系统，可能是有一定程度的复用，但是每次复用又会有一些变化和多样性，所以η可能不大不小，可能会在0.5左右。
本文一个主要结论就是：实验结果证明了我们的猜测，复杂度η和神经网络的表现密切相关，下面这个图可以说明，在很多神经网络上，η越接近0.5左右的那些网络，就是红色的那些柱子，解决任务的准确率越高。
这篇文章另外一个点在于它给我们提供了一个看待神经网络的另一个视角，除了紧紧盯着loss之外，我们还可以从结构本身看出神经网络的好坏，而这种结构的度量背后又有深刻的复杂性理论，和算法信息论息息相关。
最后说明一点，虽然这个工作中做的神经网络的参数并不是很多，这是因为（当时的）梯径算法能处理的序列长度有限。事实上，最近梯径算法有了突破，能处理长度在千万级的序列了，所以算法的应用场景扩大了很多。
梯径（Ladderpath）方法是在研究生命演化过程中提出的，是在算法信息论框架下描述任意系统的复杂度的理论方法。这是梯径方法的第4篇已发表的研究论文（还有一篇正在返修中）：
第1篇发表在《Science Advances》—— Exploring and mapping chemical space with molecular assembly trees（主要是前序视角和观点）
第2篇发表在《Entropy》—— Ladderpath approach: How tinkering and reuse increase complexity and information （提出梯径的概念、基本方法和算法）
第3篇发表在《Physical Review Research》—— Evolutionary tinkering enriches the hierarchical and nested structures in amino acid sequences（将梯径概念扩充并用在蛋白序列上）
第4篇即这篇，发表在《npj Complexity》（将梯径用在神经网络上）
第5篇关于多肽药物的设计，目前正在第二轮返修中。
刊物介绍
《npj Complexity》是Nature杂志在2024年刚刚创刊的，目前每月只刊出2篇论文。其致力于出版在复杂性研究所有方面的高质量同行评审工作，特别鼓励整合多种方法或视角的研究，旨在促进全球范围内不同领域和专业之间的对话。今年4月发布了开篇评论《The path of complexity》 （通往复杂性之路），文中回顾了复杂科学发展历史上的一些里程碑事件，指出人类面临的最紧迫问题本质上是跨学科的，需要复杂性思维和跨学科协同工作。
团队情况
文理学院系统科学系、复杂系统国际科学中心副研究员刘宇为论文最后通讯作者，指导厦门大学数学学院硕士生许卓莹和朱应俊同学完成。合作者为我校文理学院物理系洪斌斌副研究员和厦门大学数学学院周达教授。三名本科同学吴鑫霖（21级系统科学）、张竞文（22级应用数学）、蔡沐峰（22级系统科学）共同参与完成了该工作。也欢迎同学们多多关注和参与。
来源丨文理学院系统科学系
