Physics-informed AI for Complex Systems
【主题】技术研讨会 Physics-informed AI for Complex Systems
【时间】2024年12月21日9:00-12:30
【地点】电子工程馆7层咖啡厅
非城市科学与计算研究中心人员请扫码填写个人信息报名后于研讨会现场签到入场。
城市科学与计算研究中心第47次技术研讨会将于12月21日周六9:00举办。
本次技术研讨会的主题是“Physics-Informed AI for Complex System”。2024年诺贝尔物理学奖颁发给对人工智能领域有重要贡献的Hinton和Hopfield标志着物理学与人工智能的紧密联系。所谓Physics-informed AI是指将物理定律和思想嵌入到人工智能模型中，以提高其在模拟和预测时的准确性和可靠性。近年来，Physics-Informed AI的发展不仅推动了从生物化学到材料科学等多个领域的突破，还为解决传统方法难以应对的非线性复杂系统领域提供了新思路和工具。
Part.1 / AI算法与平衡态统计物理理论
平衡态在统计物理中指的是物理系统的宏观性质随着时间的推移保持不变，处于相对稳定的状态。当系统达到热平衡时，每个可能的状态出现的概率并非均匀分布，而是遵循玻尔兹曼分布，从而使系统的熵达到最大值。在这一过程中，系统的能量与其状态概率分布之间存在紧密的关系，因此对系统概率分布的建模实际上等同于对其不同状态能量的建模。
从平衡态复杂系统理论出发，人工智能研究者提出了基于能量的模型（Energy-based Models）。作为一种隐式生成模型，能量模型通过学习系统的能量景观来隐式建模状态概率分布。在生成过程中，模型通过能量梯度下降法，结合朗之万动力学采样，逐步逼近能量最低的状态，从而实现数据生成。
本次Workshop的第一部分将聚焦AI与平衡态复杂系统理论的结合，探讨这一领域的潜力。我们将从Hopfield网络和受限玻尔兹曼机（RBM）的概念与应用入手，进而介绍深度能量基模型在数据生成等方面的最新进展，并讨论如何将平衡态复杂系统理论与人工智能结合，以推动更高效的生成模型研究与应用。
图1 Hopfield网络的能量景观
参考文献
[1] Hopfield, John J. "Neural networks and physical systems with emergent collective computational abilities." Proceedings of the National Academy of Sciences 79.8 (1982): 2554-2558.
[2] Hinton, Geoffrey E., and Ruslan R. Salakhutdinov. "Reducing the dimensionality of data with neural networks."Science 313.5786 (2006): 504-507.
[3] Du, Yilun, and Igor Mordatch. "Implicit generation and modeling with energy based models." Advances in Neural Information Processing Systems 32 (2019).
[4] Wu, Huaijin, et al. "EBMDock: Neural Probabilistic Protein-Protein Docking via a Differentiable Energy Model." ICLR (2024).
Part.2 / AI算法与非平衡态统计物理理论
作为统计学习中绕不过的话题，数据分布一直是各个领域AI研究中的重点建模对象。尽管以生成模型为代表的大量AI算法通常假设现实中从图片、音频、文本到蛋白质构象的数据分布是静态的，但事实是，自然界的动态过程由确定性的演化方向和固有的随机噪声共同支配，塑造了随时间不断演化的状态分布。
近年来，以Diffusion为代表的生成式AI模型从郎之万动力学确定的非平衡过程中采样获得高质量生成样本。这进一步激发人们对非平衡态复杂系统理论的关注：Diffusion模型因何而强大？非平衡态复杂系统理论还能为AI研究带来哪些启发？AI反过来又能如何促进非平衡态复杂系统的建模呢？
本次Workshop的第二部分将围绕非平衡过程的定义、非平衡过程的理论建模、非平衡过程的数据驱动建模、非平衡过程启发的机器学习为大纲展开介绍，并在最后探讨不同模态的时间序列生成与非平衡过程的联系与结合潜力。
图2 能量景观上的郎之万动力学过程
参考文献
[1] Sohl-Dickstein, Jascha, et al. "Deep unsupervised learning using nonequilibrium thermodynamics." ICML, 2015.
[2] Song, Yang, and Stefano Ermon. "Generative modeling by estimating gradients of the data distribution." NIPS 2019.
[3] Lai, Chieh-Hsin, et al. "FP-Diffusion: Improving score-based diffusion models by enforcing the underlying score Fokker-Planck equation." ICML, 2023.
[4] Seifner, Patrick, and Ramsés J. Sánchez. "Neural Markov jump processes." ICML, 2023.
[5] Sclocchi A, Wyart M. On the different regimes of stochastic gradient descent. PNAS, 2024.
Part.3 / 具有先验知识的AI算法在复杂系统科学中的应用
在地球科学、生命系统、蛋白质系统和城市系统等领域，具有先验知识的AI算法与纯数据驱动的AI算法展现了各自的特点和适用场景。具有先验知识的算法以物理定律、生物机制或领域经验为指导，在建模复杂系统的核心动态时具备较高的解释性和可靠性。例如，在地球科学中，这类方法通过物理模型模拟气候变化或污染物扩散；在蛋白质系统中，结合已知生物化学规则，预测分子交互或结构特性。而纯数据驱动的AI算法则依赖数据学习能力，能够从大规模、高维、非线性数据中提取隐藏模式，在生命系统的基因表达预测和城市系统的交通流量分析中表现突出。尽管两类方法各有所长，其应用也面临不同的局限性：前者受限于先验知识的精确性，后者则可能面临数据不足和可解释性不足的问题。本次研讨会的第三部分将对相关领域的研究方法进行综述，探讨两类算法在这些领域中的应用实例与差异，为复杂系统的研究提供了全面的视角。
图3 先验知识在复杂系统中的应用
参考文献
[1] Jin D, Chen Y, Lu Y, et al. Neutralizing the impact of atmospheric turbulence on complex scene imaging via deep learning[J]. Nature Machine Intelligence, 2021, 3(10): 876-884.
[2] Brown E E, Guy A A, Holroyd N A, et al. Physics-informed deep generative learning for quantitative assessment of the retina[J]. Nature Communications, 2024, 15(1): 6859.
[3] Senior A W, Evans R, Jumper J, et al. Improved protein structure prediction using potentials from deep learning[J]. Nature, 2020, 577(7792): 706-710.
[4] Krishna R, Wang J, Ahern W, et al. Generalized biomolecular modeling and design with RoseTTAFold All-Atom[J]. Science, 2024, 384(6693): eadl2528.
[5] Hettige K H, Ji J, Xiang S, et al. AirPhyNet: Harnessing Physics-Guided Neural Networks for Air Quality Prediction[C]//The Twelfth International Conference on Learning Representations.
