神经网络势能简介

学术   2024-12-21 15:43   中国台湾  

第一部分:为什么 NNP 很重要

神经网络势能(NNPs)是一种新兴的原子模拟技术。那么,我们为什么首先要关心模拟原子呢?如果我们能够准确地模拟原子、分子和分子系统,那么我们就可以研究其他方法难以观察到的微小且快速的现象,并且可以在无需进行容易出错且昂贵的实际实验的情况下了解化学知识。理论上,这应该能让我们加速药物发现和材料科学等重要领域的科学研究;但在实践中,模拟原子被证明是极其困难的。薛定谔方程是一个描述电子波动性的量子力学方程。当求解时,该方程准确地描述了非相对论系统的行为(在玻恩-奥本海默近似内)。遗憾的是,该方程的解非常复杂,而包含两个以上原子的系统会引入多体相互作用,从而使得该方程的解析解变得不可能。即使我们把丙烷的原子核视为固定,仅仅求解电子波函数,仍然需要 6.6 年的计算时间。为了在合理的时间内建模系统,人们对薛定谔方程进行了不同的近似,从而创造了许多量子力学(QM)“方法”,包括 Hartree-Fock 方法、密度泛函理论(DFT)、Møller-Plesset 微扰理论和耦合簇理论。这些不同的方法是科学计算中最复杂和计算密集型算法之一;但在非常高的层面上,它们都可以被认为是函数,这些函数接受原子序数及其笛卡尔坐标的列表,并返回该系统的能量、能量相对于原子位置的梯度(也称为“力”),以及许多其他电子性质,包括偶极矩、激发能和电子分布(图 1A)。不幸的是,这些算法——虽然对于多达数百个原子的系统是可处理的——仍然非常缓慢。为了加速量子力学风格的模拟,人们已将原子系统的势能面拟合到简单的多项式方程。对于简单的系统,这可以非常准确地完成,从而能够以高精度运行更长时间的模拟;这已经在许多系统中完成,包括硫化氢、H+H2、NaCl–H2、H2O−H2 和 H+D。然而,对于包含多个原子的系统,这种方法变得非常复杂。机器学习的进步使我们能够将量子力学(QM)的快速近似扩展到大型复杂系统。机器学习模型可以拟合数百万个参数到更复杂的量子力学数据,而不是将若干多项式项拟合到势能面。有了这些经过训练的、作为量子力学函数近似器的模型(神经网络势能,NNPs),现在可以比传统的量子力学模拟快几个数量级地运行高精度的原子模拟。图1概述了量子力学和神经网络势能(NNPs)的简化关系。值得注意的是,在本文的其余部分中,一个重要的区分:在分子模拟中,有两种类型的计算:分子计算和周期性计算。简而言之,分子计算模拟有限的分子系统(被真空或介电场包围的孤立分子或分子组),而周期性计算通过使用重复的晶胞来模拟无限系统,其中分子或分子组“看到”自己在所有维度上无限平铺。分子和周期性量子力学通常在不同的软件包中实现;同样,神经网络势能(NNPs)倾向于仅在分子或周期性量子力学数据上进行训练。有各种商业、学术和开源的量子力学软件包用于运行高精度模拟并为神经网络势能(NNPs)生成训练数据。其中包括 PySCF、Psi4、CP2K、GAMESS、Gaussian、Q-Chem、FHI-aims、Schrödinger's Jaguar、FACCTs' ORCA、TURBOMOLE、PetaChem's TeraChem、NWChem、Quantum Espresso 和 VASP。图2概述了广泛使用的商业、学术和开源量子化学软件包。一些软件包可以运行周期性和分子计算;在这些情况下,我们根据每个软件包的主要用途进行评估。量子力学风格的模拟并不是模拟原子系统的唯一方法。分子力学(MM)是一种采用称为力场的参数化能量评估方案的模拟方法。这些力场可能变得非常复杂,有时包括用于角度拉伸、二面角旋转、范德华力、极化等项。尽管如此,力场通常仅限于简单的函数形式,如多项式、正弦和余弦以及其他容易计算的表达式。这些函数形式的简单性允许在较长时间尺度上有效模拟大型系统。分子力学方法通常用于分子动力学(MD)和自由能微扰研究,尤其是用于模拟蛋白质-配体相互作用或研究生物分子中的构象运动。然而,分子力学力场通常不如量子力学方法准确和具有表现力,这可能导致准确性较差。神经网络势能(NNPs)的主要目标之一是将基于量子力学的计算的高精度扩展到当今通常使用力场的重要工作流程。要了解有关量子力学和分子力学方法的更多信息,我们推荐以下资源:Chris Cramer 在明尼苏达大学课程中计算化学视频,其中提供了对量子力学方法的全面介绍;Corin Wagen 关于量子力学计算强度有多大的文章;Corin Wagen 关于分子和周期性计算之间区别的文章;以及 Dakota Folmsbee 和 Geoffrey Hutchison 的论文,比较了不同分子力学和量子力学方法按相对能量对构象异构体进行排序的能力。

Figure 1. A simplified overview of QM and NNPs

第二部分:早期 NNP

第一个现代神经网络势能(NNP)由 Jörg Behler 和 Michele Parrinello 在 2007 年发表在《物理评论快报》上,研究了体硅。该神经网络势能(NNP)使用了简单的架构,并在 8,200 个 DFT 能量上进行了训练。与大多数量子力学引擎不同,神经网络势能(NNPs)的架构(包括第一个神经网络势能)使其能够处理分子和周期性系统。该领域的早期研究人员为每个研究系统都训练新的神经网络势能(NNP)。例如,在 2012 年,Behler 及其同事发表了一个在水二聚体上训练的神经网络势能(NNP)。他们的神经网络势能(NNP)学习了水二聚体的完整势能面,与他们的密度泛函理论(DFT)计算结果非常吻合。图3展示了 Parrinello(2007)和 Behler(2012)使用的基本神经网络势能(NNP)架构。原子坐标通过对称函数馈送,然后通过若干“隐藏”矩阵层“前馈”,以产生每个原子的能量。将这些每个原子的能量贡献相加,以产生总能量预测。此图来自 Behler 2012 年的图 1。在 2017 年,基于 Behler 和 Parrinello 的对称函数和架构,Justin Smith、Olexander Isayev 和 Adrian Roitberg 发布了 ANI-1,这是一个通用的预训练神经网络势能(NNP)。ANI-1 数据集包含“~1720 万个从 ~58,000 个小分子生成的构象”。这些原子最多包含 8 个重原子,由 H、C、N、O 元素组成。在论文中,作者接着表明,ANI-1 神经网络势能(NNP)可用于对包含 8 个以上重原子的系统进行准确预测,与量子力学势能面表现出良好的一致性。该结果表明,神经网络势能(NNPs)可以推广到看不见的拓扑结构:科学家可以使用单个预训练神经网络势能(NNP)来模拟看不见的分子,只要该模型在类似类型的分子上进行过训练,而不是为每个感兴趣的系统都训练一个新的神经网络势能(NNP)。图4表明,ANI-1证明神经网络势能(NNPs)可以大规模地推广到各种拓扑结构。此图来自 Smith 等人 2017 年(ANI-1 论文)的图 3。

Figure 2. An overview of widely-used commercial, academic, and open-source QM software packages. Some software packages can run both periodic and molecular calculations; in these cases, we've used our discretion in assessing which usage dominates per package.

第三部分:NNP 数据集

在继续研究神经网络势能(NNPs)的内部工作原理之前,值得花一些时间来研究这些模型所训练的数据。神经网络势能(NNPs)经过训练,可以重现量子力学软件的结果。这意味着,给定原子序数和位置的列表,神经网络势能(NNPs)应该能够预测与量子力学预测结果密切匹配的能量、力等。为了匹配量子力学的广度,训练神经网络势能(NNPs)的人员会花费大量时间思考如何很好地采样分子空间,以确保神经网络势能(NNPs)能够处理各种结构。在这方面,Jean-Louis Reymond 及其同事致力于一系列数据库,这些数据库在约束条件下枚举所有化学上可行的分子:GDB-11(论文)是一个枚举最多 11 个 C、N、O 和 F 原子的有机小分子的数据集;GDB-13(论文)是一个枚举最多 13 个 C、N、O、S 和 Cl 原子的有机小分子的数据集;GDB-17(论文)是一个枚举多达 17 个 C、N、O、S 和卤素原子的 1664 亿个分子数据集。这些枚举的结构数据库已用作量子力学数据库的起点,包括:QM-7(下载)是一个对来自 GDB-13 数据库的 7,165 个有机小分子执行分子 DFT 计算的数据集;QM-9(论文)是一个对 GDB-17 中每个包含最多 9 个重原子的结构执行分子 DFT 计算的数据集。材料项目(论文,网站)于 2010 年代开始,旨在成为材料计算数据的开放存储库。该数据集最初以与电池研究相关的结构为中心,但此后已扩展。材料项目是广泛使用的量子力学数据集的基础:MPtrj 或 MPtraj(下载)是一个包含 145k 个周期性 DFT 松弛的数据集(材料项目中的几乎所有化合物)。为了帮助创建可用于催化剂设计和优化的数据集,Meta 和卡内基梅隆大学合作启动了开放催化剂项目。开放催化剂项目生成了量子力学数据集,其中包括与表面催化相关的结构,包括:开放催化剂 2020 或 OC20(论文)是一个包含 12 亿个周期性 DFT 松弛的数据集,"跨越了广泛的材料、表面和吸附物";开放催化剂 2022 或 OC22(论文)是一个专注于氧化物化学的 6.2 万个周期性 DFT 松弛的数据集。在 2023 年,Meta 和乔治亚理工学院合作研究了直接空气捕获,发布了:OpenDAC 2023 或 ODAC23(论文,下载)是一个 “17 万个涉及金属有机骨架(MOF)以及二氧化碳和水吸附物的周期性 DFT 松弛数据集”。在 2024 年,Meta 继续这项工作,发布了:开放材料 2024 或 OMat24(论文,下载)是一个包含 1.18 亿个无机散装材料周期性 DFT 计算的数据集,重点是非平衡结构。在 2023 年,Peter Eastman 与其他人合作,生成了非常准确的量子力学数据,这将使机器学习模型能够预测药物样小分子和蛋白质的相互作用,从而产生了:SPICE(论文)是一个包含 110 万个小分子、二聚体、二肽和溶剂化氨基酸分子 DFT 计算的数据集;SPICE 2.0(下载)是 SPICE 的扩展版本,包含 200 万个分子 DFT 计算。最后,另一个经常使用的数据集是 Miguel Marques 及其同事的:亚历山大(PBE)(论文,下载)是一个包含超过 250 万个材料周期性 DFT 松弛的数据集;亚历山大(PBEsol)(论文,下载)是一个包含 17.5 万个材料周期性 DFT 松弛的数据集。不应与以下混淆:亚历山大(论文,下载)是一个包含 2,704 个有机和无机分子分子 DFT 松弛的数据集。要了解有关为训练神经网络势能(NNPs)创建的数据集的更多信息,我们推荐:Arif Ullah 在 Github 上的分子数据集列表以及随附的评论,以及 Justin Smith 和洛斯阿拉莫斯国家实验室研究人员最近的论文《机器学习原子间势能及其它数据生成》。

Figure 3. The basic NNP architecture used by both Parrinello (2007) and Behler (2012). Atomic coordinates are fed through symmetry functions and then "fed forward" through a number of "hidden" matrix layers to produce per atom energies. These per atom energy contributions are summed to yield a total energy prediction. This illustration is taken from Figure 1 of Behler 2012.

第四部分:NNP 架构

在神经网络势能(NNPs)中,分子结构通常表示为图。在这种表示中,每个原子对应于图中的一个节点(或“点”),并且边将原子连接到指定截止半径内的相邻原子。该截止定义了哪些原子被认为是“相邻原子”,从而确保每个原子主要仅与其局部附近内的原子相互作用。此原则称为“局部性假设”:即原子的环境(以及因此对系统能量的贡献)主要取决于其周围局部球形区域内的原子。在某些神经网络势能(NNPs)中,这些局部环境表示然后通过对称函数进行转换(更多内容见下面的“确保不变性/等变性”部分)。在获得这些局部表示后,神经网络通过一系列隐藏层处理它们,以生成原子能量贡献。最后,这些每个原子的能量贡献在所有原子中求和,从而产生整个结构的单个总能量预测。从这个基本架构开始,神经网络势能(NNPs)架构已经朝着几个方向发展。出现了四个主要主题:全局输入的添加、完全强制等变性与简化模型以提高速度之间的紧张关系、直接预测力与将其计算为势能导数之间的权衡,以及如何最好地处理长程相互作用的问题。

Figure 4. ANI-1 showed that NNPs could generalize across topologies at scale. This illustration is taken from figure 3 of Smith et al. 2017 (the ANI-1 paper).

第五部分:添加全局输入

一些模型结合了全局参数,例如总电荷或热力学条件,以改进对中性、平衡场景之外的预测。例如,在 MEGNet (2019) 中,Shyue Ping Ong 及其同事将温度、压力和熵与原子序数和位置一起输入,以更好地预测材料特性。Oliver Unke、Klaus-Robert Müller 及其合作者为 SpookyNet (2021) 提供了总系统电荷和多重性,使其能够区分由相同原子形成的离子和自由基状态。此后的其他模型也遵循了 SpookyNet 的方法,包括 Olexandr Isayev 小组的 AIMNet2 (2023)。

第六部分:确保不变性/等变性

“等变性”意味着如果你变换一个函数的输入,输出会以可预测的方式改变。“不变性”意味着如果你变换输入,输出会保持完全相同。对于神经网络势能(NNPs),像总能量这样的标量预测应该是不变的;如果你旋转一个系统,它的总能量不应该改变。另一方面,像力和偶极向量这样的矢量预测应该是等变的;如果你旋转一个系统,它的偶极向量也应该旋转。不同的神经网络势能(NNPs)架构以非常不同的方式处理对称性和等变性的问题。在一种极端情况下,一个可以采用任何类型特征的完全不受约束的神经网络势能(NNP)非常具有表现力,但可能难以学习系统的正确对称性质——当旋转分子改变计算的输出时,它通常会非常糟糕。在频谱的另一端,一个仅对不变特征(例如 Behler-Parrinello 对称函数)进行操作的神经网络势能(NNP)将具有正确的旋转不变性,但可能难以获得足够的表达能力来准确描述化学性质。基于球谐函数和张量积(通常使用像 Mario Geiger 和 Tess Smidt 的 e3nn 这样的软件包)的等变架构本质上会产生具有正确对称性的神经网络势能(NNPs),但是训练和推理所需的额外数学运算通常会使这些网络速度明显降低。通过 NVIDIA 的 cuEquivariance 等工作,已经投入了大量工作来优化这些张量运算,但非等变模型仍然明显更快,并且通常可以通过训练时数据增强来学习近似等变性。在 2019 年之前,大多数架构都基于 Behler-Parrinello 对称函数,这些函数是不变的。在 NEquip (2021) 中,Simon Batzner、Boris Kozinsky 及其同事通过将操作限制为等变球谐函数(使用 e3nn)来强制等变性,从而提高了旧的 Behler-Parrinello 模型的数据效率。Stephan Günnemann 小组的 GemNet (2021) 采用更简单的球形表示来确保等变性。其他方法以不同的方式处理等变性,例如 Yi-Lun Liao 和 Tess Smidt 的 Equiformer (2022),它使用类似 Transformer 的结构,以及 J. Thorben Frank、Oliver Unke 和 Klaus-Robert Müller 的 So3krates (2022),它引入了“球谐坐标”。其他架构选择通过在训练期间旋转增强数据来“教导”神经网络势能(NNPs)等变性,而不是严格地强制它,从而加快了推理速度并减少了内存使用。Sergey Pozdnyakov 和 Michele Ceriotti 在“点云深度学习的平滑精确旋转对称化” (2023) 中描述了这种方法。Mark Neumann 及其同事的 Orb (2024) 在训练期间旋转增强其数据,将推理速度提高了“3-6 倍”。类似地,Eric Qu 和 Aditi Krishnapriyan 的 EScAIP (2024) 使用旋转数据增强来提高推理速度并降低内存成本,在多个数据集上实现了最先进的性能。

第七部分:预测力

“力”是系统总能量相对于原子位置的导数。准确的力预测对于运行弛豫或分子动力学等模拟至关重要。任何方法——无论是量子力学(QM)、分子力学(MM)还是神经网络势能(NNPs)——都必须能够准确地预测力。幸运的是,神经网络擅长这项任务。正如 Behler 和 Parrinello 在他们 2007 年的论文中指出的那样:“一旦经过训练,原子坐标就会被传递给神经网络,并接收到势能,由此也可以解析地计算力。”通过诸如 PyTorch 之类的库,可以使用自动微分来计算导数,从而实现神经网络的解析力计算。这种方法被称为“保守的”,因为预测力尊重能量守恒。由于解析微分会使推理速度变慢,因此某些架构选择直接预测力作为额外的模型输出。这需要训练神经网络同时预测能量和力,并避开微分步骤,从而使神经网络势能(NNP)推理速度大致加倍。然而,正如 Filippo Bigi 等人最近的“力的阴暗面:评估原子机器学习的非保守力模型”中所强调的那样,这种“非保守”方法可能导致不稳定的模拟。

第八部分:处理长程相互作用

局部性假设——即原子的能量贡献主要取决于其特定半径内的相邻原子——未能捕获诸如静电能和范德华力之类的长程相互作用。为了使这些力可学习,Kristof T. Schütt、Alexandre Tkatchenko、Klaus-Robert Müller 等人发布了 SchNet (2017),这是一个使用基于图的“消息传递”架构的神经网络势能(NNP),该架构由 Justin Gilmer 及其同事的“量子化学的神经消息传递” (2017) 引入。在 SchNet 的框架中,每个原子及其邻居(由局部截止半径定义)在图中表示为节点和边。通过迭代消息传递步骤,每个原子的嵌入都基于从其直接邻居传播的信息进行更新,从而使网络能够构建越来越准确且具有上下文意识的局部化学环境表示,这些表示超出每个原子的直接邻居。用于在图中传播局部信息的消息传递可以减轻严格的局部性,但通常会减慢模型速度。Ilyes Batatia、Gábor Csányi 等人在 MACE (2023) 中通过传递较少的高阶消息来加速它,而 Seungwu Han 等人的 SevenNet (2024) 并行化了 NEquip 的许多消息传递步骤。一些架构,例如 Albert Musaelian、Simon Batzner、Boris Kozinsky 及其合作者的 Allegro (2023),为了获得更好的可扩展性,完全放弃了消息传递。其他架构添加了物理方程式来捕获这些长程相互作用的影响。John Parkhill 小组的 TensorMol-0.1 (2018) 将总能量预测分为短程嵌入原子能、静电能和范德华能量成分。为了预测结构的总能量,TensorMol-0.1 使用物理方程式来计算静电能和范德华能量,然后再使用标准的神经网络势能(NNP)架构来预测剩余的能量项。其他架构,包括 Jörg Behler 等人的“第四代高维”神经网络势能(NNP) (2021)、Schrödinger 的 “QRNN” (2022) 以及 Dylan Anstine、Roman Zubatyuk 和 Olexandr Isayev 的 AIMNet2 (2023),也采用了这种方法,将机器学习的短程项与基于物理的长程成分相结合,以减少对广泛消息传递的需求。图5展示了TensorMol-0.1 的架构如何分离短程和长程相互作用。通过使用简单的物理方程式计算静电和范德华力,TensorMol-0.1 能够准确地模拟长程相互作用,同时保持其他神经网络势能(NNPs)的速度。此图来自 Yao 等人 2018 年(TensorMol-0.1 论文)的图 1。要了解有关神经网络势能(NNP)架构的开发以及当前问题及其潜在解决方案的更多信息,我们建议阅读:YuQing Xie 等人的《自由的代价:探索等变张量积中表达能力和计算效率之间的权衡》、Yuanqing Wang 等人的《关于分子力学和机器学习力场之间的设计空间》、Filippo Bigi、Marcel Langer 和 Michele Ceriotti 的《力的阴暗面:评估原子机器学习的非保守力模型》、Jörg Behler 的评论《四代高维神经网络势能》以及 Dylan Anstine 和 Olexander Isayev 的《机器学习原子间势能和长程物理学》。

Figure 5. By calculating electrostatics and van der Waals forces with simple physical equations, TensorMol-0.1 is able to accurately model long-range interactions while maintaining the speed of other NNPs. This illustration is taken from figure 1 of Yao et al. 2018 (the TensorMol-0.1 paper).

第九部分:通用预训练 NNP

传统上,使用神经网络势能(NNP)需要生成数据并为每个研究的新系统训练一个新模型。为了帮助将神经网络势能(NNPs)应用于更多问题,越来越多的学术实验室、初创公司和大型科技公司发布了通用的预训练神经网络势能(NNPs)(有时称为“基础模型”)。这些模型是在广泛的、多样化的数据集上进行一次训练的,目的是捕捉原子行为的广泛模式。然后,可以将生成的神经网络势能(NNPs)用于在相似领域内对新颖系统进行预测,从而大大减少了设置时间和精力,或者对其进行微调以针对特定问题实现更好的数据效率。但是,神经网络势能(NNP)的功效仅与其训练数据的范围和质量、其架构及其训练程序一样好。Olexander Isayev 小组和 Adrian Roitberg 小组合作开发了 ANI 系列模型,包括:ANI-1x(论文)是一个专注于类药物分子的预训练神经网络势能(NNP),支持 H、C、N 和 O;ANI-1ccx(论文)是一个在 ANI-1x 数据集上训练并在 CCSD(T) 数据上微调的预训练神经网络势能(NNP),支持 H、C、N 和 O;ANI-2x(论文)是一个专注于类药物分子的预训练神经网络势能(NNP),支持 H、C、N、O、F、Cl 和 S。此后,Isayev 小组开发了 AIMNet 架构,最近发布了:AIMNet2(论文,GitHub)是一个专注于主族有机分子的 DFT 质量预训练神经网络势能(NNP),支持“中性和带电状态的 14 种化学元素”。Gábor Csányi 的小组使用 MACE 架构发布了预训练模型,包括:MACE-MP-0(论文,GitHub)是一个在 MPtrj 数据集上训练的用于材料的预训练神经网络势能(NNP);MACE-OFF23(论文)是一个在 SPICE 数据集上训练的用于有机分子的预训练神经网络势能(NNP)(注意:MACE-OFF23 未获许可用于商业用途)。其他从事神经网络势能(NNPs)工作的学术实验室也发布了预训练模型,包括:SO3LR(论文,GitHub)是来自 Alexandre Tkatchenko 小组的用于有机分子的预训练神经网络势能(NNP);AIQM2(论文)是来自 Pavlo Dral 小组的用于有机分子的预训练神经网络势能(NNP);SevenNet(论文,GitHub)是来自 Seungwu Han 小组的在 MPtrj 上训练的用于材料的预训练神经网络势能(NNP);M3GNet(论文,GitHub)是来自 Shyue Ping Ong 小组的在 MPtrj 上训练的用于材料的预训练神经网络势能(NNP);CHGNet(论文,GitHub)是来自 Gerbrand Ceder 小组的在 MPtrj 上训练的用于材料的预训练神经网络势能(NNP)。使用神经网络势能(NNPs)设计先进绿色材料的初创公司 Orbitals Materials 也发布了许可式预训练神经网络势能(NNPs),包括:Orb-v2(论文,GitHub)是一个在 MPTraj 和 Alexandria 上训练的用于材料的预训练神经网络势能(NNP)。许多大型科技公司也发布了用于不同应用的预训练神经网络势能(NNPs),包括:BAMBOO(论文,GitHub)是来自 ByteDance 的用于锂电池电解液的预训练神经网络势能(NNP);OMat24(论文,Hugging Face)是来自 Meta 的在 OMat24 数据集、MPtrj 和 Alexandria 上训练的用于材料的预训练神经网络势能(NNP);MatterSim(论文,GitHub)是来自 Microsoft 的在来自不同温度和压力的数据上训练的用于材料的预训练神经网络势能(NNP)。谷歌训练了一个用于材料发现应用的神经网络势能(NNP),但他们没有发布预训练模型:GNoME(论文,GitHub)是一个在 MPtrj 上训练,然后在谷歌进行主动学习的用于材料的神经网络势能(NNP)。(当我们谈论大型科技公司时,苹果公司发表了一篇关于使用机器学习生成构象异构体的论文。)要查看更详尽的预训练神经网络势能(NNPs)列表,我们建议查看:Jin Xiao 的化学神经网络模型列表。

第十部分:基准测试 NNP

量子力学(QM)和分子力学(MM)方法完全依赖于物理或物理动机的方程,从而使它们能够有效地推广到新的原子系统。然而,神经网络势能(NNPs)是经验性的。用 Yuanqing Wang 的话来说:从概念上讲,在所有化学空间上准确拟合能量和力与让机器学习力场模型能够求解薛定谔方程没有什么不同,从“无免费午餐定理”来看,这似乎是不可能的。为此,量子力学数据集在化学空间和构象景观的覆盖范围方面始终带有偏差。专门在无机材料上训练的神经网络势能(NNP)不太可能对有机结构做出准确的预测。该领域的研究人员使用各种工具和策略来提高神经网络势能(NNPs)的鲁棒性和实用性,但严格的基准测试对于确保其预测是值得信任的至关重要。为了评估不同神经网络势能(NNPs)在特定任务上的性能,研究人员和用户依赖于标准化的基准测试。计算机基准测试将神经网络势能(NNPs)的预测与高水平的量子力学结果进行比较。例如,能量基准测试将神经网络势能(NNPs)的相对能量输出与高精度量子力学能量值进行比较。一些能量基准测试包括:GMTKN55(论文,下载)是一个高精度分子基准测试,用于测量基本性质、反应能量和非共价相互作用;TorsionNet500(论文)是一个包含 500 个不同扭转轮廓的基准测试。其他基准测试评估神经网络势能(NNPs)对力、偶极子和其他电子性质的预测,将它们与高水平的量子力学结果直接进行比较。一些研究更进一步,使用更高层次的基准测试来比较神经网络势能(NNP)预测的势能面、径向分布函数和折叠蛋白质结构,并将它们与使用量子力学或分子力学方法计算出的结果进行比较。图6展示了许多在材料上训练的神经网络势能(NNPs)未能重现密度泛函理论(DFT)预测的非晶硅的径向分布函数与 AIMD 预测(vdW-DF-optB88)的对比。此图来自 Wines 和 Choudhary 的图 4(CHIPS-FF 论文)。基准测试神经网络势能(NNPs)的一个目标是评估它们是否可以支持稳定的分子动力学(MD)模拟。在“力是不够的:分子模拟机器学习力场的基准和批判性评估”中,Rafael Gomez-Bombarelli、Tommi Jaakkola 及其同事认为,仅仅强大的能量和力基准测试结果不足以保证分子动力学稳定性,而是通过直接运行分子动力学模拟并检查不稳定性来基准测试不同的神经网络势能(NNPs)。实验基准测试评估神经网络势能(NNPs)对实验数据的预测。由于无法直接测量系统的总量子力学能量来验证单点能量预测,因此这些基准测试都处于更高水平。常见的实验基准测试包括晶体结构稳定性排名和蛋白质晶体结构再现的测试。例如,X23 是一个测量分子晶体晶胞体积和晶格能量预测的基准测试。神经网络势能(NNPs)的基准测试仍然是一个非常活跃且快速发展的研究领域。要比较神经网络势能(NNPs)在不同基准测试上的性能,我们建议查看:材料项目的 Matbench Discovery,该项目在“旨在模拟新稳定无机晶体的高通量发现的任务中”对神经网络势能(NNPs)进行排名;Ari Wagen 的 NNP Arena,它将神经网络势能(NNPs)的 GMKTN55 性能与量子力学方法进行比较;Daniel Wines 和 Kamal Choudhary 的 CHIPS-FF,它侧重于对“包括弹性常数、声子谱、缺陷形成能、表面能以及界面和非晶相特性在内的复杂属性”进行基准测试;Yuan Chiang 和 Philipp Benner 的 MLIP Arena,该项目对神经网络势能(NNPs)的同核双原子和热导率预测进行排名;以及开放催化剂项目的 OC22 排行榜,该排行榜衡量神经网络势能(NNPs)学习 OC22 数据集的能力。

Figure 6. The radial distribution function of amorphous Si as predicted by a number of NNPs trained on materials versus the AIMD prediction (vdW-DF-optB88). This illustration is taken from figure 4 of Wines and Choudhary (the CHIPS-FF paper).

第十一部分:NNP 在生命科学和材料科学中的应用

在将神经网络势能(NNPs)应用于问题时,可以将它们视为更快的量子力学方法或更准确的分子力学方法。随着神经网络势能(NNPs)变得更快和更准确,它们有望在目前依赖量子力学和分子力学的使用案例中证明有价值。在药物发现中,量子力学方法用于生成和评分构象异构体、计算电荷、运行扭转扫描、预测 pKa、计算键离解能、搜索互变异构体、模拟反应性、预测晶体结构稳定性等等(此列表来自 Corin Wagen 的“药物发现中的量子化学”)。神经网络势能(NNPs)已用于所有这些任务,从而帮助研究人员在量子力学以前所需时间的一小部分时间内回答有关结构的问题。另一方面,分子力学方法通常用于在由例如蛋白质、类药物小分子和溶剂分子组成的系统上运行分子动力学模拟和自由能微扰。神经网络势能(NNPs)有望在这些情况下证明是有用的,但是正在研究的系统的大小以及模拟的长度和复杂性意味着神经网络势能(NNPs)今天在这些领域还没有看到太多生产用途。在材料科学领域,包括 Orbital Materials、cusp.ai 和 Entalpic 在内的许多初创公司正在训练神经网络势能(NNPs)以预测材料特性。学术实验室和大型科技公司也开发了具有多种应用的神经网络势能(NNPs),包括:开发锂电池电解液;发现用于直接空气捕获的吸附剂;以及设计“用于可再生能源存储的”低成本催化剂。

第十二部分:NNP 的未来方向

要了解有关神经网络势能(NNPs)未来方向的信息,我们建议阅读:Timothy Duignan 的“神经网络势能的潜力”;Abhishaike Mahajan 与 Corin 和 Ari Wagen 的播客“人工智能能否改善当前分子模拟的状态?”;以及 Simon Barnett 和 John Chodera 的“用于实现先进小分子药物发现和生成设计的神经网络势能”。

学术之友
\x26quot;学术之友\x26quot;旨在建立一个综合的学术交流平台。主要内容包括:分享科研资讯,总结学术干货,发布科研招聘等。让我们携起手来共同学习,一起进步!
 最新文章