生命是一种语言，基因组语言模型（gLMs）旨在捕捉DNA的复杂"语法"。今日小编分享一篇来自加州大学伯克利分校发表的预印版综述文章：Genomic Language Models: Opportunities and Challenges。希望对你有所启发。
DNA语言模型应用潜力
本质上，gLMs是一种深度学习模型，它们在大量的DNA序列数据集上进行训练。这些模型通过学习预测被掩盖的部分（MLM任务）或下一个（因果）核苷酸，构建了丰富的内部表达，从而能够应用于多样的基因组学任务。综述文章特别强调了gLMs在以下三个关键应用领域的显著潜力：
适应度fitness预测：gLMs能够以一种无监督的方式评估遗传变异，无需依赖标记过的训练数据。这一方法基于一个假设，即健康个体的参考基因组不会包含有害变异，因此，在这样的数据上训练的模型往往会给有害突变赋予较低的可能性。在植物基因组的初步研究（例如先正达与InstaDeep合作的ArgoNT项目，可参考我们的往期推文：先正达的育种DNA大模型AgroNT到底如何？）取得了令人鼓舞的成果，但在人类基因组上的应用效果目前尚不一致（如Bend项目所示）。
序列设计：gLMs展现出生成具有特定特征的新DNA序列的潜力。这在合成生物学领域可能具有重大的应用价值，从设计调控元件到创造完整的人工染色体或基因组。尽管目前仍处于起步阶段，但gLMs已经初步证明了其生成具有实际特征序列的能力。
迁移学习：gLMs在预训练阶段学到的表达可以被进一步微调，或者作为下游基因组学任务的特征（GPN）。这使得可以利用大量的未标记基因组数据集来增强那些标记数据有限的任务的性能。例如，预测基因表达、染色质的可及性以及注释基因组元件等任务。
开发gLMs需考虑的关键要素
该文总结了在开发高效的gLMs时必须考虑的几个关键要素：
训练数据：精心搜集和处理训练数据是至关重要的一环。与蛋白质领域不同，基因组中充斥着大量非功能性的DNA，而像UniProt这样的数据库则提供了高质量的序列。因此，研究者建议在训练数据的选取上，应优先关注基因组中具有生物学功能的部分，对重复序列进行适当的降采样，并整合多个物种的数据以丰富多样性。
模型架构：尽管Transformer模型在自然语言处理（NLP）领域占据主导地位，但基因组学领域的独特性提出了新的挑战。卷积神经网络（CNNs）擅长识别局部的基因序列模式，而Transformers则能够处理长距离的基因相互作用。因此，混合架构和一些新兴方法（如状态空间模型）试图融合这些模型的优势。处理全基因组模式所需的极长上下文长度是一个主要挑战。
学习目标：大多数gLMs采用掩码语言建模（MLM，即预测被遮蔽的核苷酸）或因果语言建模（CLM，即预测下一个核苷酸）作为学习目标。这两种方法在不同的应用场景下各有优势。文章还探讨了分词策略（如BPE、单核苷酸或k-mer）以及在训练过程中融入额外基因组信息（宏基因）的策略。
解释性：理解gLMs所学习到的模式对于建立信任和获得科学上的洞察至关重要。综述中强调了多种方法，如通过可视化学习嵌入、分析注意力模式以及从模型预测中重建序列基序等，来提高模型的解释性。
评估：鉴于模型预测与实际生物学功能之间复杂的关联，对gLMs进行评估是一个挑战。作者讨论了评估适应度预测、序列生成和迁移学习能力的策略，并提醒不要过分追求可能存在缺陷的指标优化。
当前基因组语言模型领域概况
该文深入总结了当前基因组语言模型（gLMs）的发展现状，并强调了研究方法的多样性。文章指出的几个主要趋势包括：
大多数模型集中于分析人类或植物的基因组，而仅有少数模型致力于细菌基因组的研究。 同时存在专注于单一物种和涵盖多种物种的训练方法。 尽管基于Transformer的模型架构在该领域内占据主导地位，卷积神经网络（CNNs）和状态空间模型也被广泛使用。 模型处理的上下文长度差异显著，从几千个碱基对到超过十万个碱基对不等，部分最新模型甚至在尝试处理百万碱基对级别的基因组。 掩码语言建模（MLM）和因果语言建模（CLM）是两种普遍采用的建模目标。 许多模型不仅考虑了原始DNA序列，还整合了其他类型的基因组信息，以增强模型的性能和解释力。
面临的挑战与未来发展趋势
尽管基因组语言模型（gLMs）前景广阔，但仍面临若干关键挑战：
规模与效率：为了模拟基因组内长距离的相互作用，需要处理极长的DNA序列，这对现有的硬件和算法提出了挑战。我们需要开发新的模型架构和训练策略，以便有效地扩展至全基因组规模的建模。
数据质量与数量：与自然语言或蛋白质数据集不同，基因组数据中包含了大量非功能性序列。因此，需要更有效的策略来识别并优先处理那些信息丰富的区域，并整合不同物种间的进化信息。
可解释性：随着模型复杂度的增加，确保模型预测的生物学意义和可解释性变得极为重要。鉴于我们对基因组功能的理解尚不完全，这一点尤其困难。
评估：创建能够准确捕捉生物学相关性的稳定评估基准是一个重大挑战。需要与生物学领域的专家合作，对模型的结果进行解释。
与其他数据的整合：需要更全面地理解如何整合基因组的不同层面信息（例如表观遗传学、转录组学和3D基因组结构）。
该领域的未来发展方向包括以下重要问题：
规模法则scaling law 是否适用于gLMs？如果适用，学术界应如何确保获取必要的计算资源？ 如何对不同尺度的基因组进行建模，从单个基序到整个基因组？ 将群体遗传学数据和结构变异整合到gLMs中的最优方法是什么？ 我们能否对基因组间建模的难度差异有更深入的理论认识？
结论
基因组语言模型是挖掘海量基因组数据信息的一种强大新工具。它们通过深入学习DNA序列的复杂模式和相互依赖关系，有望显著增进我们对基因组功能及其进化历程的认识。
尽管如此，目前仍不能将gLMs视为万能的解决方案。更恰当的是，它们应被看作是计算生物学工具箱中的一个有益补充，用以辅助现有的研究方法。论文中特别强调了进行细致的基准测试、生物学上的解释和持续的创新是发挥基因组语言模型潜力的必要条件。
随着这一领域的发展，机器学习专家和生物学家之间的紧密合作显得尤为重要。通过结合先进的人工智能技术和深入的基因组学知识，我们有望开发出既性能卓越又能够提供真正生物学见解的模型。
预计在未来几年，基因组语言模型将取得迅猛进展。随着模型规模的扩大和更多样数据源的整合，它们将有助于揭示基因组的一些最深奥的秘密——从基因调控的规则到影响基因组结构的进化力量。尽管挑战依旧存在，但基因组语言模型在基础生物学乃至个性化医疗等领域的潜在影响无疑是巨大的。
