本研究介绍了ENLIGHT-DeepPT，这是一个深度学习框架，用于从肿瘤切片图像中预测癌症治疗反应。该框架包括两个步骤：DeepPT，一个深度学习模型，用于从切片图像预测全基因组肿瘤mRNA表达；以及ENLIGHT，它使用这些推断的表达值来预测对靶向和免疫疗法的反应。研究显示，DeepPT在所有16个癌症基因组图谱(TCGA)队列中成功预测了转录组学，并在两个独立数据集中泛化良好。ENLIGHT-DeepPT在五个独立患者队列中成功预测了真正的反应者，涉及六种癌症类型中的四种不同治疗方法，oddsratio为2.28，预测反应者的反应率比基线率高出39.5%。并且，其预测准确性在没有接受任何治疗数据训练的情况下，与直接从图像预测反应的准确性相当。

    组织病理学长期以来一直被认为是临床诊断和癌症预后的金标准。近年来，肿瘤分子分型在临床上的使用允许更准确的癌症诊断，以及精准肿瘤学的实施。数字病理学的快速发展也允许通过应用机器学习和人工智能方法，从肿瘤切片中提取临床相关信息，利用深度学习在图像分析中的最近进展。关键进展已经在进行中，整个切片图像（WSIs）的组织用苏木精和伊红染色（H&E），已经被用来通过计算方法诊断肿瘤，分类癌症类型，区分低或高突变负担的肿瘤，识别基因突变，预测患者生存，检测DNA甲基化模式，以及量化肿瘤免疫浸润、肿瘤浸润性淋巴细胞（TILs）和空间免疫细胞浸润。

    先前的工作已经展示了利用下一代数字病理学直接从图像预测疗法反应的潜力。在这些直接的监督学习方法中，直接从WSI预测疗法反应需要大型数据集，包括匹配的成像和反应数据。因此，它们需要一个特定的队列来预测每种药物或治疗。然而，这样的数据在大规模上的可用性仍然相当有限，限制了此方法的应用，并引发了对监督预测器泛化到其他队列的担忧。为了克服这一挑战，该研究团队开发和研究一种通用方法，用于生成基于WSI的患者反应预测器，用于广泛的癌症类型和疗法，而不需要匹配WSI和反应数据集进行训练。

    为此，该研究团队采取了一种间接的两步方法。首先，研究团队开发了DeepPT，这是一个深度学习框架，用于从H&E切片中预测基因表达。DeepPT模型有癌症类型特异性，并且是通过训练与TCGA匹配的WSI和表达数据构建的。其次，对于新患者的预测基因表达值，该研究团队应用了之前发表的方法ENLIGHT，最初是开发用来从测量的肿瘤转录组学预测患者反应的，以从DeepPT-推断的转录组学预测反应。

    该研究团队进而提供DeepPT架构的概述和ENLIGHT工作的简要描述，研究设计和分析的队列。然后，该研究团队描述了在ENLIGHT-DeepPT的两个步骤中获得的结果。首先，研究了预测肿瘤表达的能力，展示了训练的DeepPT模型在16个TCGA队列和2个独立未见过的队列中预测大量基因表达的性能。其次，分析了五个独立临床试验数据集，这些数据集涉及不同癌症类型的患者，并且他们接受了各种靶向和免疫疗法的治疗。该研究团队展示了ENLIGHT，遵循其原始出版物中使用的参数，无需任何调整，能够成功地基于DeepPT-推断的表达值预测真实反应者。

数据来源

    使用的数据包括TCGA中的原发性肿瘤的图像、TransNEO-breast数据集、NCI-brain数据集、bintrafuspalfa-treatedcohort、曲妥珠单抗1组、曲妥珠单抗联合化疗治疗的HER2+乳腺癌队列、ALKi数据集和PARPi数据集。

数据处理

    组织病理学图像处理：首先使用Sobel边缘检测来识别每个图像中的组织区域。根据图像质量，删除了超过一半像素的加权梯度幅度小于某个阈值（在10到20之间）的图块。为了最小化染色差异（异质性和批次效应），我们对选定的图块应用了Macenko的彩色归一化方法。

基因表达处理

    基因表达使用edgeR确定表达的基因。为了减少基因表达值的范围，并最小化实验和批次之间的图书馆大小差异，我们执行了归一化。

DeepPT架构

    模型架构由三个主要单元组成。

    特征提取：使用基于ImageNet数据库140,000,000个自然图像预训练的ResNet50卷积神经网络模型来提取图块的特征。在将这些图块输入ResNet50单元之前，将图块调整为224×224像素，以匹配卷积神经网络的标准输入大小。通过特征提取过程，每个输入图块由2,048个特征向量表示。

    特征压缩：应用了一个自动编码器，它由一个512个神经元的隐藏层组成，将特征数量从2,048减少到512。

    多层感知器回归：该组件的目的是构建一个预测模型，将上述自动编码特征与全基因组基因表达联系起来。该模型由三层组成：（1）一个有512个节点的输入层，反映了自动编码向量的大小；（2）一个隐藏层，其大小取决于共享考虑的基因数量；以及（3）每个基因一个节点的输出层。

DeepPT训练和评估

    该研究独立训练和评估每种癌症类型。为了评估我们的模型性能，研究团队应用了5×5嵌套交叉验证。对于每个外部循环，研究团队将每个队列分为训练（80%）和保留测试（20%）集。研究团队进一步将训练集根据五折交叉验证分成内部训练和评估集。模型在每对训练/验证集上独立训练和评估。用TCGA队列训练的模型用于通过计算所有模型的预测值的平均值来预测给定外部队列中每个基因的表达。由于每个患者可以有多个切片，研究团队平均切片级预测值以获得患者级预测。每个训练轮次在最多500个周期后停止，或者如果验证集上基因表达的实际和预测值之间的平均相关性在连续50个周期内没有改善，则提前停止。在自动编码器和多层感知器（MLP）模型中都使用了具有均方误差损失函数的Adam优化器。

直接监督模型

    研究团队应用了与用于基因表达预测相同的计算深度学习框架，只是MLP回归组件被MLP分类组件替换了。每个评估数据集独立处理。按照先前的方法，所有来自给定切片的图块赋予该切片的标签。由于每个数据集的样本数量相对较少，研究团队使用留一法交叉验证来评估直接监督模型。对于每个保留的患者，研究团队应用自助采样技术随机将剩余患者分成训练（80%）和验证（20%）集，该过程进行30次，得到30个模型。对于每个模型，通过在该切片内平均图块级预测来计算切片级预测。

ENLIGHT

    ENLIGHT的药物反应预测包括两个步骤。步骤一：给定一种药物，GI引擎识别药物靶基因的临床相关GI伴侣。GI引擎首先通过分析癌症细胞系依赖性来识别初始候选合成致死（SL）/合成救援（SR）相互作用列表，基于这样的原理：当“激活”时（例如，在SL情况下，当两个基因都表达不足时，细胞活力会降低），SL/SR相互作用应该减少/增加肿瘤细胞活力。然后，它通过分析具有转录组学和与之匹配生存数据的肿瘤样本数据库，选择那些更可能具有临床相关性的配对，要求目标和伙伴基因的联合失活与更好的患者生存显著相关，对于SL相互作用和类比于SR相互作用。步骤二：然后使用药物特定的GI伴侣根据患者的肿瘤基因表达概况来预测每个药物的患者反应。EMS评估患者与治疗之间的匹配程度，基于从基因表达中推断出的一组GI基因的整体激活状态，可以反映一个肿瘤将更容易受到诱导更多活跃SL相互作用和更少活跃SR相互作用的药物的影响。

ENLIGHT-DeepPT方法概述

图1.计算框架概述

    计算框架由DeepPT和ENLIGHT组成。DeepPT利用ResNet50预训练的卷积神经网络从甲醛固定、石蜡包埋的WSIs提取组织病理学特征，然后通过自动编码器将2048个特征降维至512个特征，最后利用多层感知器（MLP）回归模型将这些特征转化为基因表达水平（图1a）。ENLIGHT首先从各种癌症体外和临床数据源推断给定药物的基因互作伴侣。基于SL和SR对以及患者样本的转录组，ENLIGHT计算用于预测患者反应的药物匹配评分（图1b）。DeepPT利用FFPE切片图像和匹配的转录组学对来自TCGA的一系列不同癌症类型进行训练。接着，利用训练好的模型来预测内部的TCGA数据集和两个未经训练的外部数据集上的基因表达。最后将这些预测的转录组学作为ENLIGHT的输入，预测患者对治疗的反应并评估预测准确性（图1c）。

DeepPT预测的基因表达与已知的癌症相关生物学特征一致

图2.DeepPT对H&E切片中的基因表达的预测

    然后，研究团队在每种癌症中分析了约18，000个基因。其中，大多数基因表现出正相关性且大多数癌症类型的相关性中位数约为0.2(图2a)。与现有的表达预测方法HE2RNA和SEQUOIA进行比较。DeepPT获得的前1000个基因的样本中，预测的基因表达量与实测值之间的中位数相关性的平均值为0.41高于HE2RNA和SEQUOIA的结果(图2c)。此外，DeepPT模型在预测未发表的NCI-脑切片对前1000个预测良好的基因实现0.48的中位相关性（图2d）。比较在不同队列中识别预测良好的基因（皮尔逊相关性超过0.4）时，DeepPT在同一癌症类型的训练和相应的外部测试队列之间预测良好的基因有显著重叠（图2e）。研究团队也总结了所有TCGA亚型和两个外部队列的通路富集分析结果，基因显著富集在癌症类型相关的免疫过程上（图2f）。这些结果证明DeepPT能够重建与癌症相关的细胞表达中的关键元素。

免疫通路的表达与免疫细胞浸润密切相关

图3.基因富集分析揭示免疫通路的表达与免疫细胞浸润密切相关

    为了阐明可能与基因表达预测相关的一些切片形态学特征，研究团队计算了预测的基因表达与切片中肿瘤浸润淋巴细胞(TILs)丰度之间的相关性，并进行了富集分析，以识别与TILs丰度高度相关的基因富集的途径。在九种癌症类型中，基因显著富集在“避免免疫破坏”和“肿瘤促进炎症”这两个生物学过程（图3）。这一观察表明，免疫基因的预测表达与TILs浸润和计数最相关。

DeepPT推断的预后标志水平与患者生存相关

图4.基因富集分析揭示免疫通路的表达与免疫细胞浸润密切相关

    基于TCGA患者的数据，研究团队给三个预后相关特征计算了各自的特征分数。然后，以队列为单位进行Cox比例风险测试，测试了基于实际和预测基因表达计算的每个标志分数之间的相关性，以及每个标志与患者生存的关联。三个特征分数在实际和DeepPT预测表达之间都显示出显著的相关性。基于实际和预测表达计算的每个特征的风险比（HRs）之间的相关性非常高（0.75-0.88）。这都证明DeepPT较好地保留了这些标志的预后价值（图4）。

图5.基于H&E图像预测治疗反应

    由于ENLIGHT–DeepPT工作流程的设计其临床应用的潜力，因此研究团队将其预测能力的评估重点放在具有直接临床重要性的指标上，包括反应的优势比(OR)和平均精度(AP)。使用预定义的阈值，ENLIGHT–DeepPT的OR对于所有数据集都高于1（图5a）。并且，AP远远超过了所有五个数据集的总体反应率，证实了其比OR量化的预测能力更广泛（图5b）。然后，研究团队将OR值与参考文献中基于测量的RNA水平（0.54，蓝线）确定的临床决策阈值下的ENLIGHT–DeepPT的OR进行了比较，发现ENLIGHT–DeepPT在其预定的临床决策阈值下的OR都优于直接监督（图5c）。此外，他们计算了ENLIGHT–DeepPT在各种可能的EMS阈值下的OR，并比较了不同模型中产生相同覆盖率的阈值下的结果(图5d)和AP值（图5e）。比较ENLIGHT-actual，ENLIGHT-DeepPT和Sammut-ML三种模型的OR和AP数值发现，虽然ENLIGHT-DeepPT的OR明显低于ENLIGHT-actual，但仍然显著高于偶然预期（图5f），并且ENLIGHT-DeepPT具有最高AP（图5g）。这些结果证实了ENLIGHT-DeepPT的整体预测性能上具有良好的效果。

    ENLIGHT-DeepPT方法在无需特定治疗数据训练的情况下，能够准确预测多种癌症对不同疗法的反应，这在精准医疗领域具有显著的潜力和价值。研究展示了DeepPT在预测基因表达方面的高性能，以及ENLIGHT在利用这些预测表达数据来预测治疗反应方面的有效性。此外，ENLIGHT-DeepPT在不同组织切片类型上的泛化能力较强，在临床应用中有潜力，尤其是在为晚期癌症患者提供快速治疗选择方面。尽管如此，研究者也谨慎地指出了这些结果需要在前瞻性研究中进一步验证，并且强调了未来研究的方向，包括扩展到更多癌症类型和治疗方法，以及进一步优化模型的预测性能。