01
工作速览
02
匠心独运
图1. HistoXGAN训练、验证和应用概述。如（左图）所示，HistoXGAN生成器G是用TCGA中29种癌症类型的8120个病例进行训练的。HistoXGAN输入一个由任何自监督特征提取器E派生的组织学特征向量，并生成一个与相同特征提取器相比几乎具有相同特征的组织学图像块。如（中图）所示，在这项研究中，证明了这种架构能够准确重建训练TCGA数据集中以及来自CPTAC的3201张幻灯片1450个病例和芝加哥大学医学中心（UCMC）的2656张幻灯片1720个病例的外部数据集中多个特征提取器编码的特征。此外，证明了真实和重建的图像携带了几乎相同的可解释病理特征信息，如分级、组织学亚型和基因表达数据。如（右图）所示，展示了这种架构在模型可解释性方面的应用，使用梯度下降来说明深度学习模型预测中使用的特征。通过与专家病理学家系统审查这些特征，识别了具有可靶向通路的癌症特征，例如乳腺癌中的同源重组缺陷（HRD）和PIK3CA，并说明了基于注意力模型的应用。最后，训练了一个跨模态编码器，使用来自UCMC的934个乳腺癌病例的配对乳腺MRI和组织学将MRI放射组学特征转换为组织学特征，并应用HistoXGAN直接从MRI生成代表性组织学图像。
03
卓越性能
图2. CTransPath编码器在训练和验证数据集中的重建精度。比较了HistoXGAN和其他架构在GAN潜在空间中嵌入图像的真实和重建图像的重建精度。为了比较，使用了设计用来从与HistoXGAN模型相同训练的StyleGAN2模型中重现图像的编码器。学习感知图像块相似度（LPIPS）/深度图像结构和纹理相似度（DISTS）编码器在真实和重建图像之间使用相等比例的LPIPS/DISTS损失来训练编码器。单层和Encoder4Editing编码器被训练以最小化真实和重建图像的CTransPath特征向量之间的L1损失。（A）HistoXGAN在用于GAN训练的TCGA数据集（n = 8120）和实体瘤CPTAC验证（n = 1328）数据集上提供了更准确的CTransPath特征重建，与Encoder4Editing编码器在验证数据集中相比，平均L1损失提高了30%。（B）在CPTAC验证数据集中，HistoXGAN重建的图像在跨癌症类型的输入图像特征表示上提供了更准确的重建。
图3. 重建图像中肿瘤分级和基因表达的感知一致性。（A）展示了从低分级到高分级（定义为乳腺癌、子宫癌或胃癌的3级，以及前列腺的Gleason分级9或10）在单一图像中的转变，涵盖了四种癌症类型。一个代表高分级的向量是从逻辑回归系数中得出的，该回归预测从CTransPath特征中分级。这个向量从基础图像中减去以可视化低分级，并加到基础图像上以可视化高分级。（B）在癌症类型间，真实和重建图像的分级预测之间的相关性，按每位患者平均计算，展示了真实和生成图像的分级在感知上的高相似性。对于TCGA数据集，使用三折交叉验证，针对每种癌症类型训练了一个深度学习模型，从真实图像预测分级。真实/生成图像的预测之间的相关性针对三个保留的验证集进行了聚合。对于CPTAC验证，使用了在整个相应的TCGA数据集上训练的深度学习模型来生成预测。当可用时，真实的病理学家确定的高分级与低分级在图像上进行了注释。（C）展示了在TCGA-BRCA中选择基因表达在单一图像中的转变。（D）在癌症类型间，真实和重建图像的基因表达预测之间的相关性，按每位患者平均计算，展示了真实和生成图像的基因表达在感知上的高相似性。真实的基因表达以0到100的百分位数表示，每个数据点的颜色表示。
参考：
Frederick M. Howard et al. Generative adversarial networks accurately reconstruct pan-cancer histology from pathologic, genomic, and radiographic latent features.Sci. Adv.10,eadq0856(2024).DOI:10.1126/sciadv.adq0856
关注+标星 邂逅每一篇经典
