乳腺癌作为全球女性中最常见的癌症之一，其治疗方法的改进和治疗效果的优化是医学研究的重点之一。新辅助治疗，特别是在手术前使用的化疗、激素疗法或靶向疗法，旨在缩小肿瘤体积、提高手术成功率，并有助于保乳。此外，乳腺癌治疗中新辅助治疗（NAT）的响应情况也是预测患者长期预后的重要指标。因此，如何准确预测患者对NAT的反应成为提高治疗效果的关键。
在2024年11月7日，澳门理工大学檀韬副教授团队与荷兰癌症研究所/马斯特里赫特大学的高原博士生合作，在国际顶尖医学期刊《Nature Communications》上发表了题为“An explainable longitudinal multi-modal fusion model for predicting neoadjuvant therapy response in women with breast cancer”的研究文章。在这项研究中，高原博士生担任第一作者，檀韬副教授则是论文的通讯作者。
这篇文章介绍了一种创新的多模态融合模型，该模型旨在提高对乳腺癌患者接受新辅助治疗反应的预测精度，标志着在乳腺癌治疗领域的一个重要进展。
研究方法
MRP系统的研究方法是通过整合多模态数据并应用深度学习技术来预测乳腺癌患者对新辅助治疗的反应。
通过整合和处理来自乳腺癌患者的临床数据、影像学数据、病理数据以及生物标志物数据，构建了一个基于深度学习的预测模型——MRP系统。这个系统旨在预测患者对新辅助治疗的反应，尤其是是否能达到病理完全缓解（pCR）。
在方法上，首先对收集的多种形式的数据进行了预处理，包括数据清洗、标准化，以及对影像等数据的特征提取。接着，利用深度学习技术，特别是卷积神经网络（CNN），来处理影像数据，同时结合其他形式的数据通过适当的网络结构进行深层次的特征融合。这样的处理不仅提高了数据的使用效率，还增强了模型在处理实际临床数据时的适应性和精确性。
模型的训练过程包括了参数调整、模型优化以及使用交叉验证等方法来评估模型的泛化能力和预测准确性。最终，MRP系统在多个独立数据集上进行了测试，验证其在预测乳腺癌患者对新辅助治疗反应的有效性，尤其是在预测病理完全缓解方面的表现。
图1 乳腺癌新辅助治疗路径
研究过程
首先，收集涵盖临床数据、影像学资料、病理记录和生物标志物的多模态数据。这些数据经过严格的预处理，包括清洗、标准化及关键特征的提取，以保证输入数据的质量和一致性。
随后，采用了深度学习技术，特别是卷积神经网络（CNN），来处理和分析影像数据。同时，结合来自临床和病理的结构化数据，利用复杂的网络架构进行数据融合，确保不同数据源的信息能被充分利用。
在模型开发完成后，进行了广泛的模型训练和调参，使用交叉验证等方法在多个数据集上评估模型的性能，确保了模型的泛化能力和稳定性。模型的性能通过与现有预测方法的对比分析，验证了其在预测准确性和实用性上的优势。
最终，MRP系统在多个独立的临床试验中得到了测试，其结果证实了系统在预测乳腺癌患者对NAT反应，尤其是病理完全缓解方面的高准确率和实用性。
图2 研究流程
研究结果
成功开发了MRP系统，这是一个基于深度学习的多模态响应预测模型，用于预测乳腺癌患者对新辅助治疗的反应。研究结果表明，该系统能够有效地融合来自影像学、临床、病理以及生物标志物的多种数据，提供高度准确的治疗反应预测。
MRP系统在预测患者是否能达到病理完全缓解（pCR）方面展现出了高准确性。系统的准确性得益于其先进的算法设计，该算法能够处理复杂的数据集，并从中提取有用的特征用于决策支持。此外，系统在多个独立数据集上的测试验证了其泛化能力和稳定性，证明了它在不同患者群体和多样化的医疗环境中的应用潜力。
此外，MRP系统与现有的预测方法相比，在预测病理完全缓解方面显示了明显的优势。这不仅提高了新辅助治疗前的决策质量，还为临床医生提供了一种强有力的工具，帮助他们为患者制定更加个性化和精确的治疗方案。
这项研究的结果不仅增强了我们对乳腺癌治疗反应预测的理解，还推动了医疗决策工具的技术进步，为未来癌症治疗提供了一种更为精准和高效的方法。
图3 在整个新辅助治疗过程中，六位读者与基线深度学习模型和多模态反应预测（MRP）模型在内部测试集上的平均表现（在乳腺癌新辅助治疗（NAT）过程中，为了评估不同模型在预测治疗反应方面的性能，六位经验丰富的乳腺放射科医生对内部测试集中的病例进行了独立解读和评估）
图4 单模态和多模态模型的预测表现
原文链接：https://www.nature.com/articles/s41467-024-53450-8
参考文献：Gao, Y., Ventura-Diaz, S., Wang, X. et al. An explainable longitudinal multi-modal fusion model for predicting neoadjuvant therapy response in women with breast cancer. Nat Commun 15, 9613 (2024). https://doi.org/10.1038/s41467-024-53450-8
作者/编辑：Ricker
若涉及版权问题，请作者联系我们，我们会第一时间处理，谢谢！
