DRUGAI
本文介绍一篇由香港大学张清鹏教授团队发表的基于数学建模和AI算法的免疫检查点抑制剂联合化疗决策优化的论文。在该论文中，作者尝试回答临床医生在使用ICI和化疗联用时的困境：化疗药物可以调节肿瘤免疫微环境（TIME）的同时,也会对免疫T细胞造成杀伤作用。虽然针对TIME的研究已经将肿瘤根据T细胞的浸润情况进行分型，“热”肿瘤和“冷”肿瘤，并发现后者是ICI反应率低的主要原因，但未有研究基于TIME的演进讨论对于不同类型肿瘤的最优免疫检查点抑制剂联合化疗（ICC）策略。作者基于其计算科学视角，用常微分方程（ODE，ordinary differential equations） 刻画了肿瘤免疫微环境（TIME）中癌细胞、免疫细胞和药物之间交互机制；利用强化学习探索了不同分型病人 (“热”肿瘤， “冷”肿瘤，“极端冷”肿瘤) 的免疫检查点抑制剂联合化疗（ICC）的策略。结论是，对于“极端冷”肿瘤，算法推荐只使用高剂量的化疗；而对于“热”肿瘤和“冷”肿瘤，合适剂量的化疗药物可以提高CD8+T细胞与癌细胞比值，增强CD8+T的杀伤作用和ICI的效果。对于“热”肿瘤，算法推荐低剂量的化疗和ICI同时使用；对于“冷”肿瘤，算法推荐先使用中等剂量的化疗让“冷”肿瘤转“热”，再联合使用ICI。
研究背景
当T细胞识别癌细胞之后，癌细胞可以通过免疫检查点蛋白（例如图1中的PD-L1）结合T细胞表面的免疫检查点蛋白PD-1，使T细胞不攻击癌细胞，进行免疫逃逸。而免疫检查点抑制剂（图1中的anti-PD-L1）可以和免疫检查点蛋白结合，使该机制失灵，恢复T细胞对癌细胞的杀伤能力。
图 1. 免疫检查点机制和免疫检查点抑制剂作用
免疫检查点抑制剂的应用极大的促进了多种癌症的治疗，例如，肺癌、黑素瘤、乳腺癌等。但是免疫检查点抑制剂的反应率（response rate）并不高，而研究显示，肿瘤免疫微环境里缺少免疫浸润细胞（“冷”肿瘤）是反应率低的主要原因。于是，研究人员利用化疗对免疫系统的促进作用，和ICI进行联合治疗。化疗对免疫系统的促进作用主要有三个方面：
第一，化疗可以使肿瘤解体，减少癌细胞对免疫细胞的抑制作用。
第二，化疗可以引起产生抗原性细胞凋亡（immunogenic apoptosis）， 促进免疫T细胞增殖。
第三，一些化疗药物可以进行免疫环境调节。例如，杀伤免疫抑制性细胞，如调节性T细胞（Tregs）和髓系抑制性细胞（MDSCs），同时增加和促进树突状细胞（DCs）.
由于这些促进作用，ICI联合化疗显著提高了多种疾病的治疗总响应率(ORR)和无进展生存期(PFS)。但是，在有些临床试验中，联合治疗的效果并不显著。一个可能的原因是化疗对免疫细胞有杀伤作用，于是同时减弱ICI的效果。
为了完全释放化疗和ICI的协同作用，作者尝试通过数学建模和算法优化，考虑病人肿瘤微环境的异质性和多样性来回答如下两个问题：
化疗是否应该采用最大耐受剂量（MTD），或是一个合适的剂量？
化疗和ICI 应该以什么顺序使用？
研究流程
图3描述了这篇论文的研究框架。首先，作者基于最新的肿瘤免疫微环境生物和临床知识构建了描述其演进的常微分方程——TIME动态演进模型。图2展示了模型描述的癌细胞、免疫细胞和药物之间的交互机制：
化疗耐药性癌细胞和敏感性癌细胞之间的竞争；
CD8+T 细胞在抗原呈现时增殖，抗原来自癌细胞表面、由CD8+T细胞和化疗药物引起的癌细胞产生抗原性细胞凋亡；
癌细胞、调节性T细胞（Tregs）对CD8+T细胞的抑制；
免疫检查点蛋白（PD-L1）减弱CD8+T 细胞杀伤癌细胞，而免疫检查点抑制剂恢复CD8+T 细胞对癌细胞的杀伤能力；
化疗对免疫系统的协同作用和破坏作用：杀伤癌细胞，减少癌细胞对CD8+T细胞的抑制并释放抗原；同时也杀伤CD8+T细胞。
图2. 基于常微分方程的肿瘤微环境动态演进模型刻画的癌细胞、免疫细胞和药物之间的交互
其次，作者使用了TCGA SKCM数据集和Liu et al. 数据集中的基因组和转录组信息特征拟合了模型中的关键参数，得到拟合后的TCGA SKCM病人TIME动态演进模型。
然后，作者定义了治疗决策过程。接着，作者用拟合后的TCGA SKCM病人TIME动态演进队列（n=200）训练深度强化学习智能体（Deep Reinforcement Learning agent），得到DRL智能体在测试集TCGA SKCM病人队列（n=30）的化疗联合ICI疗程推荐。
最后，作者展示了基于常微分方程的TIME动态演进模型的数据拟合结果，接着分析了DRL智能体如何使用ICC控制TIME演进并达到对不同分型病人最优疗效。
图3. 论文研究框架
结果与分析
TIME动态演进模型
作者的模型中，病人肿瘤微环境的演进取决于CD8+T细胞和癌细胞数量的比值。根据这一比值，作者将肿瘤分成“热”肿瘤，“冷”肿瘤和“极端冷”肿瘤。如下图所示，“热”肿瘤中有充足的主要组织相容性复合体（较高的MHC ssGSEA值），可以识别充足的肿瘤表面抗原，使得CD8+T 细胞和癌细胞数量的比值高（较高的CD8+T 细胞基因特征）。“极端冷”肿瘤中，极少的主要组织相容性复合体使得肿瘤表面抗原识别不足，使得CD8+T细胞和癌细胞数量的比值极低（较低的CD8+T细胞基因特征）。而“冷”肿瘤处于两者之间。病人TCGA-DA-A1IB、TCGA-EB-A4XL 和 TCGA-EE-A2GR分别是“热”肿瘤，“冷”肿瘤和“极端冷”肿瘤的代表。图4中（a）（b）（c）分别显示了TIME动态演进模型拟合的癌细胞和CD8+T细胞增长曲线。总结来说，作者发现“热”肿瘤中CD8+T细胞增长很快；“冷”肿瘤中的CD8+T细胞刚开始增长快，但后续和癌细胞持平；而“极端冷”肿瘤中CD8+T细胞增长比癌细胞慢。图4（d）显示了在三种肿瘤中，CD8+T细胞与癌细胞的比值变化。
图4. 代表性TCGA SKCM病人在诊断前的TIME动态演进模拟
固定的ICC疗程和DRL智能体推荐ICC疗程对比
作者用测试集TCGA SKCM 病人 TIME动态演进队列（n=30）比较了固定的ICC疗程和DRL智能体推荐ICC 疗程的表现。例如，（1，2） 表示1单位的ICI 和2单位的化疗药物联合使用4个周期，跟着使用6个周期的ICI。如下图所示，当化疗剂量较低时，ICI使用相比不使用会增加联合治疗的回报，显示ICI有效；而当化疗剂量较高时，ICI的使用降低了联合治疗回报，显示高剂量化疗会使ICI的使用时失效。而DRL智能体推荐的ICC疗程取得了最高的治疗回报。
图5. 固定的ICC疗程和DRL智能体推荐ICC疗程表现对比
图5中的结果显示固定的ICC疗程并不能应对减少肿瘤数量和增强CD8+T细胞数量两者之间的权衡。在考虑人群“均值”上最优的固定ICC疗程会忽略病人个体在重要治疗决策维度的差异。而DRL智能体可以学习得到特定病人状态下的最优决策。总结来说，ICC疗程决策主要和在图6（a）中显示的三个维度变量相关，化疗敏感性癌细胞数量、耐药性癌细胞数量和CD8+T细胞与癌细胞数量的比值。图6（a）中的填充颜色代表的是推荐的化疗剂量，而绿色平面代表的是ICI是否使用的决策边界。当CD8+T细胞与癌细胞数量的比值增加，对于更“热”的肿瘤，TIME会跨过ICI是否使用的决策边界，更低剂量的化疗联合ICI被推荐。另外，增加的化疗耐药性细胞的数量让ICI在更低的CD8+T细胞与癌细胞数量比值区域就被推荐使用。
为了可视化病人TIME在四个疗程的ICC干预下的接续动态演进，作者固定了化疗耐药性癌细胞数量为均值并展示了病人的TIME在化疗敏感性癌细胞数量和CD8+T细胞与癌细胞比值两个维度的演进（图6（b））。背景颜色是DRL智能体推荐的化疗剂量。粉红色箭头代表“极端冷”肿瘤的病人，他们的状态分布在低CD8+T细胞与癌细胞比值区域。DRL智能体推荐使用高剂量的化疗药物，敏感性癌细胞数量减少，而CD8+T细胞与癌细胞比值会停在低比值区域（粉色箭头向下指）。相反的，玫红色箭头代表“热”肿瘤，他们初始状态就分布在ICI使用决策边界的右侧。DRL智能体推荐低剂量的化疗联合ICI，这样的ICC治疗策略促进CD8+T细胞增殖，其与癌细胞比值迅速增加，如图6（b）中向右下角指的玫红色箭头所示。而处在两者之间的“冷”肿瘤有一部分处在ICI使用决策边界的左侧，DRL智能体推荐使用中等剂量的化疗让免疫微环境变得更“热”，当该环境变得更适合ICI起作用时，DRL智能体推荐使用ICI联合使用低剂量的化疗。有四个“冷”肿瘤病人得益于这样的ICC疗程, 深粉红色箭头向右下方指。但是，不是所有“冷”肿瘤病人的免疫微环境都被转化为适合ICI的状态，另有六个病人被推荐只使用化疗（深粉红色箭头向下指）。而剩下7个“冷”肿瘤病人ICC疗程失效，原因是化疗耐药性细胞的自然增长速率过快，而使得最终CD8+T 细胞比癌细胞比例下降，深粉红色箭头在第三或第四个周期向左指。
图 6. 病人TIME在四个疗程的ICC干预下的接续动态演进可视化
结论
作者尝试通过对肿瘤免疫微环境进行数学建模、真实世界临床数据拟合和DRL算法来生成病人个体性的最优ICC治疗决策。
作者尝试回答临床医生在使用ICI和化疗联用时的困境。（a）联合治疗时，化疗是否应该使用最大耐受剂量？只有当病人的肿瘤微环境“极端冷”时，高剂量的化疗被推荐使用，对于“热”肿瘤和“冷”肿瘤，合适剂量的化疗可以促进CD8+T 细胞的增殖。（b）ICI对病人的治疗是否有效？作者的分析对病人进行了分层，对“极端冷”肿瘤和耐药性细胞增殖速率较快的“冷”肿瘤，ICI不会有效。(c) 化疗和ICI的使用应该以什么次序使用？ICI起作用偏好肿瘤里有更高的CD8+T细胞浸润。于是，对于“热”肿瘤，化疗和ICI被推荐一起使用；而对于“冷”肿瘤，算法建议在最初的几个疗程先试用中等剂量的化疗将免疫微环境转“热”，再结合使用ICI。总之，CD8+T细胞的浸润率和癌细胞对化疗药物耐药性是决定ICC使用的重要因素。作者建议临床医生在决定ICC疗程时获得CD8+T 细胞基因特征和癌细胞对化疗耐药性检验。
参考资料
Yao Yao, Youhua Frank Chen, Qingpeng Zhang, Optimized patient-specific immune checkpoint inhibitor therapies for cancer treatment based on tumor immune microenvironment modeling, Briefings in Bioinformatics, Volume 25, Issue 6, November 2024, bbae547,
https://doi.org/10.1093/bib/bbae547
