论文推荐 | 上海大学张在房教授团队：基于数字孪生的肺结节诊断

基于数字孪生的肺结节诊断

张在房¹,孙 金¹,高 楠²,雷 撼³

1.上海大学 机电工程与自动化学院,上海 200444;

2.上海大学 理学院,上海 200444;

3.上海浦南医院,上海 200125

摘要

为解决肺结节诊断难度大的问题，提出基于数字孪生的肺结节诊断技术思路。采用智能算法、模型融 合、虚实交互等关键技术建立了肺结节诊断的数字孪生框架。通过重建算法构建了肺三维虚拟模型，建立了肺结 节诊断系统的虚拟实体;利用深度学习技术对数据进行迭代分析生成肺结节检测模型，与三维虚拟模型结合提升 交互性，实现了对肺结节的智能检测;通过随访更新患者数据构建肺结节的动态预测模型，完成了肺结节分析与诊 断，满足了可视化监控、健康管理等需求。以实际案例进行了肺结节的检测与诊断，验证了所建系统的可行性。

关键词

数字孪生；肺结节诊断；三维虚拟模型；智能检测；动态预测

1. 引言

肺癌是对人类健康和生命威胁最大的恶性肿瘤之一，我国2020年肺癌位居癌症死亡率首位。早发现、早诊断、早治疗对降低肺癌死亡率具有重要意义。肺结节是早期肺癌病灶的表现形式，电子计算机断层扫描(ComputedTomography，CT)是检测肺结节的主要手段。但肺结节的诊断难度较大，开发一种准确高效的肺结节诊断系统辅助医生进行诊断显得尤为重要。

近年来，随着人工智能、大数据与云计算等技术的快速发展，数字孪生在各个领域应用广泛，并已逐渐扩展到医疗领域，有效降低了医疗急诊率。然而，将数字孪生技术应用到肺结节诊断领域仍存在如下不足:

①由于缺乏统一的数据处理方式，导致对患者多维度状态参数信息挖掘不充分，影响肺结节诊断、预测性防护和健康管理等;

②肺结节孪生机理模型之间的联系不够紧密、单一的数据分析算法难以实现高精度建模;

③患者没有配备永久嵌入式传感器，不能描述患者的生理状态等数据在时间序列上的演化过程，难以捕捉到各特征在时间上的因果关系，无法模拟肺结节发展的动态过程并进行推理。

本文针对现阶段面临的困难与挑战，将数据处理、人工智能、模型融合和数字孪生技术相结合，基于数字孪生五维框架构建了肺结节诊断孪生系统，通过三维虚拟模型、肺结节检测模型和动态预测模型实现了肺结节患者的高仿真映射镜像，满足了对肺结节患者信息进行处理与展示、分析预测、交互可视化等功能需求，并以医院肺结节患者为例，验证了本文数字孪生肺结节诊断系统的可行性和有效性。

1. 肺结节诊断的数字孪生框架

肺结节诊断的数字孪生系统参考陶飞等[9]提出的数字孪生五维模型 MDT概念，即

MDT=(PE,VE,Ss,DD,CN)  (1)

式中：PE 为物理实体；VE 为虚拟实体；Ss 为服务；DD 为孪生数据；CN 为各组成部分间的连接。系统由物理实体、虚拟实体、孪生数据、服务系统、数据连接构成，实现了肺结节诊断数字孪生的虚实融合和动态更新，具体实现框架如图1所示。

图1   肺结节诊断数字孪生框架

2. 肺结节诊断数字孪生建模方法

基于数字孪生肺结节诊断模型的技术路线如图2所示，具体为:通过患者、CT 扫描设备获取影像学、随访数据等信息，进行数据处理后，通过人工智能算法实现对肺结节的检测；进一步，通过对患者进行随访更新肺结节良恶性分类模型，实现动态预测；然后基于光线投射法[20]、移动立方体法[21]等重建算法建立患者肺部三维虚拟模型，通过在数字空间内进行模型融合和诊断决策，基于计算机技术对虚拟模型进行可视化，实现对肺结节诊断的健康监测和辅助决策。

图2  肺结节诊断模型的技术路线

2.1 肺结节检测模型

人工智能算法挖掘数据潜在规律构建输入与输出的数学关系以近似物理空间变量关联，经特征提取、优化训练与推理过程得到肺结节孪生检测模型，提出改进的 Faster R - CNN 检测方法，其模型含肺结节检测与假阳性减少网络，检测网络借残差块与 UNet++ 网络思想优化，针对假阳性问题提出结合残差结构的三维 VGG 网络并引入 focal loss 函数，以 mAP 评估模型性能，建立孪生检测模型时将影像学数据集输入检测网络训练，比较物理与数字空间输出数据并最小化损失函数，经 SAG 算法迭代调整至收敛，检测模型建立后可借 VTK 连接三维虚拟模型，融合模型实时获取结节特征信息以初步诊断肺结节良恶性。

图 ３ DTTS孪生机理模型的建立流程图

2.2 动态预测模型

鉴于单一时间点肺结节检测的局限性，需结合检测模型与多次随访数据对肺结节进行动态分析，以提示其生长变化情况。本文提出一种随机森林与动态贝叶斯网络（DBN）相结合的预测模型用于肺结节良恶性动态推理。随机森林作为集成学习方法对特征数据处理并筛选重要特征，DBN 则在静态贝叶斯网络基础上纳入时间因素以处理时间序列数据，适用于肺结节随访动态事件建模。

建立该动态预测模型的步骤包括收集随访数据并存储，将多维度数据特征输入随机森林筛选主要特征，再输入 DBN 进行参数学习以构建完整模型，进而预测肺结节良恶性辅助临床决策。在模型验证中，以随访节点为目标节点，结合混淆矩阵输出相关评价指标并依次在各随访时间点验证，通过循环采集、分析、决策过程优化模型，实现机理 - 数据融合，使模型能真实反映物理空间过程。

2.3 三维虚拟模型

交互过程中构建高保真的三维虚拟模型是保证患者肺结节形态、位置等特征在虚拟空间的映射、提高肺结节数字孪生可信程度的先决条件。通过建立三维虚拟模型，结合肺结节检测模型，可以观察检测出的肺部结节的大小、形态，以及与周围组织的关系，尤其是有无毛刺、有无侵犯血管等细节信息，并与动态预测模型来细致观察肺结节不同随访时间段的变化，结合检测与动态预测模型，实现智能决策。

3. 实例验证

根据所提肺结节诊断的数字孪生系统框架，基于多模型融合的虚拟实体实现方法，本文进行了肺结节诊断数字孪生系统的实例验证，基于数据分析、人工智能、模型融合等技术搭建了肺结节诊断的数

字孪生系统，实现了信息展示、三维交互、检测与诊断、可视化等功能。

3.1 数据收集

本文以医院患者为实验对象，通过 CT 扫描设备获取影像学数据，在医生的帮助下对患者 CT 作良恶性结节标注。在肺结节检测后，对确认患有肺结节的患者进行多次随访，构建动态预测模型。收 

集患者每次随访的数据信息，主要包括①肺结节影像学特征 ②随访信息 ③相关静态信息。将以上数据信息存入数据库并进行展示。

3.2 三维虚拟模型的建立

通过患者 CT 影像数据建立肺部三维虚拟模型，是进行机理模型性能分析的基础。采用重建算法，基于 VTK 建立了与物理空间对应的数字孪生模型，得到解剖学坐标系中的肺部三维虚拟模型。同时，结合肺结节检测模型的检出结果获取肺结节的位置、直径 

等特征存储到数据库中，用于物理空间和数字空间进行进一步数据分析与建模。另外，可以对三维虚拟模型进行隐藏、缩放、旋转等操作，在数字空间和物理实体之间实现了三维交互功能。

3.3 检测与诊断

根据数据检测和诊断肺结节是整个系统的核心，通过将采集的数据在数字孪生系统处理后输入肺结节检测与动态预测模型进行肺结节分析与诊断，来实现实时监测与健康管理。

3.3.1 数据处理

3.3.1.1 数据增强

孪生机理模型对患者肺结节进行多维度系统级描述且各维度相互关联映射。其生成与优化需人工智能算法对大量样本迭代分析，但肺结节患者图像数据量少，故通过将图像固定旋转（逆时针或顺时针 90°）、随机改变亮度、对比度、颜色等操作扩充样本量以实现数据增强。

3.3.1.2 肺实质分割

CT 图像预处理的首要步骤是肺实质分割，旨在消除背景干扰获取完整肺部图像并降低孪生模型复杂度、提升肺结节诊断系统性能。依据人体肺部附近组织和空气 CT 值分布范围设置阈值（-1000 和 +600），映射得到肺部粗轮廓灰度图像，经 K - means 聚类分析得到两个聚类中心区分前景与背景，取平均值设为阈值 T 进行二值化处理，再经形态学操作消除孔洞得到肺部轮廓掩膜图像，与原始图像相乘获得肺实质图像。

3.3.1.3 标准化

动态预测肺结节良恶性时需对特征数据标准化，将数据按比例缩放至 [0, 1] 区间，以去除单位限制转化为无量纲纯数值，便于不同单位或量级指标比较与加权。

3.3.2 实验与结果分析

构建医院患者 CT 数据集并进行数据处理后按比例划分，将训练数据输入肺结节检测网络，采用 Adam 优化器设置动态学习率开展训练，经 200 轮训练得到相应指标验证了模型精度。通过对不同类型肺结节患者检测及随访，利用相关技术将检测结果映射至三维虚拟模型辅助诊断。基于患者信息收集随访数据，采用所提组合模型预测，对比发现其较 DBN 在性能指标上有改善，且该数字孪生动态预测模型随随访次数增加，在识别恶化趋势、预测结果及总体预测性能等方面表现更优，能辅助医生决策并监测患者健康状况。

4. 结束语

本文提出一种肺结节诊断的数字孪生框架，针对肺结节诊断面临的难题与挑战，结合数据处理、深度学习算法、建模等技术构建了肺结节诊断的数字孪生模型，搭建了基于数字孪生驱动的肺结节诊断

系统，不仅能够将患者肺结节的形态、位置等特征动态映射在虚拟空间，还将检测与动态预测结合，通过模型融合实现了虚实融合与动态更新，结果表明所提肺结节数字孪生系统对实现人机交互、健康检测、动态预测具有可行性。同时，结合多种人工智能算法，充分利用数据深度挖掘机理信息，提高了数据驱动孪生模型的准确率。 

由于医院患者数据不足，导致缺乏海量训练样本，同时受设备、技术等各方面限制，本研究在进行完整人体与孪生体数据源无缝连接、提高模型自主感知、自主学习能力的肺结节数字孪生方面，还需要改进和完善。

关注公众号，后台回复“论文101”即可下载原文

第五届数字孪生国际会议（DigiTwin 2025）将于2025年10月14日-10月18日在德国加尔米施-帕滕基兴举行。

数字孪生医疗健康论坛  主席：

山东大学齐鲁医院  马德东

大连医科大学附属第一医院  李忠海

上海大学   张在房

中日友好医院  侯刚

诚邀国内外相关领域专家学者进行专题报告和论文交流