数字孪生车间人员行为模型构建 | DigiTwin推荐

The modelling and application of cross-scale human behavior in realizing the shop-floor digital twin

Tingyu Liu^1,2, Mengming Xia², Qing Hong², Yifeng Sun³, Pei Zhang²,Liang Fu², Ke Chen¹

1 School of Mechanical Engineering, Southeast University, Nanjing, 210096, China

2 School of Mechanical Engineering, Nanjing University of Science and Technology, Nanjing, 210094, China

3 China Electronics Technology Group 28th Research Institute, Nanjing, 210007, China

摘要

数字孪生车间作为实现车间数字化转型和智能化升级的重要途径，一直备受制造业关注，其中车间制造资源的数字孪生模型已从理论研究逐步走向应用，但是生产人员作为车间的重要组成部分，其高度的自主性和不确定性导致车间人员行为难以获取，其快速数字孪生建模也较为困难。鉴于此，本文提出了车间宏观行为和微观行为数字孪生模型的思想，依托虚拟模型及孪生数据进行驱动，通过和物理车间人员行为闭环交互，以支撑车间人员行为的监控、预测或生产活动实时映射等实际需求。在上述基础上，归纳并提出了数字孪生车间人员行为跨尺度建模理论：其中，宏观行为模型主要负责收集车间人员角色、空间位置的信息；微观行为模型主要收集工位人员肢体动作、生产行为的信息。最后，基于数字孪生车间人员行为跨尺度建模方法，介绍了该模型理论与技术开展的研究和实践。

关键词

数字孪生车间；人员行为；跨尺度；宏观行为；微观行为；模型构建理论；模型应用

1. 引言

1.1 车间人员行为管控的重要性

车间的数字化和智能化是实现智能制造的必要条件，数字孪生车间的提出及应用为车间生产过程的高效管理运行提供了有效的理论和技术参考。与装备、物料等生产要素相比，人员作为高度自主的要素，能够灵活应对复杂生产环境的各种随机扰动，具有难以替代的重要性，但人的自主行为特性相应地导致一些不可控行为。在一些行为要求规范性较高的生产场景下，人员的自发违规行为轻则可能引起产品质量问题，重则可能造成无法挽回的灾难性事故。

目前，生产装备等要素通常设置在相对独立的活动空间与工作区域，但现场人员的活动范围却往往遍布整个生产区域，具有活动范围广、自主行为多的特征，其监控和管理在生产过程中非常重要，但却缺乏有效的技术手段。生产行为管理发展迄今已逾百年，但目前常规的管理的技术手段仍然是用摄像机记录人员行为，并指定专人目视监控。鉴于此，针对人员活动的高度时效性和不确定性，提出用人工智能技术对人员行为进行数字孪生建模及仿真，从而实现车间生产行为活动的实时智能监控，已成为整个生产车间管理中的重要方向和必然趋势。

1.2 数字孪生车间模型的应用现状

车间数字孪生模型是物理车间的数字化表现，可用于理解、预测、优化和控制物理车间，是实现物理车间智能化驱动的基础。

目前，已经有不少研究成果采用信息系统、传感器网络等多源数据，基于产品设计制造过程的产品、装备和环境数据、产品服役数据等构建产品数字孪生模型，并融入数字孪生车间。当前数字孪生车间研究尚处于起步阶段，相关研究主要集中在人机交互领域。

与装备、产品等生产元素相比，人员作为车间制造活动中的重要元素，其行为的建模一直是数字孪生车间研究中的重点和难点。然而，鉴于其高度的主观能动性和不确定性，用常规的传感器网络难以获取实时的行为数据，数字孪生模型的建立难度较大，因此与人员行为数字孪生模型生成相关的研究成果较为罕见。

人员行为是车间生产活动的重要组成部分，人员行为模型构建是实现数字孪生车间完整功能的重要前提，但如何构建数字孪生车间人员行为模型当前阶段仍然缺少理论体系来参考和指导。针对这一问题，基于陶飞教授团队提出的数字孪生模型构建理论，本文研究并提出了一套数字孪生车间人员行为跨尺度模型构建理论体系，以项目合作单位的生产车间为例对本文提出的相关理论与方法进行了初步验证。

数字孪生车间人员行为跨尺度模型是现实物理车间人员行为在数字孪生车间系统中的数字化表现，可用于车间人员角色、位置以及工位人员生产行为的管控，从而理解、预测、优化车间人员行为，因此，数字孪生车间人员行为跨尺度模型的构建是实现数字孪生车间人员行为闭环交互驱动的基础。

本文研究并提出了数字孪生车间人员行为跨尺度模型构建理论体系，以产品工艺流程人员行为要求作为物理行为约束，以车间人员的宏观行为和微观行为虚拟模型融合数据作为驱动，通过和物理车间人员行为闭环交互，实时映射车间生产活动，从而实现车间人员行为的监控、预测等实际管控需求，该约束-建模-融合-映射模型构建理论体系如图1所示。宏观行为和微观行为模型在不同时间尺度上的应用如图2所示。

图2 宏观和微观行为模型在不同时间尺度上的应用

2.1 约束：产品工艺流程人员行为要求

产品工艺流程人员行为要求是指在车间生产某个产品的过程中，其工艺流程对人员宏观行为和微观行为的具体要求，如：车间某产品工艺流程要求在特定时间指定区域内须有5名钳工同时在场进行操作，此为人员宏观行为的约束；工艺流程要求在某工序内完成指定的多种生产行为，此为人员微观行为的约束。在数字孪生车间人员行为跨尺度模型构建过程中，约束极为重要，不管是人员宏观行为模型还是微观行为模型都需要通过产品工艺流程对人员行为的要求来进行相关模拟、验证。

图3 数字孪生车间中生产流程与人员行为的关系

在数字孪生车间人员行为跨尺度模型中，产品工艺流程人员行为要求约束可按照宏观行为与微观行为细化为车间区域人员角色、空间约束与工位人员生产行为约束。利用车间区域人员角色、空间约束对宏观行为模型进行优化验证，如果宏观行为模型中的人员工种角色、空间位置数据与该工艺流程约束有偏差，则该模型可按照偏差方向继续进行优化。利用工位人员生产行为约束对微观行为模型进行优化验证，如某工位需要按照特定步骤进行加工，此时微观行为模型的工位人员生产行为种类及顺序数据应与工艺流程特定步骤要求完全一致，即该模型应不断调整优化至与工艺流程约束无偏差。理想条件下，一个好的数字孪生车间人员行为模型的驱动情况必然是与产品工艺流程行为要求完全符合。数字孪生车间中生产流程与人员行为的关系如图3所示。

2.2 建模：宏观行为与微观行为建模

车间内人员的行为主要可以从宏观和微观两个尺度层面开展数字孪生模型的研究。在宏观层面，可以把人员看作有角色标记的运动质点，忽略其肢体等细节，主要关注个体在车间内的定位、分布和活动轨迹等信息；在微观层面，重点关注人员的肢体动作等信息，主要针对人员在生产工位等相对固定位置的姿态及生产行为特征进行识别与分析。

本文所提出的数字孪生车间人员行为建模区别于车间人员三维虚拟建模仿真，而是指在人员角色、空间位置、生产行为等特征被检测识别后，将检测结果以数据的形式传入数字孪生车间管理系统，从而支撑该管理系统实现生产活动映射、预测等功能。车间人员行为建模分为宏观行为建模与微观行为建模，其中，宏观行为建模主要是指通过人员区域打卡、传感器检测等方式获取人员角色、空间位置信息，从而对车间人员的区域分布、活动轨迹等情况进行评估；微观行为建模主要是指通过深度视觉检测的方式获取工位人员的肢体行为、复杂生产行为等信息，从而对该工位的人员生产操作、加工进度等情况进行评估。理想条件下，宏观行为模型能够准确地反馈车间人员区域分布、活动轨迹等信息，微观行为模型能够准确地反馈工位人员的生产操作细节、加工进度等信息。

2.3 融合：跨尺度行为模型融合

跨尺度行为模型融合是指将人员宏观行为模型与微观行为模型两个不同尺度维度的数据进行融合交互处理，为各自模型提供另一尺度维度的参考数据，弥补自身视野范围的局限性，提高宏观行为模型与微观行为模型的数据准确性，从而实现对物理车间生产活动更加完整真实的映射，如图4所示。

宏观行为模型主要负责收集车间人员角色、空间位置的信息，微观行为模型主要收集工位人员肢体动作、生产行为的信息，由于自身传感器视野限制，不论是宏观行为模型还是微观行为模型，在数据获取时都有较大限制，缺少另一维度的数据从而导致模型自身数据可靠性降低。例如，车间人员宏观行为数据通常是在厂房较高处安装多个摄像头进行大范围的数据采集，此类大视野数据虽能判断人员角色、空间位置，但无法判断人员进入某工位后所进行的生产行为；类似地，车间一般在特定工位安装摄像头获取人员微观行为，此类采集的数据虽能判断该工位人员所进行的各项生产行为，但无法判断人员的活动轨迹。因此，将车间人员宏观行为与微观行为模型相互融合，有利于各自模型在基于另一维度数据的推理逻辑下增强自身数据的可靠性与完整性。

图4 宏观行为与微观行为模型的融合

2.4 映射：车间人员生产活动映射管控

为真实完整地反映物理车间产品生产的实时状态，数字孪生车间人员行为模型须实时映射车间生产活动。车间生产活动映射管控是指由人员宏观与微观行为融合模型实时输出可靠的车间人员角色、位置以及工位人员生产行为数据，利用这些行为数据结合产品工艺流程进行逻辑推理，实现物理车间人员生产活动在数字孪生车间中的实时状态孪生，进而加强车间人员行为的管控。

车间人员生产活动映射主要用于实现基于跨尺度行为融合模型输出人员行为状态的车间生产活动状态推理演算。由宏观行为模型映射出车间当前人员角色及所在空间位置，用于实时表现厂房区域内人员的分布、活动轨迹等情况，由微观行为模型映射出车间各工位当前人员的肢体动作及生产行为，用于实时表现各工位的产品加工、测试等情况，车间人员生产活动映射时，综合车间人员分布、活动轨迹、工位生产行为等状态数据，设计逻辑推理出车间各人员的工作状态，同时结合产品实际工艺流程，设计逻辑推理出车间产品的生产效率，即实现车间人员生产活动映射管控。

2.5 模型构建理论技术体系

通过将宏观、微观尺度人员行为模型进行融合，构建数字孪生车间人员行为模型，实现人员行为的多维度虚实映射，实现对当前数字孪生车间人员维度的增强与补充，有利于推动人-机-物-环四大车间要素的信息物理全面融合。

由于车间人员的高自主能动性与不确定性，构建数字孪生车间人员行为模型的主要难点在于人员宏观行为与微观行为的状态获取及建模，因此，本文针对车间人员行为模型构建过程中存在的人员位置检测不精准、人员角色识别不完善、生产行为难检测等问题，进一步研究提出了数字孪生车间人员行为模型精准构建理论与技术体系。

如图5所示，该理论与技术体系由宏观行为建模、微观行为建模两部分组成，宏观行为建模包括车间场景图像预处理技术、单视角图像人员检测技术、单视角图像人员分割技术、单视角图像人员追踪技术、人员身份识别技术、车间人员图像定位技术、多视场图像融合技术、多视场人员区域定位技术以及人员实时识别定位技术，微观行为建模包括人体骨架节点构建技术、人体图像姿态估计技术、节点最小自由度转换理论、骨架节点预处理技术、肢体行为识别技术、复杂行为识别技术、行为时域定位技术、多数据流融合技术以及行为实时检测技术，这些理论与技术共同支撑与保证数字孪生车间人员行为模型构建的准确性。

图5 数字孪生车间人员行为模型构建理论技术体系

3.1 车间人员宏观行为数字孪生建模

车间人员宏观行为主要是指人员角色及其所在车间区域的实时位置，宏观行为建模则是指通过打卡、位置传感器、智能视觉等方法将车间人员的角色以及空间位置数据实时地提取出来，并将这些能实时反映车间人员宏观行为的数据作为数字孪生车间人员宏观行为的孪生模型。因此，宏观行为建模的关键在于如何准确可靠地对车间人员角色、空间位置进行实时识别、检测。

3.2 车间人员微观行为数字孪生建模

车间人员微观行为主要是指车间各工位人员的实时肢体动作以及生产行为，微观行为建模则是指通过加速度传感器、RGB视觉、深度视觉等方法将车间工位人员的肢体动作以及生产行为实时地检测出来，并将这些能实时反映车间人员微观行为的数据作为数字孪生车间人员微观行为的孪生模型。因此，微观行为建模的关键在于如何准确可靠地对车间工位人员的肢体动作以及各种复杂生产行为进行时域、空间域上的检测。

为解决数字孪生车间微观行为建模过程中检测生产行为的实时性、应对车间复杂背景的鲁棒性问题，笔者团队之前构建了车间生产行为数据集NJUST3D，并基于三维骨架的行为特征和基于卷积神经网络的RGB图像识别方法结合，提出了一种基于三维深度卷积神经网络的微观生产行为识别方法，对人员行为进行时间序列像素化并构造人员行为时空特征RGB图像，通过对构造的人员行为特征图像进行识别和分类来有效识别人员行为，以支撑数字孪生车间人员微观生产行为模型的快速构建。

该微观行为识别方法对基本行为具有较好的识别效果，但在应对与宏观行为相近、手部等微观行为不同的生产行为时，识别准确率明显降低，同时此方法对硬件算力要求较高，车间现场硬件设施往往很难达到实时的监控效果。针对实际车间背景复杂、硬件设备算力不足等问题，笔者团队又提出了一种基于图卷积网络的微观生产行为识别方法，对车间生产行为进行数字化描述以及快速识别，目前在项目合作单位车间应用过程中对工位人员肢体行为识别速度及准确性良好，大大提高了车间微观生产行为模型的实时性以及在复杂背景下的鲁棒性。

数字孪生车间人员跨尺度行为模型构建是数字孪生车间功能实现的重要技术之一。为使数字孪生车间人员行为模型构建过程有据可依，基于陶飞教授团队提出的数字孪生模型构建准则，本文研究提出了一套针对数字孪生车间人员跨尺度行为的“约束-建模-融合-映射”模型构建理论体系，并在项目合作单位总装车间进行了实践探索，相关工作为数字孪生车间人员跨尺度行为模型构建的研究和落地应用起到了较大的参考推动作用。

本文研究工作仅对数字孪生车间人员行为模型的构建理论进行了初步探讨，所提出的理论技术体系以及软件系统虽能实现车间人员行为的初步检测，但仍需进一步丰富和完善，例如：笔者团队之前提出的车间人员微观行为建模方法虽解决了模型生产行为检测的实时性、应对车间复杂背景的鲁棒性问题，但仍然只能检测肢体行为以及一些较为简单的交互生产行为，无法在车间工位复杂生产行为的检测任务中取得较好的效果，此类复杂生产行为检测将是车间微观行为建模的研究重点以及难点。后续本文作者团队将进一步结合合作单位车间实际需求，对相关理论技术体系不断进行验证与完善。文章内容难免有不足之处，恳请国内外专家和同行批评指正。

关注公众号，后台回复“DT12”即可下载原文

第五届数字孪生国际会议（DigiTwin 2025）将于2025年10月14日-10月18日在德国加尔米施-帕滕基兴举行。加尔米施-帕滕基兴位于慕尼黑以南约90公里，坐落在阿尔卑斯山脚下，以其壮丽山景和1936年冬奥会举办地的历史而闻名，是学术交流与自然美景完美结合的理想之地。

DigiTwin 2025计划设置分论坛如下：

• 数字孪生智能制造

• 数字孪生增材制造

• 数字孪生智能服务

• 数字孪生设计

• 数字孪生智慧城市

• 数字孪生物流

• 数字孪生能源/环境工程

• 数字孪生医疗健康

大会秘书邮箱：digitaltwin@buaa.edu.cn