点击蓝字 关注我们↑↑↑
DIGITAL TWIN
如果您不希望错过文章，就加个星标吧！
本期阅读
文章信息
论文《Enabling collaborative assembly between humans and robots using a digital twin system》于2024年4月发表于《Robotics and Computer-Integrated Manufacturing》期刊。本文由南京航空航天大学的Zequn Zhang, Yuchen Ji, Dunbing Tang, Jie Chen, Changchun Liu等人共同完成。本文提出了一种基于数字孪生技术的人机协作系统，旨在通过认知理解人类意图来指导机器人与人类协作，确保在共享工作空间中人机协作的安全性、灵活性和效率。
DOI: https://doi.org/10.1016/j.rcim.2023.102691
引用本文：
Zequn Zhang, Yuchen Ji, Dunbing Tang, Jie Chen, Changchun Liu.Enabling collaborative assembly between humans and robots using a digital twin system,Robotics and Computer-Integrated Manufacturing,Volume 86,2024,102691,ISSN 0736-5845, https://doi.org/10.1016/j.rcim.2023.102691.
文章阅读
Enabling collaborative assembly between humans and robots using a digital twin system
Zequn Zhang, Yuchen Ji, Dunbing Tang, Jie Chen, Changchun Liu
College of Mechanical and Electrical Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, PR China
摘要
人机协作（HRC）系统是一类智能系统，它基于对人类意图的认知理解引导机器人与人类协同工作，确保人类与机器人在共享工作空间中能安全、灵活且高效地协作。在工业场景下，当前构建人类数字孪生模型的方法依赖于动作捕捉设备，这需要人员佩戴繁琐的装备，违背了人机协作所倡导的灵活交互原则。此外，当前的方法没有在统一空间中对人类和机器人进行建模，这对于感知和理解整体环境而言既不直观也不方便。
为解决这些局限性，本文提出了一种用于人机协作的数字孪生系统。该系统便于构建数字孪生场景、实现从现实空间到虚拟空间的映射，以及从虚拟空间到现实空间的协作策略规划与执行。专门针对常见的工作站设置进行设计，引入了一种稳健的人体网格恢复算法，以应对重建被遮挡人体这一难题。此外，采用不确定性估计来优化动作识别算法，确保识别过程中的风险处于可控水平。实验结果表明，所提出的方法相较于基线方法具有优越性。最后，通过一个涉及零部件装配的案例研究，验证了人机协作系统的可行性与有效性。
关键词
人机协作，数字孪生，动作识别，数字人，深度学习
Fig. 1. Overview of the proposed HRC assembly framework.
1. 研究背景
研究问题：在智能制造领域，人机协作（HRC）系统能够提高生产效率并适应个性化需求，但当前构建人类数字孪模型的方法依赖于动作捕捉设备，这与HRC倡导的灵活互动原则相悖。此外，现有方法未能在统一空间内模拟人类和机器人，这在感知和理解整体环境方面既不直观也不方便。
研究难点：当前方法在工业环境中重建被遮挡的人体存在挑战，且现有的动作识别算法在区分非领域动作时存在困难，可能导致错误识别和潜在风险。此外，理解人类意图需要参数化的骨骼序列，但现有的基于骨架的动作识别方法在区分动作过渡状态时仍具挑战性。
文献综述：文章回顾了基于视觉的人体网格恢复算法、HRC背景下的动作识别算法以及基于数字孪生的HRC系统研究进展。目前，HRC系统主要使用OpenPose等方法进行人体姿态估计，但这些粗粒度的表示只能捕捉简单的人类行为。随着精细标注数据的出现，从单眼图像中恢复人体3D网格成为研究焦点，SMPL模型因此被广泛采用。
2. 研究方法
数字孪生技术：提出了一种基于数字孪生技术的人机协作系统，该系统能够实现现实空间到虚拟空间的映射，并规划和执行从虚拟到现实空间的协作策略。系统特别针对常见的工作站环境设计，引入了健壮的人体网格恢复算法来应对遮挡人体重建的挑战，并使用不确定性估计来增强动作识别算法，确保识别过程中的风险可控。
动作识别算法：为了解决工业环境中动作识别的高风险问题，提出了一种基于深度集成不确定性估计的增强型时空图卷积网络（EST-GCN），该算法能够有效识别网络中的不可靠预测，减少神经网络错误识别。
3. 实验设计
数据集：使用了Human 3.6 M、MPI-INF-3DHP、MSCOCO、MPII、LSP和LSPet等数据集进行训练，并使用3DPW数据集进行测试。实验中使用了预训练的HRNet 32 wt模型，采用Adam优化器，并在四个NVIDIA RTX 2080Ti GPU上进行训练。
实验细节：训练过程中，学习率在六次训练周期后减半，启用随机裁剪，并额外进行三次训练周期。训练过程使用了多种损失函数，包括3D关节损失、2D关节损失、2D热图损失和对抗损失。
4. 系统恢复与失败处理
安全模块：设计了专门的安全模块来提供不同级别的安全保障，包括开放工作站和人类合作者检测、速度和分离监控、紧急停止和碰撞检测。此外，还提出了针对执行失败、错误识别失败和紧急停止或手动暂停的恢复策略。
失败类型与恢复过程：对于机器人执行失败，如抓取失败，机器人会自动重新尝试抓取。对于错误识别失败，人类合作者使用语言指令纠正机器人的动作。在紧急停止或手动暂停后，机器人会自动恢复到之前的状态。
5. 总体结论
系统优势：所提出的基于数字孪生技术的人机协作系统在人机协作领域具有显著优势，能够有效处理遮挡问题，并在动作识别中实现风险控制。系统通过模块化架构设计，实现了从虚拟到现实空间的映射和协作策略的规划与执行。
未来工作方向：未来的研究应考虑多模态交互方式，利用大型语言模型进行任务分配，并研究系统故障检测、故障建模、故障恢复以及从故障中学习的方法。
关注公众号，后台回复“论文107”即可下载原文
DigiTwin2025
相关阅读
本公众号致力于分享高质量的数字孪生与数字工程相关学术研究与知识资讯，以促进学术交流与知识传播。推送的论文内容主要来源于公开出版或在线发布的学术资源，版权归原作者所有，仅供学术交流，未经授权不得商用。如有侵权，请联系删除。
如您有优秀论文需推荐，或者成果发布、企业进展、科研交流等需求，请在公众号后台留言，或发送邮件到digitaltwin@buaa.edu.cn，与我们取得联系。感谢您的持续关注与支持！
