论文推荐 | 韩国全南大学：基于深度学习与数字孪生的安全感知人机协同混合现实系统

注册截止日期：

现场参会/Onsite：2024.8.30

网上参会/Online：2024.10.1

An integrated mixed reality system for safety-aware human-robot collaboration using deep learning and digital twin generation

Sung Ho Choi ^a, Kyeong-Beom Park ^a, Dong Hyeon Roh ^a, Jae Yeol Lee ^a, Mustafa Mohammed ^b, Yalda Ghasemi ^b, Heejin Jeong ^b

a Department of Industrial Engineering, Chonnam National University, Gwangju 61186, South Korea

b Department of Mechanical and Industrial Engineering, University of Illinois at Chicago, Chicago, IL 60607, USA

Abstract

For human-robot collaboration (HRC), one of the most practical methods to ensure human safety with a vision-based system is establishing a minimum safe distance. This study proposes a novel integrated mixed reality (MR) system for safety-aware HRC using deep learning and digital twin generation. The proposed approach can accurately measure the minimum safe distance in real-time and provide MR-based task assistance to the human operator. The approach integrates MR with safety-related monitoring by tracking the shared workplace and providing user-centric visualization through smart MR glasses for safe and effective HRC. Two RGB-D sensors are used to reconstruct and track the working environment. One sensor scans one area of the physical environment through 3D point cloud data. The other also scans another area of the environment and tracks the user's 3D skeletal information. In addition, the two partially scanned environments are registered together by applying a fast global registration method to two sets of the 3D point cloud. Furthermore, deep learning-based instance segmentation is applied to the target object's 3D point cloud to increase the registration between the real robot and its virtual robot, the digital twin of the real robot. While only 3D point cloud data are widely used in previous studies, this study proposes a simple yet effective 3D offset-based safety distance calculation method based on the robot's digital twin and the human skeleton. The 3D offset-based method allows for real-time applicability without sacrificing the accuracy of safety distance calculation for HRI. In addition, two comparative evaluations were conducted to confirm the originality and advantage of the proposed MR-based HRC.

Keynote

Human-robot collaboration,Mixed reality, Deep learning ,Safety distance calculation, Digital twin, Cyber-physical system

摘要

对于人机协作（HRC），采用视觉系统确保人类安全的最实用方法之一，是设定最小安全距离。本研究提出了一种新颖的集成混合现实（MR）系统，该系统利用深度学习和数字孪生技术实现具有安全意识的人机协作。所提方法能够实时精确测量最小安全距离，并向人类操作员提供基于混合现实的任务辅助。该方法通过跟踪共享工作空间，并利用智能MR眼镜提供以用户为中心的可视化，将混合现实与安全相关的监测相结合，以实现安全有效的人机协作。系统采用两个RGB-D传感器来重建和跟踪工作环境。其中一个传感器通过3D点云数据扫描物理环境的一个区域。另一个传感器则扫描环境的另一个区域，并跟踪用户的3D骨骼信息。此外，通过应用快速全局配准方法将两组3D点云数据配准，将两个部分扫描的环境整合在一起。此外，将基于深度学习的实例分割应用于目标对象的3D点云，以增强真实机器人与其虚拟机器人（即真实机器人的数字孪生）之间的配准。以往的研究大多仅使用3D点云数据，而本研究提出了一种简单且有效的基于3D偏移的安全距离计算方法，该方法基于机器人的数字孪生和人类骨骼信息。基于3D偏移的方法可在不牺牲人机交互（HRI）安全距离计算准确性的前提下实现实时应用。此外，还进行了两项对比评估，以验证所提基于混合现实的人机协作方案的原创性和优势。

关键词

人机协作、混合现实、深度学习、安全距离计算、数字孪生、信息物理系统

Fig. 2. System architecture of the proposed approach.

Fig. 3. Deep Learning-based spatial mapping of the digital twin.

研究背景

1. 工业4.0与智能工厂：工业4.0时代，结合了CPS（Cyber-Physical Systems）、IoT（Internet of Things）和AI（Artificial Intelligence），使得智能工厂成为现实。在这一时代，工人角色从操作者转变为智能管理者。

2. 人机协作（HRC）的安全性：在共享工作空间中，机器人和工人协同工作时，实时保障人机交互或协作的安全性至关重要。研究提出了基于深度学习和数字孪生生成的混合现实（MR）系统，以确保人机协作的安全性。

3. 深度学习与数字孪生：深度学习或机器学习技术被广泛用于识别用户和机器人的上下文，以支持更有效的HRC。数字孪生或CPS在智能制造系统中提高生产力和效率，支持人机交互。

研究方法

1. 系统架构：提出了一个三层架构，包括：1) 网络物理集成层，2) MR层，3) 深度学习和3D几何层。该架构能够实时计算人与机器人之间的最小安全距离，并通过MR眼镜向用户提供安全和任务辅助信息。

2. 3D空间映射：使用RGB-D传感器重建工作环境，并通过深度学习服务器进行目标对象检测和实例分割，以提供任务相关指导和目标对象的轻松操作。

3. CPS集成：通过3D匹配将物理机器人与虚拟机器人（数字孪生）同步，实现安全监控和机器人控制。

4. 3D偏移计算最小安全距离：提出了一种基于3D偏移的最小安全距离计算方法，该方法基于机器人数字孪生和人体骨架，能够实时计算安全距离。

研究结论

1. 贡献：本研究提出了一个新颖的集成MR系统，用于安全意识HRC，确保实时和准确的安全距离计算，并提供更以用户为中心的可视化和任务辅助。

2. 深度学习和数字孪生的应用：通过深度学习和数字孪生，实现了物理机器人和虚拟机器人之间的无缝和准确注册。

3. 3D偏移安全距离计算方法：提出了一种快速准确的基于3D偏移的安全距离计算方法，使用机器人数字孪生和人体骨架，而不是广泛使用的3D点云数据。

4. 比较评估：通过比较评估，验证了所提出方法的原创性和有效性，提供了实时安全距离计算而不牺牲准确性。

关注公众号，后台回复“论文69”即可下载原文