点击蓝字 关注我们↑↑↑
DIGITAL TWIN
如果您不希望错过文章，就加个星标吧！
本期阅读
文章信息
论文《Mechanical movement data acquisition method based on the multilayer neural networks and machine vision in a digital twin environment》于2021年10月收录于《Digital Twin》期刊，本文由郑州轻工业大学李浩教授团队完成。文章提出了一种改进的基于多层神经网络和机器视觉的数据采集方法，用于满足数字孪生环境下物理设备虚实同步要求的物理实体位置、姿态和运动等状态信息采集，文章首先回顾了虚实同步要求下的数据采集方法、基于机器视觉的目标识别和定位，以及神经网络算法的相关研究现状；其次，阐述了基于数字孪生环境下基于神经网络和机器视觉的数据采集方法步骤及其理论和计算过程；最后，给出应用案例实验和实验结果分析。相关工作为满足数字孪生所要求的物理世界和信息世界的智能互联与交互融合提供了技术参考，是保证数字孪生模型高保真性的基础之一。
DOI: 10.12688/digitaltwin.17441.1
引用本文：
Li H, Liu G, Wang H et al. Mechanical movement data acquisition method based on the multilayer neural networks and machine vision in a digital twin environment. Digital Twin 2021, 1:6. doi.org/10.12688/digitaltwin.17441.1
文章阅读（译文）
Mechanical movement data acquisition method based on the multilayer neural networks and machine vision in a digital twin environment
Hao Li1, Gen Liu1, Haoqi Wang1*, Xiaoyu Wen1, Guizhong Xie1, Guofu Luo1, Shuai Zhang2, Miying Yang3
1 Henan Key Laboratory of intelligent Manufacturingof Mechanical Equipment, Zhengzhou University of Light tndustry, Zhengzhou450002,China
2 University of Greenwich, London,SE10 9LS, UK
3 School of Management, CranfieldUniversity,Cranfleld, MK43 OAL, UK
摘要
背景：数字孪生需要物理设备和虚拟模型之间的虚拟现实映射和优化迭代。物理设备的机械运动数据采集对于在数字孪生环境中实现准确的虚拟和物理同步至关重要。然而，依靠PLC（可编程逻辑控制）的传统方法无法收集各种机械运动状态数据。此外，很少有研究将机器视觉用于设备的虚拟和物理同步。因此，本文提出了一种基于多层神经网络和机器视觉的机械运动数据采集方法。
方法：首先，设计了各种不同颜色和形状的视觉标记来标记物理设备。其次，提出了一种基于Hough变换和直方图特征的识别方法，分别实现了形状和颜色特征的识别。然后，在视觉标记位置引入多层神经网络模型。神经网络通过dropout算法进行训练，实现视觉标记的跟踪和定位。为了测试所提出的方法，选择了1000个样本。
结果：实验结果表明，当视觉标记尺寸大于6mm时，识别算法的识别成功率可达95%以上。在多摄像头的实际操作环境中，可以更准确地定位识别点。此外，多层神经网络可以简化双目和多木视觉的相机校准过程。
总结：本研究提出了一种在数字孪生环境下采集物理设备机械运动数据的有效方法。 需要进一步研究在多相机冗余拍摄下感知物理实体的姿势和形状数据。
关键词
数字孪生，机械运动数据，多层神经网络，机器视觉，数据采集
1. 引言
数字孪生的概念最早由Grieves M．W．教授在美国密歇根大学的产品全生命周期管理( product lifecycle management，PLM)课程上提出，当时被称作“镜像空间模型”，后被定义为“信息镜像模型”和“数字孪生”。数字孪生指在信息化平台内建立、模拟一个物理实体、流程或者系统。借助于数字孪生技术，可以在信息化平台上了解物理实体的状态，并对物理实体里面预定义的接口元件进行控制。在数字孪生环境中，数字孪生体是物理实体的计算机仿真模型。模型与实体之间保持着形状、结构、运动、力学、电学、温度、液体、气流等多种状态的同步。这不是一个单纯的仿真过程，而是涉及了大量数据的交换。尤其是从物理实体到数字模型，需要密集和全方面的数据采集。
解决数字孪生环境下模型与实体的数据交换问题，通常会依靠PLC作为软件与硬件间数据连接的纽带。软件的控制指令通过PLC发送至物理设备执行。物理设备的状态数据通过PLC传送至上位机软件。例如西门子PLM系统已经能够实现数字模型与物理实体的同步联动，该系统即主要依靠PLC实现软件与硬件间的连接。机械工业第六设计研究院设计实现了一套生产车间数字孪生系统，该系统能够实现车间物理实体与数字模型的状态同步。该系统采用的也是基于PLC的数据采集和设备控制技术。随着数字孪生相关研究的开展，对数据的获取提出了更高的要求。第一，数字孪生技术要求采集的数据更加精细，对数据精度要求更高。第二，数字孪生技术要求的数据采集场合更加多样。仅仅通过PLC单一途径并不能完全满足数字孪生技术的要求。例如运动状态信息的采集通常要借助于各种传感器。角度传感器可用于采集相对运动物体间的角度数据，光电传感器通过物体对光束的遮挡检测到物体的位置，惯性传感器可以检测到物体的转动和位移变化，应用的场景不同需要的传感器也不同。视觉是信息采集获取的重要途径。无论对人还是机器，通过视觉进行信息采集都是信息获取的重要途径。在工业现场，物理实体的形状，位置，姿态和运动状态都是可见的，也就是这些信息完全可以通过机器视觉的方法获取到。基于视觉的目标识别，产品检测，机器人目标抓取已有很多应用。尤其是人工智能、机器学习、神经网络等研究的推动下，机器视觉技术有了很大的提升。这为数字孪生环境下使用视觉方法进行数据采集提供了很好的技术支持。
机器视觉及在机械产品或车间应用的好处或优势，是PLC数据采集方式的有效补充。数字孪生环境下的基于神经网络和机器视觉的数据采集仍存在以下三个方面的问题。
（1）常规的通过PLC等数据采集方式不能满足数字孪生环境下对数据采集的更高要求。
（2）在使用多目视觉对目标定位时需要对每一个摄像机各项参数进行测量标定，同时多目视觉定位算法也随着摄像机数量的增加而变得复杂。而使用神经网络算法对算力要求很高，训练过程需要人工监督工作量过大。
（3）摄像机凸透镜成像会不可避免地造成图像一定程度的畸变，这个图像畸变会造成很大的多目目标定位误差。
2. 方法
如图1所示，首先将预先设计好的具有显著图像特征的视觉标记附着于被测物体上，布置多台摄像机从不同的位置和角度拍摄被测物体，当物体带动视觉标记移动时，摄像机捕捉到多幅目标物体图像，识别算法从图像中找到视觉标记的位置和大小并将数据传给基于神经网络的目标定位算法作为神经网络的输入数据，训练好的神经网络算法会根据输入数据计算出目标物体上视觉标记的空间三维坐标位置。训练神经网络所需的图像数据由所部署的摄像机拍摄。
设备开动以后，目标物体携带视觉标记运动并遍历其所有可能出现的空间位置，摄像机在这个过程中连续拍摄。每一帧图像首先经过目标识别算法处理形成目标的二维坐标数据。各个位置的三维坐标值由测量标定，并与每一帧图像对应。目标的二维坐标作为神经网络的输入，目标的实际三维坐标作为神经网络的输出，对神经网络进行训练，经过迭代运算使神经网络达到最优。以下各节分别论述视觉标记的设计，视觉标记的识别和视觉标记的定位。
图1 方法总体框架
3. 视觉标记的设计
传统机器视觉直接识别工业设备运动部件需构建复杂特征库并依赖高算力神经网络，存在数据量大、成本高的问题；本文提出通过引入特殊视觉标记，将图像处理数据量从百万级降至个位数，简化识别流程并提升效率。
为使视觉识别算法足够精简和准确，本文设计了一种统一的视觉标记。视觉标记需满足显著特征（如颜色、形状）、适应光照变化及避免镜面反射等条件，优先选择漫反射或荧光材料，以确保在复杂工业环境中稳定呈现颜色与形态特征。
根据机器视觉算法中对图像中圆形特征的识别算法，我们设计了基于霍夫变换的同心圆视觉标记设计（如外白内黑或外黑内白）。通过高对比度颜色区分环境，结合编码机制（如“01”或“10”）实现精准定位，可单独或组合标记运动部件，适用于机械臂等多目标场景。
图2 圆形视觉标志
4. 基于霍夫变换和直方图特征的视觉标记识别
针对上节中所设计的视觉标记，我们设计了一种基于霍夫变换和直方图特征的视觉标记识别算法。该算法通过灰度处理和边缘检测提取图像边缘，利用霍夫变换检测圆形特征以确定视觉标记的圆心和半径，并结合直方图统计方法分析颜色特征，最终通过形状和颜色的匹配准确定位视觉标记。实验结果表明，该算法能够有效区分视觉标记与其他近似圆形物体，具有较高的识别精度。
5. 视觉标记的定位
本节提出一种基于多层神经网络的视觉标记定位方法，通过拟合多个二维图像坐标到三维坐标的映射关系，替代传统的双目或多目视觉几何定位算法。该方法能够处理凸透镜成像畸变，并简化多摄像头的标定和定位流程，提升定位效率和精度。
5.1 神经网络结构
本文所描述的位置问题实际上是一个回归预测问题，可通过多层神经网络方法解决。神经网络采用多层结构，输入层接收多摄像头提取的视觉标记参数（坐标及半径），输出层预测三维坐标；通过ReLU激活函数和Dropout技术优化训练，隐藏层超参数设计增强模型拟合能力，避免过拟合。
5.2 训练样本生成
通过设备周期性运动自动生成训练样本，输入为多摄像头二维参数，输出为三维坐标；利用运动速度与时间关系计算空间位置，简化数据采集流程，降低人工标注成本。
5.3 神经网络训练
使用梯度下降法优化网络参数，通过均方误差计算训练损失，结合Dropout技术随机屏蔽节点以提升泛化性；训练集与测试集划分验证模型性能，确保三维坐标预测精度。
6. 实验验证
作者团队进行了一项实验研究，以评估本文所提出的基于神经网络和机器视觉的数据采集方法。实验以一台ABB机械臂作为动作采集的目标对象。视觉标记粘贴于机械臂关节处。环绕ABB机械臂部署两台摄像机，调节摄像机位置使机械臂在运动时其上的视觉标记能被至少两台摄像机拍摄到。实验分为识别实验和定位实验两部分进行。
6.1 视觉标记识别实验
根据所述的识别算法，基于OpenCV编写识别视觉标记的算法程序。操作机械臂携带视觉标记在空间运动。两台摄像机以每秒30帧的速率进行拍摄。检测算法程序是否能准确找出图像中的视觉标记。如图4所示，为两台摄像机从不同位置和角度拍摄到的图像，图像经过边缘检测将边缘突出，通过霍夫变换找到边缘中的圆形特征部分，此时算法可能会错误检测到一些环境中的圆形特征，必须再通过对圆形区域的直方图统计进一步筛选出视觉标记所在的圆形区域。最终输出视觉标记圆心在图像中的坐标和图像中视觉标记的半径并在图像中圈出。
图4 视觉标志识别
6.2 视觉标记定位实验
ABB机器人是一种可编程设备，可以通过编程控制机械臂携带视觉标记以恒定速度按照从上到下，从左到右，从前到后的顺序遍历摄像机视场空间的每一个位置。摄像机同步以固定的帧率采集图像。使用视觉识别算法从图像中提取视觉标识的二维坐标数据。对应的视觉标记三维坐标根据拍摄时间、机械臂的运动速度计算得出。将二维坐标数据与三维坐标数据按照所述的格式存入文件作为一个训练样本。按照这样的步骤生成视觉标记运动全过程的训练样本集。
Deeplearning4j是一个基于Java的深度学习框架。基于Deeplearning4j搭建所述的神经网络结构。输入层节点数为6, 输出层节点数为3，双隐层节点数设置为1100,学习速率设置为0.01.将训练样本的80%用于神经网络的训练，20%用于检验该神经网络的训练效果。
6.3 实验结果
从训练样本集中抽取1000个样本对本文所提出的方法进行识别测试和定位测试。经过实验发现，本文所提出的视觉标记的识别方法，当视觉标志在摄像机拍摄图像中的尺寸大于6毫米时，识别算法对其的识别成功率可以稳定达到95%以上。视觉标记在摄像机拍摄图像中的尺寸小于4毫米识别的误差较大。识别实验结果如图5所示，从实验结果可见该识别算法能够稳定运行。通过神经网络算法对样本进行定位测试，在1000个样本中，如果定位误差在1mm以上则视为定位错误。图6为定位实验结果，经过实验得出在视觉标记可识别范围内神经网络双隐层的节点数越多则通过神经网络进行定位测算的精度越高，当节点数密度增加到一定程度时精度不再随之增长。经过实验将神经网络双隐层节点数设置为1100，算法的测算精度最好。
图5 视觉标记大小对识别准确度的影响
图6 隐层节点数对定位精度的影响
如图7所示，为系统整体运行效果。在双摄像机单视觉标志环境下，调节摄像机使视觉标记随机械臂运动时能够完全出现在摄像机画面之中。在一定的距离范围内，视觉标记在所拍摄图像的尺度在6毫米以上。使用神经网络算法来处理定位数据。使用该套数据采集方法获取到的数据，驱动ABB机械臂模型，可以使模型与ABB机械臂实体能够保持运动状态的同步。实验验证了本文提出的方法的有效性。
图7 总体效果图
7. 总体结论
本文提出了一种应用于数字孪生环境下的基于神经网络和机器视觉的数据采集方法。该方法引入了视觉标志，简化了算法需要处理的数据量。通过对视觉标志的识别和定位间接实现对其所附着的设备的位置和姿态数据的采集。为了简化双摄像头和多摄像头定位视觉标志的标定过程，解决摄像机透镜成像图像变形所造成的定位误差，还引入了多层神经网络算法。通过神经网络算法的训练过程修正了图像的畸变提高了定位精度，同时神经网络算法免去了对摄像机的标定过程。为使减少神经网络算法的计算量，该方法通过常规的图像处理算法解决对视觉标志的识别问题，通过识别过程将图像的数据量缩减为视觉标志的坐标数据。通过最后的实验验证，证明了该方法在物理设备动作信息采集中的有效性。本文所提出的方法尤其适用于多摄像机冗余拍摄环境下的数据处理。只需要增加神经网络算法输入节点数，在多摄像机冗余拍摄环境下训练神经网络。
目前只进行了双摄像机单视觉标志情况下的数据采集实验。在未来的工作中，我们将进一步研究和实验在多摄像机冗余拍摄情况下的应用。进一步，优化识别和定位算法，使识别算法对视觉标志的识别准确度更高，改进视觉标志使其能够适应更复杂的光照环境和不同的拍摄角度，通过神经网络节点数和训练样本数的增加提高目标定位精度。在数字孪生环境下，大部分的数据都可以通过视觉方法采集到，借助于视觉标志和基于神经网络的视觉算法采集物理实体的动作、姿态和形状数据，是最具应用潜力的数据采集方法之一。
关注公众号，后台回复“DT07”即可下载原文
DigiTwin2025
相关阅读
本公众号致力于分享高质量的数字孪生与数字工程相关学术研究与知识资讯，以促进学术交流与知识传播。推送的论文内容主要来源于公开出版或在线发布的学术资源，版权归原作者所有，仅供学术交流，未经授权不得商用。如有侵权，请联系删除。
如您有优秀论文需推荐，或者成果发布、企业进展、科研交流等需求，请在公众号后台留言，或发送邮件到digitaltwin@buaa.edu.cn，与我们取得联系。感谢您的持续关注与支持！
