湖南大学王耀南院士团队:智能制造测量机器人关键技术研究综述丨JME封面文章

学术   2024-10-25 17:03   北京  

提示点击上方"机械工程学报"关注我吧


引用论文


王耀南, 谢核, 邓晶丹, 毛建旭, 李文龙, 张辉. 智能制造测量机器人关键技术研究综述[J]. 机械工程学报, 2024, 60(16): 1-18.

WANG Yaonan, XIE He, DENG Jingdan, MAO Jianxu, LI Wenlong, ZHANG Hui. Overview of Key Technologies for Measurement Robots in Intelligent Manufacturing[J]. Journal of Mechanical Engineering, 2024, 60(16): 1-18.

http://www‍.cjmenet.com.cn/CN/10.3901/JME.2‍024.16‍.001

(戳链接,下载全文)

复杂曲面构件是航空航天、海洋舰船等领域高端装备的核心组成部分,其测量精度对保障高端装备制造品质具有不可替代的基础支撑作用。为克服传统手工、专机等制造方式的局限性,三维视觉引导的机器人系统为复杂曲面构件的高端化智能化加工提供新思路,并逐渐成为机器人化智能制造领域的研究热点湖南大学王耀南院士团队综述围绕机器人三维测量方法,首先根据传感器类型和应用场景,对不同制造场景的测量方案特点进行全面归纳,以帮助研究人员快速全面地认识和理解该领域。然后按照测量流程,将关键核心技术归纳为系统标定、测量规划、点云融合、特征识别等,综述各类别近十年的主要研究成果,分析现有研究存在的不足。最后总结机器人测量面临的技术挑战,并从应用场景、测量需求、测量手段等方面对未来的发展趋势进行了展望
本文作为《机械工程学报》2024年第16期的封面文章发表,期望相关工作为智能制造测量机器人技术发展提供参考


1

行业现状

      复杂曲面构件在高端装备制造中有重要的作用,尤其是在航空航天和海洋舰船等领域。为了保障这些高端装备的制造品质,精确的测量是必不可少的。传统测量方法主要依靠量具、模具以及手工或半自动的仪器,这些方法存在效率低、灵活性差等问题。

      随着自动化和人工智能技术的发展,机器人光学测量作为一种新兴的测量方法受到了广泛关注。与传统测量方法相比,机器人测量在复杂曲面制造中具有诸多优势。通过视觉引导可以减少人为因素对测量的影响,达到更高的精度;机器人能够自动执行测量任务,保证了结果的一致性和重复性,尤其适用于大规模复杂曲面构件的测量。同时,这种方法不需要直接接触曲面,适应复杂的形状和结构,具有更高的灵活性和效率。

      然而,机器人测量也面临诸多挑战。由于曲面形状的多样性,方案设计和参数设置变得复杂;测量传感器的性能、系统标定精度和路径规划模式也会影响测量的准确性和效率;此外,制造过程中的环境振动和工件变形等因素也可能影响测量的稳定性。

      本论文综述了机器人三维测量技术的研究进展,归纳了测量过程中涉及的关键核心技术,包括系统标定、测量规划、点云融合与特征识别。同时,分析了现有研究中的不足,指出机器人测量技术面临的挑战,并对未来的发展方向进行了展望。这为相关领域的研究人员和工程师提供了全面的参考。

2

智能制造测量机器人应用现状 

非接触式光学测量技术的多样化应用:详细介绍了非接触式测量传感器在智能制造领域的应用,包括立体视觉、结构光、激光跟踪、飞行时间测量等不同类型传感器的特点和用途。这些传感器在不同的制造场景下展现出独特的优势,如物料的6D位姿估计、机器人导航、装配引导、质量检测等,极大地提升了制造自动化水平。
上下料位姿估计技术的进步:通过结构光和立体视觉测量技术,工业机器人可以精准识别和抓取散乱物体,提升了上下料流程的效率和灵活性。多家国际公司(如FANUC、ABB、KUKA等)已经推出相关产品,显著降低了视觉系统的开发成本和周期。
坡口焊接与加工寻位的应用优化:机器人在坡口焊接和磨削铣削领域的应用得到了深入探讨。分析了“先扫后割”与“边扫边割”两种作业模式的优劣,指出后者适合高效生产线,但技术难度大,并且通过视觉引导技术提升了机器人的加工精度和效率。
装配引导技术的发展:详细介绍了光学测量技术在航空装配领域的应用,特别是在蒙皮和大部件装配中的重要性。通过三维配准与高精度自动定位技术,帮助实现了部件装配过程中的最优位姿和装配间隙最小化,提升了装配的精度和效率。
质量检测的自动化提升:质量检测领域通过机器人携带三维扫描仪实现了工件的自动检测。如德国Gom公司和美国NASA等的先进检测系统,能够通过智能规划扫描路径,实现高精度、高效率的自动检测,国内相关技术也在逐步缩小与国外的差距。
数字孪生测量系统的创新应用:湖南大学基于数字孪生的机器人三维测量系统,突破了传统路径规划受限于零件类型与摆放姿态的瓶颈,实现了随意放置曲面零件的自主扫描路径规划,提升了测量效率和准确性,体现了智能制造的前沿技术应用。


图1 典型视觉引导的加工装备


图2 国外典型的机器人检测装备


图3 湖南大学机器人数字孪生测量系统

3

智能制造测量机器人关键技术 

机器人测量系统标定

  • 手眼标定技术:通过齐次变换矩阵准确确定扫描仪与机器人的相对位姿,保障机器人多视角点云数据的获取。

  • 标定方法多样性:针对不同安装位置、姿态、传感器类型提供了同步标定与分步标定等方法,提升标定精度。

  • 自标定创新:引入无需参照物的自标定技术,利用几何不变量或主动视觉法,实现传感器参数估计,提升自动化应用灵活性。

机器人测量路径规划


  • 主动感知路径规划:基于已知模型或未知模型生成候选视点,通过视觉锥模型、八叉树等技术实现精准路径规划,确保测量覆盖全面。

  • 智能化测量路径:将传统的固定式编程路径规划转化为智能化的路径优化,通过自动生成视点和路径,提升复杂工件的测量精度与效率。

  • 多机器人协同路径规划:研究多机器人协同完成复杂部件的完整检测与扫描路径规划,满足高精度测量需求。

多视角点云数据融合

  • 点云拼合技术改进:提出了迭代最近点(ICP)方法的多种改进,包括基于深度学习的点云配准,极大提高了拼合效率和精度。

  • 多视角数据融合挑战:研究多视角数据的无模型拼合与有模型拼合,针对复杂曲面实现高精度点云融合,满足大型复杂部件的测量需求。

三维点云几何特征识别

  • 基于模型的特征识别:通过曲面特征(如平面、球面、圆弧等)识别,实现工件的精准定位与检测,为后续加工和装配提供数据支持。

  • 深度学习特征识别:使用PointNet及其衍生网络进行几何特征提取,克服了点云的无序性问题,提升特征识别的精度和效率。

  • 动态几何识别:针对装配过程中位姿变化和弱刚性变形,提出了结合深度学习与物理模型的动态目标识别与跟踪技术,实现了高时空精度的动态识别。



图4 基于一般参照物的机器人测量系统标定技术路线

图5 机器人测量路径规划通用技术路线


图6 多视角点云数据融合技术路线


图7 蒙皮点云圆孔特征识别实例

4

智能制造测量机器人应用实例 

线激光位移引导的机器人等离子切割

  • 高精度动态寻位:利用线激光位移传感器对金属板材进行识别和定位,实现了机器人自动抓取、粗定位和动态寻位,提升了等离子切割的精准度。

  • 实时路径补偿:通过机器人坡口边界动态寻位和路径实时补偿技术,显著提高了坡口切割的精度,最终使精度达到0.5 mm以内,满足了工程机械制造的要求。

  • 自动化工艺优化:相比传统人工或机械方法,机器人等离子切割在效率和质量上都有显著提升,特别适用于异形件的加工。

视觉引导的核电叶片机器人磨削

  • 叶片位姿精准匹配:通过视觉传感器获取叶片点云并与设计模型进行最小二乘匹配,实现了工件位姿的高精度定位,为后续打磨提供了可靠的参考。

  • 加工误差控制优化:研究了机器人在核电叶片磨削中的误差传递建模和位姿优化技术,提升了打磨的准确性,特别是在叶片曲率突变的复杂区域。

  • 机器人磨削效率提升:相比人工打磨,机器人打磨核电叶片具有高效、精确和低劳动强度的优势,适用于高标准的工业应用。

面向航空蒙皮装配的机器人铣边定位

  • 高精度边界特征提取:通过自动视觉定位,机器人能够从蒙皮点云中提取精确的边界特征,克服了局部噪点和边界缺失的干扰,提升了铣削精度。

  • 复杂余量计算:针对航空蒙皮的大型薄壁结构,提出了考虑蒙皮弯曲变形和装配关系的余量计算方法,保障了装配间隙和阶差的精确控制。

  • 自动化与高效装配:机器人自动铣边定位大幅提高了蒙皮装配的效率和精度,解决了传统手工对准划线切割方式中的低效和误差问题。

图8 视觉引导的机器人等离子坡口技术路线

图9 核电叶片机器人磨削

图10 蒙皮制造场景与点云边界提取

5

结论与展望

      复杂曲面的实时高精度测量面临传感器灵敏度、数据处理速度、噪声干扰等挑战。未来的研究方向包括提升传感器采样率、优化数据处理算法、结合深度学习技术进行几何特征识别、引入自适应控制系统及误差校正机制。这些改进将大幅提升机器人在复杂动态制造场景中的测量能力。

      单机器人在大范围曲面测量中效率低下,多机协同测量可以通过通信、数据融合和路径规划,实现复杂曲面的全面覆盖和高效测量。未来挑战在于解决大规模点云通信、无模型工件的路径规划以及多视角弱特征的精确融合问题,以进一步提高大范围精密测量的能力。

      由于复杂曲面的特性(如曲率突变、反光等),单一传感器难以获取完整信息。通过融合视觉图像传感器和激光位移传感器等多源数据,可以提升测量精度和鲁棒性。然而,传感器数据对齐与校准面临挑战,未来需要开发更有效的数据融合算法,以实现传感器数据的无缝集成和优化。

      针对危险环境中复杂制造场景的测量需求,智能化自主测量可以降低人为误差并提高效率。结合自适应路径规划和机器学习技术,机器人可以自动优化测量策略,适应外部干扰,实现实时监控和故障检测。这将推动机器人在多变场景中的广泛应用,提升智能制造水平。

图11 机器人测量技术发展展望






作者及团队介绍



王耀南中国工程院院士,机器人技术与智能控制专家,湖南大学教授,机器人视觉感知与控制技术国家工程研究中心主任。任中国科协委员、中国图象图形学学会理事长、中国自动化学会会士、中国计算机学会会士、中国人工智能学会会士、全国智能机器人创新联盟副理事长、国家自然科学基金委员会专家咨询委员、中国自动化学会常务理事、中国人工智能学会监事、教育部科技委人工智能与区块链技术委员会委员、湖南省自动化学会理事长等。曾任湖南大学电气与信息工程学院院长、机器人学院院长、国家863计划智能机器人领域专家、欧盟第五框架国际合作重大项目首席科学家
长期从事机器人感知与控制技术教学科研工作,成果获国家技术发明二等奖1项、国家科技进步二等奖4项、国际IEEE机器人与自动化领域“工业应用最高奖”,省部级一等奖12项。发表国际IEEE等SCI论文200余篇,出版机器人感知与智能控制等著作15部,获国家发明专利90余项,培养博士80余名。荣获国家百千万工程人才、德国杰出洪堡学者、全国高等学校优秀教师、全国五一劳动奖章、全国先进工作者、全国创新争先奖、全国教材建设先进个人等荣誉称号。



谢核男,1990年生,湖南大学机器人学院副教授。主要研究方向为智能制造机器人三维检测



邓晶丹女,2001 年出生,硕士研究生。主要研究方向为工业三维检测



毛建旭男,1974年生,湖南大学教授。主要研究方向为机器视觉与智能机器人系统



李文龙男,1980年出,华中科技大学教授,教育部长江学者特聘教授。主要研究方向为复杂零件在线测量与机器人加工



张辉男,1983年出生,湖南大学机器人学院教授、常务副院长,教育部长江学者特聘教授。主要从事机器人视觉检测、深度学习图像识别、智能制造机器人技术及应用


6

主创作者团队主要研究方向

本团队是由王耀南院士领衔的有重要国际影响力的创新团队,形成了机器人多模态感知、机器人高性能控制、机器人集群协同规划、机器人灵巧机构作业、机器人系统技术与应用五个稳定的技术方向。承担了多项国家重大重点项目,攻克了机器人高速高精视觉感知、高效规划决策与优化调度、高性能鲁棒控制等多项关键核心技术,研制出高速多传感工业视觉检测机器人、集群协同测量与加工机器人、特种作业机器人、高端医药医疗机器人等。率先研制出国内首条航空发动机加工自动化柔性生产线、超大型水轮机加工自动化生产线、大型舰船螺旋桨加工自动化生产线、高端制药自动化柔性生产线等,成果应用于航空航天、海洋工程、轨道交通、高端制药等行业。近年来获国家自然科学奖、国家技术发明奖和国家科技进步奖等7项,为支撑我国制造业转型升级、重大工程高质量实施和国防装备智能化建设发挥了重要作用

7

团队相关文章推荐

[1] Xie He, Li Wenlong, Liu Hui. General Geometry Calibration Using Arbitrary Free-Form Surface in a Vision-Based Robot System, IEEE Transactions on Industrial Electronics, 2022,69(6):5994 - 6003.
[2] Xie He, Wang Yaonan, Zhang Hui, et al. Iterative Fine Point-Set Matching of a Free-Form Surface Based on the Point-to-Sphere Distance. IEEE/ASME Transactions on Mechatronics, 2022, 27(6): 5668 – 5678.
[3] Wu Zijie, Wang Yaonan, Xie He, et al. A Systematic Point Cloud Edge Detection Framework for Automatic Aircraft Skin Milling. IEEE Transactions on Industrial Informatics, 2023, 20(1) : 560-572.
[4] Wu Zijie, Wang Yaonan, Xie He, et al. Gravitational Discriminative Optimization for Multiview Reconstruction of Free-Form Surface." IEEE/ASME Transactions on Mechatronics 2023,28(6): 3226-3237.
[5] Chen Yurong, Wang Yaonan, Zhang Hui, et al. Prior Image Guided Snapshot Compressive Spectral Imaging. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(9):11096-11107.


作      者:谢   核   

责任编辑:杜蔚杰   

责任校对:张      
审      核:张   强   


JME学院简介

JME学院是由《机械工程学报》编辑部2018年创建,以关注、陪伴青年学者成长为宗旨,努力探索学术传播服务新模式。首任院长是中国机械工程学会监事会监事长、《机械工程学报》中英文两刊主编宋天虎。


欢迎各位老师扫码添加小助理-暖暖为好友,由小助理拉入JME学院官方群!


更多精彩视频

欢迎关注JME学院视频号~

寻觅合作伙伴

有一种合作叫做真诚,有一种发展可以无限,有一种伙伴可以互利共赢,愿我们合作起来流连忘返,发展起来前景可观。关于论文推荐、团队介绍、图书出版、学术直播、招聘信息、会议推广等,请与我们联系。



感谢关注我们!《机械工程学报》编辑部将努力为您打造一个有态度、有深度、有温度学术媒体




推荐阅读


西北工大张映锋教授团队:数字孪生驱动的复杂产品智能运维服务体系与核心技术丨JME文章推荐

跨设备的机械故障靶向迁移诊断方法丨JME文章推荐

长沙理工胡林教授团队:电动汽车锂离子电池-超级电容混合储能系统能量分配与参数匹配研究综述丨JME文章推荐

西北工大詹梅教授团队:塑性成形快速数值仿真方法的研究进展丨JME文章推荐

华侨大学徐西鹏教授团队:磨粒工具的研究现状及发展趋势丨JME文章推荐

大连理工大学宋学官教授团队:智重装备的多学科一体化优化设计丨JME文章推荐

南京航空航天大学徐九华教授团队:面向绿色高效磨削的振荡热管砂轮磨削温度与强化传热分析丨JME文章推荐

电子科大汪忠来教授团队:基于RMQGS-APS-Kriging的主动学习结构可靠性分析方法丨JME文章推荐

湖南大学熊万里教授团队:箔片气体动压轴承研究进展综述丨JME文章推荐

航天大型薄壁回转曲面构件成形制造技术的发展与挑战丨JME文章推荐

太原理工大学黄庆学院士团队:宽厚板板形测量系统与标定方法研究丨JME文章推荐

重庆大学的余华教授团队:适用于输电线路监测的自供电无线在线监测系统丨JME文章推荐

燕山大学的温银堂团队:基于超分辨率改进Faster R-CNN的点阵结构内部缺陷判识方法丨JME文章推荐

王树新院士团队:面向微创手术器械臂的可变刚度机理综述 丨JME文章推荐

西南交通大学翟婉明院士团队:考虑齿轮齿条动态激励的山地齿轨车辆-轨道耦合动力学特性分析丨JME文章推荐

中国铁道科学研究院张一喆、祖宏林、张志超:不同线路条件下高速列车轮轨力的试验研究丨JME文章推荐

北京航空航天大学杨世春教授团队:动力电池云端管理关键技术研究综述丨JME封面文章

西安交通大学洪军教授团队:一种基于脉冲光时钟同步的自动旋转激光经纬仪系统丨JME文章推荐
北京航空航天大学陶飞教授团队:数字工程及十个领域应用展望丨创刊70周年特邀文章
华中科技大学彭芳瑜教授团队:基于自适应变分模态分解与功率谱熵差的机器人铣削加工颤振类型辨识丨JME封面文章
京理工大学石青教授团队:微小型仿蝗虫机器人设计及其无翻转跳跃运动实现丨JME文章推荐
燕山大学王洪波教授团队:一种食指康复外骨骼机器人设计与分析丨JME文章推荐
兰州理工大学陈国龙团队:基于科赫差测量平面涡流传感器的裂纹检测性能研究丨JME文章推荐
青海大学高德东教授团队:废旧晶体硅光伏组件回收技术研究进展丨JME文章推荐
西南交通大学钱林茂教授团队:面向超精密加工的微观材料去除机理研究进展丨JME封面文章
哈尔滨工业大学曹喜滨院士团队:基于NNBoost的卫星用复合材料层合板结构不确定性固有频率分析方法研究丨JME封面文章
厦门大学郭景华团队:基于深度强化学习的网联混合动力汽车队列控制丨JME封面文章

厦门大学郭景华团队:基于深度强化学习的网联混合动力汽车队列控制丨JME封面文章

华中科技大学史玉升教授团队:热等静压近净成形数值模拟研究现状与展望丨JME文章推荐
浙江大学&南方科技大学综述文章:面向工业5.0的人机协作增材制造丨JME封面文章

中国石油大学(北京)张行教授团队:压差式多节串联管道机器人越障时动力学演化规律及减振分析丨JME封面文章


版权声明:


本文为《机械工程学报》编辑部原创内容,欢迎转载,请联系授权!

在公众号后台留言需要转载的文章题目及要转载的公众号ID以获取授权!


联系我们:


联系人:暖暖

电话:010-88379909

E-mail:jme@cmes.org

网 址:http://www.cjmenet.com.cn

官方微信号:jmewechat

长按图片,识别二维码,关注我哟


机械工程学报
稿件查询,过刊浏览,机械领域文章推荐
 最新文章