提示:点击上方"机械工程学报"↑关注我吧
He, N., Huang, J., Liu, S. et al. Deep Learning-Based Invalid Point Removal Method for Fringe Projection Profilometry. Chin. J. Mech. Eng. 37, 142 (2024). https://doi.org/10.1186/s10033-024-01095-5
https://cjme.springeropen.com/articles/10.1186/s10033-024-01095-5
(戳链接,下载全文)
我们在 FPP 系统中提出了一种基于深度学习的边缘图像背景点分割方法,以去除了不同工业场景中的背景。此外,我们还提出了一种基于边缘图像和高度图的两步算法来去除离散点,从而检测出阴影和边缘区域造成的无效点。具体方法如下:
(1)对于背景点,利用深度学习对边缘图像进行调制,自动识别物体区域,然后生成兴趣区域(ROI)掩码,去除复杂背景区域中的背景点和最离散的点。
(2)对于物体区域内的少量离散点,可通过两个步骤分别剔除由阴影和边缘区域引起的无效点。首先,提出一种基于边缘图像的简单阈值方法来剔除阴影区域的点。其次,由于解包相位图的单调性会导致过度平滑,因此提出了在高度图上使用双边滤波器来剔除环境光和边缘区域造成的离散点。在这一步骤中,利用了在(1)中生成的 ROI 掩膜。
图 1 整体测试效果图
本文采用了深度学习中的语义分割技术,将物体区域从背景和其他杂物中分割出来。采用基于边缘强度阈值和双边滤波的两步法消除阴影和边缘区域产生的离散点。经过实验验证,我们提出的算法具有以下优势:(1)我们提出的框架有较好高的可行性和鲁棒性,它能完全消除不同背景情况下的背景和随机噪声,(2)我们提出的基于深度学习的方法在不同背景环境下具有出色的背景消除性能。
面结构光三维测量因其具有非接触、全场测量、低成本等众多优点,成为三维测量技术领域中一个具有代表性的技术。基于面结构光照明的相位辅助三维测量技术采用条纹编码结构光照射到被测物体表面,物体形貌对结构光进行调制,使结构光的图案发生相应的形变,即结构光对物体进行了编码,通过系统标定和条纹分析等技术可以从采集的图像信息中解调出物体的三维数据,具有测量精度高、数据密 度大、普适性、灵活性等优点。目前,面结构光三维测量技术在医疗卫生、古文物修缮、工业零件检测和目标识别等领域都有着广泛的应用。
[1] Jinfeng Gao, Fengyuan Wu, Cheng Cheng, Chengbai Wu, Yangfan Zhou, A Markov random field based method for removing invalid unwrapping phase points in 3D reconstruction. IET Image Process. 17, 3477–3487 (2023)
[2] Xiaolong Luo, Wanzhong Song, Songlin Bai, Yu Li, Zhihe Zhao, Deep learning-enabled invalid-point removal for spatial phase unwrapping of 3D measurement, Optics & Laser Technology, Volume 163, 2023.
[3] Wenbin Deng, Byeong-Mook Chung, Optimal pulse width modulation technique combined with stair phase-coding method for absolute phase retrieval with projector defocusing, Optics Communications, Volume 437, 2019, Pages 193-198.
[4] Xiaoyu He, Qian Kemao, A comparison of n-ary simple code and n-ary gray code phase unwrapping in high-speed fringe projection profilometry, Optics and Lasers in Engineering, Volume 128, 2020.
[5] Kaifeng Zhu, Xin He, Yi Gao, Ruidong Hao, Zhonghui Wei, Bing Long, Zhiya Mu, Jun Wang, Invalid point removal method based on error energy function in fringe projection profilometry, Results in Physics, Volume 41, 2022.
刘少丽,2012年获得清华大学机械工程博士学位,目前于北京理工大学机械与车辆学院担任副教授、博士生导师,研究方向包括机器视觉、在线测量、深度学习、精密装配。
何楠,北京理工大学博士研究生,北京卫星制造厂有限公司研究员,研究方向:视觉测量、面结构光。
黄嘉淳,北京理工大学硕士研究生,研究方向:视觉测量、相机标定。
面结构光、虚拟装配、图像处理
[1] Z. Jian, S. He, S. Liu, J. Liu and Y. Fang, "A Multiple Species Railway Defects Detection Method Based on Sample Generation," in IEEE Transactions on Instrumentation and Measurement, vol. 73, pp. 1-14, 2024.
[2] S. He, Z. Jian, S. Liu, J. Liu, Y. Fang and J. Hu, "PCSGAN: A Perceptual Constrained Generative Model for Railway Defect Sample Expansion From a Single Image," in IEEE Transactions on Intelligent Transportation Systems.
JME学院简介
JME学院是由《机械工程学报》编辑部2018年创建,以关注、陪伴青年学者成长为宗旨,努力探索学术传播服务新模式。
欢迎各位老师扫码添加小助理-暖暖为好友,由小助理拉入JME学院官方群!
更多精彩视频
欢迎关注JME学院视频号~
有一种合作叫做真诚,有一种发展可以无限,有一种伙伴可以互利共赢,愿我们合作起来流连忘返,发展起来前景可观。关于论文推荐、团队介绍、图书出版、学术直播、招聘信息、会议推广等,请与我们联系。
推荐阅读
山东大学林军教授团队:高功率脉冲磁控溅射沉积TiAlSiN涂层提高H13模具钢表面力学和摩擦性能|CJME论文推荐
南京航空航天大学顾冬冬教授团队:双极板轻量化仿生夹芯结构设计及激光粉末床熔融技术成形研究|CJME论文推荐
湖南大学胡满江教授团队:基于NMPC的自动泊车系统路径跟踪控制器设计|CJME论文推荐
北京航空航天大学石岩教授团队:基于增强型鲸鱼优化算法的下肢外骨骼模型参数辨识与反步控制|CJME论文推荐
南方科技大学张璧教授团队:不同磨削速度下Inconel 718合金加工表面的表征与分析|CJME论文推荐
南方科技大学复合材料力学团队:3D打印连续碳纤维增强复合材料的路径相关渐进损伤失效分析方法|CJME论文推荐
北京化工大学高金吉院士团队:考虑有限板厚的冲击弹性球的恢复系数预测|CJME论文推荐
版权声明:
本文为《机械工程学报》编辑部原创内容,欢迎转载!
在公众号后台留言需要转载的文章题目及要转载的公众号ID以获取授权!
联系我们:
联系人:暖暖
电话:010-88379909
E-mail:jme@cmes.org
网 址:http://www.cjmenet.com.cn
官方微信号:jmewechat