【论文荐读】基于图像增强和改进Faster R-CNN的故障卫星部件检测方法

文摘   科技   2023-05-12 14:51   江苏  


标题:Detection Method Based on Image Enhancement and an Improved Faster R-CNN for Failed Satellite Components

期刊:IEEE Transactions on Instrumentation and Measurement, 2023, 72: 1-13

.

作者:Yi Cao, Xianhong Cheng, Jinzhen Mu, Danruo Li and Fei Han

单位:Southeast University, Shanghai Aerospace Control Technology Institute

1、主要解决问题:
卫星在太空中航行,由于受各种因素影响,如自然冲击、意外情况和燃料耗尽等因素,导致卫星出现缺陷解体、威胁空间安全和资源浪费,因此,故障卫星的在轨服务是必要的。通过对识别卫星的全局组件,例如天线、对接表面,以及局部组件对接环和喷嘴等,从而检测故障卫星问题所在。由于捕获缺陷卫星的距离较远,获得的图像中小组件较多,一定程度上降低了目标检测的准确性。另外,在太空较为恶劣的环境中,由于故障卫星表面的光照实时变化,相机获得的图像出现低照度,小组件更加难以识别。

2、研究方法:
针对低照度下小组件检测问题,本文提出了一种基于低照度图像的图像增强方法。基于Retinex理论,主成分分析(PCA)和加权引导滤波器(WGF)来提高对比度,同时保留图像中细节。提出了一种基于小组件检测的改进Faster R-CNN。首先,提出了一种将跳跃连接、高分辨率特征金字塔网络(HRFPN)、卷积块注意力模块(CBAMs)与高分辨率神经网络(HRNet)相结合的新型特征提取网络。其次,采用感兴趣区域(RoI)对齐和联合交集(IoU)平衡采样来取代原始的RoI池化和随机采样,如图1所示。

图1 改进的Faster R-CNN

首先,基于Retinex理论,计算图像照度,将RGB转换为色调、饱和度和HSV空间,采用WGF方法提取图像照度;获得照度后,使用Fechner原理来增强全局照度,并使用S型双曲正切函数来增强局部照度;全局和局部图像增强后,使用PCA方法对它们进行融合。然后,将对比度受限自适应直方图均衡(CLAHE)应用于该亮度通道,以提高图像的整体对比度。最后,将增强后的图像从HSV空间转换到原始RGB空间,得到最终的输出,如图2所示。

图2 图像增强过程

在改进的Faster R-CNN中,HRNet由四级并行连接的子网络组成。当前子网的分辨率是前一阶段的1/2。网络使用高分辨率子网作为第一阶段,通过添加低分辨率子网形成更多阶段。并行连接结构中每个阶段的特征图需要通过上采样和下采样操作重复交换信息,最终以上采样的形式实现多尺度融合。CBAM由空间注意力模块和通道注意力模块组成,集成到HRNet中,进一步提高HRNet小目标的识别能力。与原始Faster R-CNN中的FPN不同,它只在一个方向上合并多尺度特征,HRFPN可以获得更高质量的特征,具体结构如图3所示。

图3 M-HRNet的总体结构

在低照度图像增强实验中,选择的低照度图像数量为175,通过与多尺度视网膜色素颜色恢复(MSCR)、暗通道先验(DCP)和微光图像增强(LIME)算法进行比较,以结构相似性指数(SSIM)和熵作为评价指标,结果如表1所示,本文的方法在SSIM值和熵值上都有较为明显的提高。

表1 175张图像所有评估标准的平均得分

在改进的Faster R-CNN实验中,从200张验证集图像中随机选择160张图像,在每个回合进行测试。实验的评价指标采用MS COCO数据集的评价标准,实验结果表明,我们的四种优化策略可以有效地提高检测精度。M-HRNet对性能改进贡献最大。与最初更快的R-CNN相比,mAP和mAPs分别提高了6.1%和9.6%。原因是M-HRNet可以获得高分辨率和多尺度的特征表达,丰富了小目标的语义信息。其次图像增强、mAP和mAPs分别提高了1.8%和1.2%,原因是图像增强可以解决低照度导致的目标识别困难的问题,如表2所示。

表2 不同改进策略的总结结果

3、结论:

在真实的空间环境中,针对故障卫星近距离捕获或维护任务中小目标和低照度的检测问题,提出了一种低照度下故障卫星部件的检测方法,该方法结合了图像增强和改进的Faster R-CNN。在我们建立的数据集上,所提出的模型实现了mAP为98.6%,mAPs为75.9%,召回率为97.2%。与原始Faster R-CNN和其他方法相比,所提出的方法在mAP和mAPs方面分别有24.1%和26.0%的平均改进。多组实验表明,我们提出的改进策略是有效的,并且我们提出的检测方法与图像增强和改进的Faster R-CNN相结合,对低照度下的小组件具有良好的检测效果。然而,太空中失败的卫星也会出现曝光的成像现象。解决高曝光下的元件检测是我们下一步研究的重点。




智能自主无人系统课题组
智能自主无人系统(IAUS)课题组坚持“面向国家重大科技需求,引领行业技术进步”的思路,专注于人工智能技术在自主无人系统、机器人、智能工程装备领域的基础和应用研究,分享和发布最新科研动态及研究成果。
 最新文章