标题：An image segmentation method of pulverized coal for particle size analysis
单位：Affiliated Hospital of China University of Mining and Technology；School of Information and Control Engineering, China University of Mining and Technology；School of Chemical Engineering & Technology，China University of Mining and Technology；Advanced Analysis and Computation Center, China University of Mining and Technology
1、研究背景：
传统图像分割方法如边缘检测、阈值分割、分水岭等方法仍存在分割过度和分割不足的问题。应用矿石图像分割的深度学习网络存在粘连颗粒无法直接分割，分割达不到理想的精度。
1、本文在提出的网络中引入空洞卷积提取煤粉粒径的图像特征，减少了小粒径颗粒团聚造成的分割缺失。
2、本文结合焦点损失和Dice系数提出了一种新的掩模损失函数，避免了边缘效应造成的误分割。
3、研究方法：
图1 本文网络结构图
本文使用改进的Mask-RCNN对SEM图像中的粘连颗粒进行分割，如上图1所示，首先，构建融合残差网络(ResNet)的特征金字塔网络(FPN)作为骨干网络。其次，利用区域建议网络(RPN)生成感兴趣区域(RoI)建议，采用FPN金字塔提取煤粉特征图。最后，利用由目标检测分支和掩模分支组成的头部网络对煤粉颗粒进行识别和分割。
图3 ResNet中引入空洞卷积结构图
ResNet层的池化和卷积步进操作降低了特征分辨率，导致图像的空间细节丢失，不利于图像分割。在本研究中，对ResNet引入空洞卷积，如上图2所示，提取煤粉图像中多尺寸颗粒的密集语义信息，同时减少图像空间信息的损失。该方法在不增加网络参数的同时，可以在保持特征分辨率的同时扩大感受野。
在骨干网络提取密集语义特征图后，使用如图4所示的RPN在输入图像上生成ROI区域。ROI的网络损失函数如下：
头部网络的功能是对图像中的粒子进行定位和分割，在目标检测分支中，每个7x7特征图连接两个级联的全连接层，然后连接两个并行的全连接层。其中一个并行层用于对预测框中的目标进行分类。另一个并行层是根据GT框对预测框进行进一步的坐标校正，输出4个坐标偏移量，用于N个对象类的RoI的框回归。在掩码分支中，每个14x14特征图被输入到一个微小的全卷积网络中，其中包括堆叠的卷积层和一个反卷积层。FCN通过对图像中所有像素实现语义分割，然后通过像素分类定位分割后的目标区域。
由于扫描电镜的边缘效应引起的边缘亮度导致粉末的分割不准确。从下图5可以看出，由于SEM的边缘效应，颗粒的左上边缘区域呈现出更高的亮度。
在本研究中，将焦点损失与Dice系数损失相结合，得到一个新的损失函数，添加到掩码分支中解决颗粒错误的分割问题，如下：
论文的实验部分，本文将提出的网络模型与传统的分水岭算法以及深度学习网络Mask-RCNN、DLF、FCIS在本文自制煤粉数据集上进行比较，评价指标采用Precision、Recall、AP。
图6 带有类、GT掩码和GT框的注释标签
粘连颗粒的分割是图像分割领域中的一个难题。如图7(a)和图7(b)所示，大部分煤颗粒都是粘着的。显然，传统的分水岭方法用于粘连颗粒分割会产生严重的错误分割，甚至出现颗粒遗漏，如图7(c)和(d)所示。从图7(e)和(f)可以看出本文的方法比其他方法的分割效果更好，特别是对于粘连颗粒。
本文补充了基于ResNet-50的消融实验，以分析本文网络的有效性。如表2所示，本文首先比较了添加ASPP和不同扩张率空洞卷积的效果，发现增加ASPP和更大的扩张率空洞卷积往往更准确，因为提供的多尺度信息更丰富，接受野更大。在其他参数相同的情况下，本文比较了不同掩模损失对网络分割的影响。
为了证明我们的方法在Mask-RCNN上的改进体现的优越性，如图9所示，Mask-RCNN分割的粒子轮廓不完整。如表3所示，本文方法无论是从正确分割粒子的数量还是召回率都优于Mask-RCNN。
在煤炭加工行业中，对煤粉粒度的分析是非常重要的，确定粒度分布的经典方法是机械筛分，但其人工劳动强度高，且粒度分布取决于筛的数量。本文根据图像分割结果对其粒度和分布进行分析。
煤粉颗粒的粒度特征包括数量、大小、形状、投影面积、周长、等效圆直径和最小限界矩形的长度和宽度表示，如图10所示。
从图11可以看出，煤粉粒度比较集中，说明煤颗粒破碎效果较好。粒子的圆度集中在0.75-0.90范围内，大多数粒子的投影形状接近圆形。
通过对图像分割和人工筛选得到的数据进行函数拟合，可以发现累积质量分数与粒径之间存在良好的曲线关系。如图12所示，我们的曲线符合真实曲线，非常接近真实曲线，本文提出的分割方法能够有效、准确地分割出大部分的粒子。
图12 机械筛分与图像分割煤粉颗粒粒径分布
4、结论：
本文提出了一种基于Mask-RCNN的煤粉图像分割方法。与传统分水岭算法相比，该方法在AP、AP50和AP75上的准确率分别为72.40%、94.43%和91.44%。考虑到SEM图像的粒子边缘效应，本文在网络中引入了空洞卷积和新损失函数，并通过与Mask - RCNN和其他深度学习的方法对比验证了本文网络分割的有效性。本文根据分割结果选择合适的参数对颗粒的形状和粒度特征进行表征和分析。
