【全文】基于PADC-PCNN与平稳小波变换多焦距绿色植株图像融合算法

引用格式：

李嘉豪, 瞿宏俊, 高名喆, 仝德之, 郭亚. 基于PADC-PCNN与平稳小波变换多焦距绿色植株图像融合算法[J]. 智慧农业(中英文), 2023, 5(3): 121-131.

Citation:LI Jiahao, QU Hongjun, GAO Mingzhe, TONG Dezhi, GUO Ya. A multi-focal green plant image fusion method based on stationary wavelet transform and parameter-adaptation dual channel pulse-coupled neural network[J]. Smart Agriculture, 2023, 5(3): 121-131.

李嘉豪¹， 瞿宏俊¹， 高名喆²， 仝德之³， 郭亚^1，2，3*

（1.江南大学 物联网工程学院“轻工过程先进控制”教育部重点实验室，江苏无锡 214122，中国；2.江南大学物后勤管理处环境中心，江苏无锡 214122，中国；3.绿视芯科技（无锡）有限公司，江苏无锡 214000，中国）

摘要：

［目的/意义］构建绿色植株三维点云模型需大量清晰图像，受镜头景深限制，在采集大纵深植株图像时图像会部分失焦，导致出现边缘模糊、纹理细节丢失等问题，现有的处理算法难以兼顾处理质量和处理速度。本研究目的是提出一种新型算法，提高融合图像质量问题的同时兼顾处理速度。

［方法］提出了一种基于非下采样剪切波变换（Non-Subsampled Shearlet Transform，NSST）的参数自适应双通道脉冲耦合神经网络（Parameter Adaptation Dual Channel Pulse Coupled Neural Network，PADC-PCNN）与平稳小波变换（Stationary Wavelet Transform， SWT）的植株图像融合方法。首先对植株的RGB图像进行通道分离，针对含纹理细节等特征较多的G通道进行NSST分解，低频子带使用梯度能量融合规则，高频子带使用PADC-PCNN融合规则；对轮廓信息和背景信息多的R、B通道，采用速度快且具备平移不变性的平稳小波变换，用以抑制伪Gibbs效应。自建了480幅图像共8组数据，以光照环境、距离和植株颜色为变量，同时采集不同焦距图像验证算法性能。

［结果和讨论］基于PADC-PCNN-SWT算法与常用的快速导向滤波算法（Fast Guided Filter，FGF）、随机游走算法（Random Walk，RW）、非下采样剪切波变换的脉冲耦合神经网络算法（Nonsubsampled Shearlet Transform based Pulse-Coupled Neural Network，NSST-PCNN）、平稳小波变换算法（Stationary Wavelet Transform，SWT）和非下采样剪切波变换的参数自适应双通道脉冲耦合神经网络（Nonsubsampled Shearlet Transform based Parameter-Adaptive Dual-Channel Pulse-Coupled Neural Network，NSST-PADC）等五种算法相比，在清晰度上比前四种算法分别提高了5.6%、8.1%、6.1%和17.6%，在空间频率上比前四种算法分别提高了2.9%、4.8%、7.1%和15.9%，而相较于融合效果最好的NSST-PADC算法在处理速度方面平均提升200.0%，同时调焦范围约6 mm。

［结论］本研究提出的基于PADC-PCNN-SWT多焦距图像融合算法实现了在保障融合质量的同时，提高了融合图像的效率，为搭建绿色植株三维点云模型提供高质量数据的同时节省了时间。

关键词： 多焦距；图像融合；平稳小波变换；参数自适应；脉冲耦合；神经网络

绿色植株三维点云重建是虚拟现实技术在农业中的应用，通过植株三维点云研究作物形态结构和生长过程对于优选育种，长势监测和状态评估等具有重要意义。常用的三维数据重建方法有运动恢复结构与多视角立体视觉，都需要采集大量精确、不失真的植株图像数据。受镜头景深限制，在采集大纵深的绿色植株图像时，易出现图像部分失焦、边缘模糊等问题，全清晰绿色植株图像难以获得，极大地影响了三维点云模型的精度。为解决这一难题，已有学者采用多焦距图像融合的方法获得相对更清晰的图像，其主要可分为空间域融合和变换域融合。空间域融合方法是直接在原始图像上选取像素点构造融合图像，但这样会导致多通道图像上产生伪影和色差，从而降低图像融合质量；虽然变换域算法不存在上述问题，如小波变换能够在去除伪影噪声的同时保留图像边缘细节信息，具有良好的时频特性和平移不变性，但受限于只能提取有限方向的信息，单一小波变换算法融合效果仍不理想。因此，在小波变换的基础上发展出了曲线波变换、轮廓波变换、剪切波变换等，这些变换很好地解决了分解方向受限问题，同时保留了其平移不变性。目前，应用最广的是非下采样剪切波变换（Non-Subsampled Shearlet Transform，NSST），该方法速度快，其融合规则通常依据图像局部特征信息进行设计，而这些局部特征信息关注的影像特征单一，无法有效兼顾影像整体结构信息的保持和细节信息的提取。为解决该问题，有学者提出了NSST变换结合脉冲耦合神经网络的算法，由于该算法的脉冲同步、全局耦合的特性，能很好地解决NSST无法同时兼顾结构信息和细节信息的问题，在图像融合领域占重要地位。

本研究以NSST变换和平稳小波变换相结合为基础，其中NSST变换在其低频段采用图像梯度能量的融合规则，高频段采用参数自适应双通道PCNN的融合规则，多尺度重构后得到融合图像。平稳小波变换采用能量梯度函数作为焦点度量指标，分解得到低高频子带。基于PADC-PCNN（Parameter Adaptation Dual Channel Pulse Coupled Neural Network）与平稳小波算法很好地弥补了NSST变换和平稳小波变换两种算法的缺陷，精度相较于平稳小波变换更高，处理速度比基于NSST域的PCNN算法更快。

2.1.1　NSST模型　

NSST变换第一步采用非下采样金字塔（Non-Subsampled Pyramid，NSP）算法对源图像第一次分解，得到源图像的高频子带系数和低频子带系数。然后对低频子带再次分解，如此反复分解K次。第二步对每层的高频子带部分进行多层的剪切波方向局部化分解，最终得到1个低频子带和∑^K_i=12ⁱ 个高频子带。NSST变换过程如图1所示。 

图1　NSST变换示意图

Fig. 1  Schematic diagram of the NSST transformation

2.1.2　PCNN模型　

PCNN的每一个神经元都由接收域、耦合调制域和脉冲发送器三部分组成，相邻的神经元可以进行叠加能量传输，正是由于神经元群集传导，使其有着同步脉冲发射的能力，其数学表达如公式（1）~（5）所示。

其中，n代表迭代次数；i、j代表（i，j）处神经元S_ij (n)、F_ij (n)、L_ij (n)、U_ij (n)、Y_ij (n)、θ_ij (n)分别为第n次迭代中的第i行、第j列个神经元的外部输入、反馈输入、连接输入、耦合内部活动项、耦合s输出和阈值函数；α_u 、α_θ设置的时间常数；C_L 、C_θ是归一化常数；W_L是3×3的加权融合算子。最终PCNN的数学模型如图2所示。 

图2　参数自适应双通道PCNN模型

Fig. 2  Parameter adaptation dual channel Pulse Coupled Neural Network （PCNN） model

2.1.3　平稳小波变换模型　

平稳小波变换是多尺度冗余小波变换中的一种，具有多分辨率特性和平移不变性，其相较于非下采样剪切波变换牺牲了图像细节提取能力，但在图像重建过程中能有效减少噪声干扰，可以应用于细节信息较少轮廓信息较多的图像通道融合，根据文献［21］，其分解公式和能量梯度函数如公式（6）~（10）所示。

其中，h^j(n)和g^j(n)代表二维平稳小波分解的低通和高通滤波器；原始图像经分解后得到2^j尺度下的水平、垂直和对角方向的高频细节信息为H^j(m,n)、V^j(m,n)、D^j(m,n)，低频分量为A^j (m,n)，F代表的是能量梯度函数。

2.2　改进多焦距图像融合算法　

针对绿色植株在G通道中纹理细节分布较多，而R和B通道轮廓信息较多的特点，将两种算法并行处理，并在PCNN高频融合规则中加入注意力机制和多源图像双通道并行方法。注意力机制是针对高频子带中包含大量细节和结构信息进行设计，依据文献［14］选择采用八邻域修正拉普拉斯算子的加权作为PCNN高频融合的链接强度，该算子对细节和边缘信息敏感，当处理到细节纹理特征时，链接强度会随之提升，其链接强度和修正拉普拉斯算子如公式（11）~（12）所示。

其中，I(i,j)代表图像在(i,j)处的像素值；W代表（2r+1）×（2r+1）的加权矩阵，参考公式（11），当r =1时，EML(i,j)即代表3×3的加权融合矩阵即图像在(i,j)处的修正拉普拉斯算子。

配合两种算法并行处理能在保证图像融合效果的同时，增强各像素点关联性，缩短运算时间，具体流程如图3所示。 

图3　基于PADC-PCNN和平稳小波的融合算法

Fig. 3  Fusion algorithm based on PADC-PCNN-SWT 

首先对两幅源图像含纹理细节信息较多的G通道采用NSST分解，依据文献［21］选择了融合效果最好的4解层16个方向的NSST分解结构。两幅图像一共有1组低频子带，64组高频子带，低频子带组使用图像梯度能量方法进行融合，高频子带组使用PCNN自适应调节参数进行融合，最后通过NSST重构得到G通道融合图像。而对轮廓信息和背景信息较多的R和B通道，采用速度更快且同样具备平移不变性的平稳小波变换，用以抑制伪Gibbs效应，使用多尺度系数方法得到融合矩阵，经过平稳小波逆变换还原R和B通道融合图像，三色通道重组得到最终的RGB融合图像。

2.3　多焦距图像采集系统　

为了采集不同焦距下的高清绿色植株图像，设计了一套植株三维表型采集系统。该系统通过多组电机和传感器对盆栽植株进行全方位图像采集，能在保证植株静止的情况下，采集到不同距离、角度、高度和光源环境下的植株多焦距图像，相比于人工扫描采集数据，使用该系统能更稳定更精确地获得数据，有效避免因人工采集导致的植株图像偏移等问题。

2.3.1　系统设计　

系统主要由HIK相机、步进电机、超声波电机、温度传感器、限位传感器和多电源电路等组成。其中相机型号是MV-CA016-10UC，160万像素，CMOS传感器型号是IMX273；镜头型号是MVL-MF2518M-5MPE变焦镜头，焦距调节范围25 mm，F数为F1.8~F16。植株放置旋转底座上，可利用步进电机控制其旋转角度和进退距离，相机固定在滑轨上以便于步进电机控制其垂直高度和相机拍摄仰俯角度。上位机通过电机反馈获得植物的位置信息，控制超声波电机旋转镜头调整焦距，再旋转底座依次采集植株全方位的多焦距图像，再进行图像融合从而得到全方位全清晰的植株图像，植物图像采集系统三维示意图和实物图如图4所示。

图4　植株三维表型采集系统实物图

Fig. 4  Three dimensional schematic and physical drawings of the plant phenotype acquisition system

2.3.2　图像采集　

为了精确采集到前端和后端对焦的图像，使用查找表的方式映射植株距离和超声波电机旋转角度之间的关系。每次拍摄之前通过电机反馈数据获得位置信息，通过查找表控制超声波电机调整至对焦角度附近，拍摄两幅前后景对焦图像。

为验证在不同环境和视角下的性能，通过植株三维表型采集系统采集图像构建数据集。首先，设置了植株全景、近景和俯视3个视角，每个视角下采集完当前植株正面图像后，由底盘电机带动植株旋转36°再次采集，直至采集完植株360°图像为止，再调整视角进行下一组视角下图像采集。同时设置了自然光、室内光和人工打光3种光照环境，对于自然光下的图像采集，以光强1900~2100 lux的室外阳光提供光照，并关闭其他非室外阳光的发光源；室内光下的图像采集，以光强50~150 lux的LED灯管提供光照；对于人工打光下的光照环境设置，仅以光强400~600 lux的LED补光灯提供光照。在不同光源下采集完当前植株正面图像后，旋转底座再进行采集直至采集完10个方向图像。本研究数据集由8组常见的盆栽植物图像数据组成。对于前3组数据，为研究不同光强下多焦距绿色植株图像融合性能，采用叶片偏大，在不同光源环境下纹理细节明显的绿色植株绿萝和巢蕨。中间3组，为研究不同视角下多焦距图像融合性能和对伪Gibbs抑制效果，全景组和近景组选择叶片较细尖端较多的吊兰，俯视组则选择体积较小且纵深合适的马拉巴栗。后2组为研究非绿色植株的多焦距图像融合效果，选择包含红色花朵的一品红和包含黄色叶片的变叶木，同时选用背景为蓝色，并避免采集到设备影响色彩实验结果。前3组采集3种光照下10个方向的前后端对焦图像，中间3组采集3种视角下10个方向的前后端对焦图像，最后2组采集两株非绿色植株的前后端对焦图像，最终整个数据集包含480幅植株前后端对焦图像。

通过使用常用的平稳小波变换算法（Stationary Wavelet Transform，SWT），快速导向滤波算法（Fast Guided Filter，FGF），随机游走算法（Random Walk，RW），NSST-PCNN算法，NSST-PADC算法和PADC-PCNN-SWT算法对采集到的480幅多焦距植株图像进行融合处理，再进行主客观评价分析比较算法性能。其中非下采样剪切波变换算法设置层数都是4层分解层16个方向子带。计算环境为：MATLAB R2021a，64 位Windows 10 操作系统，8 GB 内存，i5-7300HQ 2.50GHz CPU。

3.1　主观评估　

使用上文的植株表型采集系统拍摄多焦距图像，如图5所示。图5（a）是前端图像失焦，植株叶面模糊，图5（b）是后端图像失焦，植株纹理细节丢失。除此之外，两幅图像在各处均因镜头景深限制，存在不同程度的失焦问题。

图5　多焦距植株源图像

Fig. 5  Multifocal plant source images

通过PADC-PCNN-SWT算法将两幅图像进行融合，结果如图6所示，原本图5两处失焦部分均还原为对焦状态，其叶片轮廓清晰，叶面纹理特征明显，相比于其他非NSST融合算法，PADC-PCNN-SWT算法的融合图像基本不存在伪Gibbs现象。整体图像清晰度、色彩还原度和纹理特征留存度均较好。 

图6　基于PADC-PCNN-SWT算法绿色植株融合图像

Fig. 6  Fusion images of green plant based on PADC-PCNN-SWT method

3.2　客观评估　

采用常用的四个客观指标来对算法图像融合效果进行评估，其中包括清晰度（Average Gradient，AG）、空间频率（Spatial Frequency，SF）、信息熵（Entropy，EN）和标准差（Standard Deviation，SD）。

AG能敏感地反映图像对微小细节反差的表达能力，同时也能反映出图像的纹理特征多少，按照公式（13）计算。

其中，M，N为图像的长宽；∇F_x² (i,j)为该像素点在x轴上差值的平方；∇F_y² (i,j)为该像素点在y轴上差值的平方；AG值越大图像细节越多，清晰度越高，是衡量融合图像质量最重要的指标。

SF是基于图像统计特征的评价指标，表示图像在空间域中的变化率，反映的是空间域内图像的整体活跃度，按照公式（14）计算。

其中，RF和CF分别是图像的行频率和列频率。

EN是基于图像信息量的评估参数，用于评价图像包含信息的多少，如公式（15）所示：

其中，i表示图像灰度值；L表示图像灰度值最大值；P_F(i)表示第F幅图像中灰度值为i出现的概率。

SD是度量图像中信息丰富度的指标，表示图像的灰度值分布密度，用于衡量图像细节的丰富度，如公式（16）所示。

其中，M和N是图像的长和宽；F(i,j)代表图像第i行、第j列像素点；F ̅表示该图像像素的平均值。

NSST-PADC、FGF、NSST-PCNN、RW、SWT和PADC-PCNN-SWT算法下的部分融合图像如图7所示。考虑到融合图像数据量较大，所以采用不同组的融合图像评价指标取平均的方法替代逐个评价融合图像的方法。 

图7　六种算法的多焦距融合图像

Fig. 7  Multifocal length fusion images obtained through the six algorithms

将NSST-PADC、FGF、NSST-PCNN、RW、SWT和PADC-PCNN-SWT算法下的叶子部分融合图像局部放大如图8所示。其中PADC-PCNN-SWT算法得到的融合图像纹理相较于FGF、NSST-PCNN、RW和SWT算法的融合图像细节更加明显，且边缘更加清晰，人眼呈现效果更好。

图8　六种算法的局部融合图

Fig. 8  Local fusion images from the six algorithms

同时为研究PADC-PCNN-SWT算法失焦调节的有效范围，设计了如下实验：以室内光组为例，图像较为清晰时，焦距为18 mm，步进为1.5 mm前后各调节4次，再利用PADC-PCNN-SWT算法进行图像融合，并使用四种评价指标进行评价分析，具体如表1所示，融合图像如图9所示。

表1 六种算法下融合图像的四评价指标

Table 1  Four sets of evaluation indicators for the fused images from the six algorithms

由表1可看出，AG和SF在同组内数值变化较大，主要是由于六种算法在细节部分的融合效果不同导致。由公式（12）和（13）可知，AG和SF的值与图像的像素变化率相关，即对高频部分的细节纹理较为敏感，其值越大表示该算法融合细节效果越好。由公式（14）可知，EN与图像的颜色通道的灰度值分布概率相关，用于反映融合图像色彩还原程度。EN在同组内数值基本不变，表示六种算法在图像融合的色彩还原度上相差不大，同时前6组基本稳定在6.5附近，而第七组和第八组在7.7附近，这是由于前6组颜色组成相似，而后2组与前6组颜色组成不同，导致图像的颜色通道灰度值分布不同引起EN数值上差异。由公式（15）可知，SD主要与灰度值分布密度有关，对低频部分的轮廓较为敏感，用于评价算法对图像轮廓的融合效果。SD数值在同组内基本相差不大，表示六种算法对低频部分的轮廓信息融合效果相差不大。而不同组之间相差较大，主要是由于不同植株的轮廓大小不同导致，如第一组室内光组，其植株整体轮廓较大，图像灰度值密度较散，导致其SD数值在8组中最大，而第三组强光组，其植株整体轮廓较小，图像灰度值密度较为集中，导致其SD数值在八组中最小。

图9　不同焦距下的融合图像

Fig. 9  Fusion images at different focal lengths

经计算，PADC-PCNN-SWT算法在清晰度AG这一评价指标上平均相较于前6组的FGF、RW、NSST-PCNN和SWT分别提高了5.6%、8.1%、6.1%和17.6%，同时在空间频率SF指标上分别提高了2.9%、4.8%、7.1%和15.9%，但相较于NSST-PADC算法分别低了7.2%和7.0%，同时EN和SD指标上6种算法之间差距不到1.0%。EN和SD指标上6种算法之间差距不到1.0%。色彩组只对非绿色植株的非绿色融合部分进行指标评价，其结果如表1所示，红色组和黄色组在AG这一指标下相较于其算法下降了1.1%，在SF这一指标下下降了5.1%，对非绿色植株的融合效果下降严重，故PADC-PCNN-SWT算法仅适用于绿色植株。

由表2可知，NSST-PADC算法平均耗时1500 s，而本研究算法PADC-DCNN-SWT仅需其1/3的耗时，在保证融合图像质量的同时极大地提升了处理效率。

表2 六种算法下融合图像的平均耗时

Table 2  Average time consumed for the fused images from the six algorithms

由表3可知，EN和SD值在不同焦距下仍然差距较小，即在失焦严重的情况下，基于PADC-PCNN和平稳小波算法仍有较好的轮廓和色彩还原效果。但是AG和SF差距就很明显，只有焦距在15~21 mm的指标较好，即PADC-PCNN-SWT算法在图像较为清晰下，焦距调节适用范围在6 mm左右。

表3 不同焦距下的四个评价指标

Table 3  Four evaluation indicators at different focal lengths

针对现有绿色植株图像融合算法难以兼顾处理质量和处理速度的问题，本研究提出了PADC-PCNN-SWT变换的多焦距绿色植株图像融合方法。并构建了480幅图像的数据集，同常见的5融合算法进行比较。通过对比发现，PADC-PCNN-SWT算法在AG和SF两指标上表现优异，同时各算法在EN和SD值上相近，这意味着PADC-PCNN-SWT算法在拥有与其他算法相近的轮廓融合效果和色彩还原效果的同时有着更强的细节融合效果。在处理速度方面，相较于融合质量最优的NSST-PADC算法提高了200.0%，与NSST-PCNN和SWT算法相近。为研究色彩对PADC-PCNN-SWT算法影响，对一品红和变叶木2组色彩组进行分析，结果表明基于PADC-PCNN和平稳小波算法对非绿色植株的非绿色部分融合质量下降严重，对绿色部分的融合效果基本与前文一致，故PADC-PCNN-SWT算法只针对绿色植株有较好的效果。同时为研究PADC-PCNN-SWT算法的调节焦距有效范围，采集了各个焦距下的植株图像分别进行融合。结果表明，调节焦距在6 mm左右，PADC-PCNN-SWT算法仍有较好的细节融合效果。综上，本研究提出的方法能有效兼顾绿色植株图像融合的质量和速度，并在细节融合方面表现更强的性能，能为搭建植株三维点云模型提供高质量数据的同时节省大量时间。未来研究将继续丰富非绿色植株数据，并进一步改进算法模型，实现混色植株的多焦距图像融合。

利益冲突声明：本研究不存在研究者以及与公开研究成果有关的利益冲突。