✓
引用格式：
刘伊, 张彦军. ReluformerN:轻量化高低频增强高光谱农业地物分类方法[J]. 智慧农业(中英文), 2024, 6(5): 74-87.
Citation:LIU Yi, ZHANG Yanjun. ReluformerN: Lightweight High-Low Frequency Enhanced for Hyperspectral Agricultural Lancover Classification[J]. Smart Agriculture, 2024, 6(5): 74-87.
官网全文在线阅读
知网阅读
刘伊1，2*， 张彦军2
（1.太原工业学院 自动化系，山西太原 030008，中国；2.中北大学 仪器与电子学院，山西太原 030001，中国）
摘要：
［目的/意义］为了智能监测农业地物种类分布情况，一般采用无人机搭载高光谱相机进行高光谱数据采集，之后对高光谱数据分类，实现农作物分布图自动绘制。但不同农作物外形相似，同一农作物不同生长期差别较大，所以对农业地物分类的网络模型要求较高。分类精度较高的网络模型往往复杂程度较高，无法部署在硬件系统中。针对以上问题，本研究提出一种轻量化高低频增强的ReluformerN网络（Reluformer Network）实现农业地物分类。
［方法］首先提出自适应八倍频卷积，不仅可以对高光谱图像的空间和光谱频域特征进行提取，同时缓解了内部人工参数设置带来的影响。其次针对低频信息可以捕获全局特征的特点，提出Reluformer进行全局特征提取，Reluformer相比transformer具有线性计算复杂度，有利于网络轻量化的同时保持了提取全局特征的能力。将该网络在三个公开的有关农作物品种精细分类的高光谱数据集上进行实验，并与较为流行的五种分类网络进行对比。
［结果和讨论］ReluformerN在整体精度（Overall Accuracy, OA）、平均精度（Average Accuracy, AA）等精度评价指标中表现较好。在模型参数量（Parameters）、模型计算量（FLOPs）模型复杂度评价指标中，ReluformerN参数量最小，计算量最低。
［结论］本研究提出的ReluformerN网络在农作物品种分类精度和模型复杂度之间达到了较好的平衡，有望后续部署在资源有限的硬件系统中，实现地物实时分类功能。
关键词： 高光谱图像；农业地物分类；轻量化网络；线性transformer；深度学习
0
引 言
为了监测农业耕地利用率和农作物分布情况，需要定时绘制农作物分布图。过去农作物分布绘制需要大量人力进行走访丈量，同时由于不同农作物初期生长状况相似，同一物种不同生长时期差别较大，需要具有较高水平的专业人员进行农业物种辨别。利用机载无人机可以对某一耕地区域进行拍摄，由于高光谱图像包含了丰富的空间和光谱信息，相比于二维图像数据，高光谱数据可以看成具有光谱信息的三维图像。增加的光谱信息可以更精确地对众多农作物品种进行分类，且无需大量专业人员进行操作，实现农作物地物分布图的自动绘制和农业布局监测。最初高光谱农业地物图像分类采用支持向量机（Support Vector Machine, SVM）、随机森林（Random Forest, RF）、轮廓特征等传统方法。这些方法的缺点是只能提取浅层特征，需要人工参数设置，泛化能力弱。随着深度学习方法的提出，目前利用深度学习进行高光谱图像分类成为了主流方法。
利用深度学习对高光谱图像进行农业地物分类，大体可以分为三个基本框架：以编码-解码网络结构为基本框架、以深度置信网络为基本框架，以及以卷积神经网络为基本框架。最初卷积神经网络出现了大量经典网络，大部分是将空间和光谱信息联合进行高光谱分类，如采用2维卷积神经网络（2-Dimensional Convolutional Neural Networks Convolutional Neural Network, 2D CNN）和3D CNN对空间和光谱信息直接提取。但3D CNN计算消耗过大，硬件要求较高。之后提出了采用2D CNN和3D CNN结合的HybirdSN网络，但该网络只能提取浅层特征，分类精度不理想。为了进一步对深层特征提取，提出了多尺度特征融合方法。为了增强网络特征提取能力，后续将注意力机制加入到卷积网络，改变网络结构，如设计胶囊网络和金字塔网络结构。但是为了提取深层特征，设计的网络层数逐渐增加，因此产生了梯度消失问题。为了克服梯度消失，残差网络和优化残差网络的方法相继提出。
以CNN为基本框架的网络容易忽略全局特征。随着transformer的提出，近几年，以transformer为主的编码-解码为主要框架的网络相继提出。但是由于transformer主要进行全局特征提取，忽略了局部特征。大部分网络设计将CNN与transformer结合，对特征进行局部到全局的提取。如利用卷积对特征进行多尺度局部特征提取并与transformer结合。考虑到对高光谱农业地物分类后，不同种类边缘不平滑，分类精度较差等问题，采用形态学为引导与transformer相结合。但是由于transformer二次型计算复杂度的问题，使得以transformer为核心的网络要求较高的硬件设备，所以针对transformer二次型计算复杂程度的问题对transformer进行线性化处理。但是线性化的transformer分类精度往往低于transformer。
针对网络复杂度与分类精度之间不平衡问题，本研究提出一种轻量化的高低频增强Reluformer网络，与以往对图像时域研究不同，针对图像的频域进行研究。首先提出自适应八倍频卷积对图像高低频分解；其次对transformer进行线性化，提出Reluformer结构，使其在进行全局特征提取的同时达到线性复杂度计算。设计的网络对transformer线性化的同时提高了其分类性能，有利于后续部署在资源有限的硬件系统中，为农业分布情况智能监测提供帮助。
1
ReluformerN架构
提出的轻量化高低频增强的ReluformerN结构如图1所示。该网络总体包含四个模块。第一个模块为高光谱数据预处理。由于高光谱图像光谱信息丰富，过多的光谱信息会造成信息冗余。所以采用主成分分析（Principal Component Analysis, PCA）方法对光谱信息进行选取。第二个模块为高光谱数据的高低频分量分解。第三个模块为高低频特征提取，该模块由两条分支构成，一条分支采用Reluformer进行全局特征提取，另一条分支采用轻量化卷积进行空间光谱细粒度特征提取。第四个模块为多层感知机（Multi-Layer Percepron, MLP），对图像进行分类。
图1 以自适应八倍频卷积为核心的高低频增强ReluformerN结构图
Fig.1 High-low frequency enhancement Reluformer network structure taking adaptive ocatave convolution as the core
1.1 自适应八倍频卷积
高低频特征分解主要利用自适应八倍频卷积进行特征提取。高光谱数据可以表示为X∈RH×W×C，其中H、W表示为特征空间长度和宽度，C表示原始光谱维数。经过PCA分析后数据表示为X∈RH×W×B，B表示为经过PCA后选取的光谱维度。对高光谱高低频特征分解，主要采用改进八倍频卷积进行分解。
传统八倍频卷积将特征图沿着通道维度，将特征图表示为X={XH,XL }，其中高频特征表示为XH∈RH×W×(1-α)C，XL表示低频特征。考虑到空间的低频信息可能有冗余，所以将低频特征的空间大小减小为高频特征的1/2，因此低频特征表示为，α表示选取的通道数占比值，也就是代表高光谱数据里的光谱维数。光谱维数一部分分配给高频特征，另一部分分配给低频特征。而α需进行手动设置，设置范围α∈[0,1]。大部分文献中［26-28］，对α设置为0.5，认为高频特征和低频特征各占一半的通道数。但是高光谱数据中，光谱特征与空间特征同等重要，若高频特征分配较多的光谱，代表特征中高频特征占比较多。但是高低频特征占比并没有一个固定的依据，需要人工手动配置。而手动设置光谱维数，一般需要一定的先验知识。尤其针对高光谱数据，α设置对最终的分类结果影响较大，后续在重要模块验证的实验中进行了证明。
考虑到人工设置α，对高低频特征提取有影响，对八倍频卷积进行改进，减小人工设置对特征提取的影响。
设X与Y分别表示输入张量和输出张量，输出张量由高低频特征分量构成，可以表示为Y={YH,YL}。其中，YH=YH→H+YL→H，YL=YL→L+YH→L，YA→B表示特征从A到B更新，YH→H和YL→L表示频率内自我更新，YH→L和YL→H表示高低频交互更新。为了更新特征，将卷积核通道分为W={WH,WL},分别与输入张量X^H,X^L进行卷积。以空间位置(p,q)为例，高频分量包含自身高频分量更新和低频到高频的交互更新，YH→H自身高频分量采用卷积进行特征更新，YL→H从低频到高频更新采用上采样（upsample）操作，如公式（1）表示。
式中：为在空间位置(p,q)的高频特征；
为空间位置(p,q)的高频到高频特征更新，
为空间位置(p,q)低频到高频特征更新；
,
表示局部邻域范围
为采用卷积操作生成的权值，
表示输入的高低频特征。
以空间位置(p,q)为例，针对低频分量更新，低频分量包含自身低频分量和从高频到低频更新后的低频分量，YL→L自身低频分量特征更新采用卷积操作，YH→L从高频到低频分量更新采用平均池化（avgpool）操作，如公式（2）表示。
式中：为上采样后低频特征分量；
自适应八倍频卷积具体过程如图2所示。针对高频特征分量，高频特征频率内更新和低频到高频之间更新，更新后加入softamx函数。Softmax函数可以根据高频中频率内更新的特征和低频到高频之间频率间更新的特征，通过特征值大小判断其重要程度，自动赋予其权重值。通过自适应调整特征权重值，调整高频频率内和频率间特征的占比，由此减少人工设置α对高低频分量的影响。同理，低频特征分量，也加入了softamx函数，对低频分量间特征自适应调整。
注：cin为输入通道；cout为输出通道；H为特征高度；W为特征宽度；α∈[0,1]；pool为池化操作；upsample为上采样操作；XH为输入高频特征；XL为输入低频特征；YH为输出高频特征；YL为输出低频特征。
图2 自适应八倍频卷积结构
Fig. 2 Structure of adaptive octave convolution
自适应八倍频卷积内部特征更新，包括高频特征更新和低频特征更新，以高频特征更新过程为例进行说明，YH→H自身高频特征更新采用公式（3）表示，YL→H低频到高频特征采用上采样（upsample）操作如公式（4）表示。
式中：Y1H为自身高频特征更新后的输出高频特征；Y2H为低频到高频特征更新后的输出高频特征；XH→H为高频到高频更新的输入特征；XL→H为低频到高频更新的输入特征。
将Y1H和Y2H信息通过softamx函数对Y1H和Y2H进行判断，形成新的权重参数a和b，具体过程如公式（5）和公式（6）所示。
权重参数表示Y1H和Y2H特征对整个高频特征的重要程度，由此调整最终的特征输出。最终高频特征分量可以表示为权重参数与原高频分量相乘，如公式（7）所示。
1.2 Reluformer结构
图像低频信息表示全局信息，为了有效提取全局特征，同时考虑到transformer二次型计算复杂度的缺点。受cosformer启发，采用Reluformer结构进行全局特征提取。Transformer以自注意力机制为核心，首先将输入特征通过线性层分为查询向量（Query, Q），关键向量（Key, K）和数值向量（Value, V）三个值，自注意力机制主要通过Q，K相乘，并通过softmax函数获得自相关系数。自注意力机制具体数学表达式如公式（8）所示。
式中：H为生成的自注意力；dk为Q和K的维度；Q为查询向量；K为关键向量；V为数值向量。自注意力机制中的softamx函数为指数函数，是导致计算二次型复杂度的根本原因。将softmax函数与Relu函数、LeakyRelu函数，以及Gelu函数进行对比，图3为激活函数图形表示。
图3 Relu函数有效性研究将不同激活函数与softmax对比
Fig.3 The study on the effectiveness of Relu functions compares different activation functions with softmax
从图3中可以看出，softmax函数从0开始以指数趋势递增，具有非负性。为了找到具有非负性特点的函数，将softmax函数与常用的激活函数对比。激活函数中Gelu函数在x<0出现负值，不具有非负性，同时在x<0时不具有线性特点。Relu函数和LeakyRelu函数都具有线性化特点，但两个函数在x<0对比，LeakyRelu与Gelu函数相同，在x<0出现负值。若进行相关性分析，出现负值代表上下文特征具有负相关性。而负相关性的出现容易干扰全局特征的分析。
为了有效消除负值，使函数具有非负性，同时将transformer线性化，本研究采用Relu函数计算自相关系数，数学表达如公式（9）所示。
对公式（9）进行重新排列，线性自注意力机制具体表示如公式（10）所示。
Reluformer以Relu自注意力机制（Relu-attention）为核心，与transformer类似，多头Relu自注意力机制（Multi-head Reluattention）可以令Reluformer进行多尺度特征融合，结构如图4a所示。多头Relu-attention由线性层（Linear）产生Q，K，V，经过多头Relu-attention后，产生的多尺度特征经过拼接（concat）操作，进行特征融合。以Relu－attention为核心的Reluformer结构由两个层归一化（Layer Normaliation），多头Relu自注意力机制和前馈层（Feed Forward），Reluformer具体结构如图4b所示。
图4 多头Relu自注意力机制和Reluformer结构图
Fig. 4 Multi-head ReLU attention mechanism and the structure of Reluformer
传统自注意力机制复杂度为Ο(2N2d)，一般选取N2≫d，所以自注意力机制计算复杂度约为Ο(N2)，对于Relu自注意力机制Ο(2d2N)≈Ο(N)，所以线性化后的自注意力机制在达到全局特征提取的同时减少了计算复杂度。
图像高频信息表示图像细节信息，为了充分提取细粒度特征，同时考虑到轻量化的需求，采用多尺度深度可分离卷积进行细粒度特征提取。深度可分离卷积包括深度卷积和点卷积，具体结构如图5所示，采用3×3和5×5的卷积核大小的深度卷积进行空间多尺度特征提取，采用1×1点卷积进行通道融合进行光谱特征提取。
图5 高频细粒度特征提取结构图
Fig. 5 High-frequency fine-grained feature extraction structure
2
试验结果及分析
从分类精确度与分类可视化效果两个方面评估ReluformerN对农业地物分类效果。分类精度定量地表示本研究提出的网络对农业地物分类的精确度。分类可视化效果图定性地分析分类效果，主要查看分类错误点分布情况和物种分布的边缘效果。
采用巴斯克大学和武汉大学公开的高光谱数据集，包括印度西北部印第安松树数据集（Indian Pines, IP），中国武汉龙口市数据集（WHU-Hi-LongKou），以及美国加利福尼亚州北部的萨利纳斯数据集（Salinas, SA），包含了三个国家部分区域农作物分布情况。IP数据集由机载可见光近红外成像光谱传感器在六月时获取，数据的2/3为农作物，1/3为天然植物，如草地和树木。农作物物种约为16个类别。其中玉米、大豆农作物处于生长期，较难与天然植物判别，同时不同物种覆盖率较小。WHU-Hi-LongKou数据拍摄于7月，包含了水稻，阔叶大豆，窄叶大豆等中国南方种植的物种。SA数据集主要集中在对水果与蔬菜的区分，同时需要精准区分出同一物种的不同生长周期。每个数据具体种类及样本数量如表1所示。
表1 实验采用的数据种类及样本数量
Table 1 Types and sample numbers of experimental data
实验在CPU为Intel Xeon（R） Gold 6226R，GPU为NVIDIA RTX 4000的台式电脑环境下运行。采用Python语言里的Pytorch 3.9架构编写程序。实验网络具体参数设置，patch size设置为21，批处理大小（batch size）设置为64。IP数据集PCA设置为30，其余设置为20。Reluformer中深度设置为1，多头自注意力机制中的head设置为2，优化器采用Adam优化器，学习速率为0.001，epoch设置为150。
将实验数据划分为训练数据和测试数据。在IP数据集上将数据的10%作为训练数据，其余作为测试数据。其他两组数据集，将数据的5%作为训练数据，其余作为测试数据。
2.3 对比实验及分析
2.3.1 精度及复杂度对比实验
采用五组对比网络，分别采用以卷积为主要架构的2D CNN和以3D CNN与2D CNN融合的HybirdSN网络，以transformer为主要架构的ViT、多尺度卷积与transformer结合的CTN网络，以及轻量化transformer网络LSGA-VIT。采用总体分类精度（Overall Accuracy, OA）、平均分类精度（Average Accuracy, AA）和卡帕系数（Kappa）作为精度分类指标，将模型参数量（Parameters）和浮点计算量（FLOPs）作为模型复杂度衡量标准。
为了实验的公平性，对每个网络重复进行十次实验，取十次实验分类精度（%）均值与方差作为每一个类别的分类精确度。提出的网络与以上五个网络对比，在IP数据集、WHU-Hi-Long数据集和SA数据集上，分类精度和模型复杂度如表2~4所示。
表2 精度及复杂度研究IP数据集上不同网络的分类结果
Table 2 Accuracy and complexity study the classification results of different networks on IP dataset
从IP数据集上看，本研究提出的ReluformerN分类精度最高。OA值比仅使用CNN的2D CNN网络OA高2.50%，AA值高约5.27%，Kappa值高约2.54%。比使用2D CNN与3D CNN混合的HybirdSN网络OA值高约2.00%。由于提出的网络为轻量级网络，与同为轻量级LSGA-VIT对比，OA值高0.84%，AA值可以高约3.00%，Kappa值高约1.00%。与目前较为流行的采用transformer为核心的网络相比，比ViT网络的OA值高约1.00%，AA值可以高约4.40%，Kappa值高约1.10%。由于IP数据集每个物种覆盖率较小，说明提出的网络对较少的样本数据也可进行较好的判别。
表3 精度及复杂度研究WHU-Hi-Longkou数据集上不同网络分类结果
Table 3 Accuracy and complexity study the classification results of different networks on WHU-Hi-Longkou dataset
从WHU-Hi-Longkou数据集上看，本研究提出的网络不仅OA、AA和Kappa评估分类精度值上表现最佳，同时在大部分物种的分类上也表现出了最佳精度。提出的网络比同样为轻量级网络LSGA-VIT的OA值高约0.16%，AA值高约0.03%，Kappa值高约0.20%。比ViT网络OA值高约0.20%，AA值高约0.13%，Kappa值高约0.26%。
从SA数据集上看，提出的网络OA和Kappa评估分类精度值上表现最佳，但是AA值表现不是最好的，仅次于LSGA-VIT。这是由于提出的方法仅在物种2（含有杂草的花椰菜）分类上达到了最佳，而轻量级网络LSGA-VIT在多个物种上可达到100.00%的分类精度。可能的原因在于为了减少参数量，本研究ReluformerN仅使用了一个Reluformer模块，而LSGA-VIT中使用了两个transformer模块。
从分类精度上看，本研究提出的方法可以达到最佳分类效果。这是由于提出的ReluformerN更具有针对性，有针对性地提取高频和低频信息特征。从模型复杂程度看，提出的ReluformerN模型参数量约为0.23 M，是对比网络里模型参数量最小的。网络同时FLOPs也是最少的，仅为0.17 G，与较为简单的2D CNN网络基本一致。ReluformerN较为简单的原因在于，仅用线性化transformer做全局特征提取，并采用轻量化可分离深度卷积做细粒度特征提取。但是ReluformerN在训练时间和测试时间上并不具有竞争力。这可能的原因是虽然对transformer进行了线性化，计算复杂度有效减少，但是计算过程中相比于仅使用卷积层的网络来说，增加了多个矩阵相乘的过程，所以训练时间相对较长。但是在与同样使用transformer的网络对比，训练时间少于ViT和LSGA-VIT网络。训练时间长于CTN网络，主要原因在于，与CTN网络相比，本研究提出的ReluformerN加入细粒度特征这一分支，多个分支运行增加了训练时长。后续若想提高训练时间和测试时间，可以提高硬件条件来实现。
表4 精度及复杂度研究SA数据集上不同网络分类结果
Table 4 Accuracy and complexity study the classification results of different networks on SA dataset
总体来说提出的网络在分类精度上具有较强的竞争力，同时兼具模型复杂程度较小的特点。同时可以看出参数量小于0.3 M，后续有希望将网络布局在硬件系统中，实现农作物实时分类的期望。
2.3.2 可视化效果对比实验
对网络进行定性分析，对各个网络分类效果进行可视化分析，IP、WHU-Hi-Longkou和SA三个数据的分类可视化效果如图6~图8所示。
图6 IP数据集上不同网络可视化效果图
Fig. 6 Visualizations of different networks on IP dataset
图7 WHU-Hi-Longkou数据集上不同网络可视化效果图
Fig. 7 Visualizations ofdifferent networks visualization WHU-Hi-Longkou dataset
图8 SA数据集上不同网络可视化效果图
Fig. 8 Visualizations of different network on SA dataset
从IP数据可视化效果可以看出，本研究提出的ReluformerN在大部分农作物分布区域边缘效果较好，边缘较为完整。从WHU-Hi-Longkou数据可以看出，在较为复杂的部分，本研究提出网络分类精度较好，错点斑点显示较少。从SA数据可以看出，本研究提出的网络错误点较少的同时，错误点分布也集中在某个区域较为中心的位置。而其他网络在边缘位置错误斑点聚集较多。影响农作物分布情况分析。
2.4 重要模块验证实验
验证自适应八倍频卷积的有效性。对α分别设置为0.25、0.5和0.7，以OA精度作为数据分类精度标准。将传统八倍频卷积与自适应八倍频卷积对比，分类结果如图9所示。图中蓝色折线表示传统八倍频卷积，橙色折线表示自适应八倍频卷积。
图9 在IP、WHU-Hi-Longkou、SA三个数据集上八倍频卷积和自适应八倍频卷积α取不同值时正确率
Fig. 9 Accuracy rates of octave convolution and adaptive octave convolution with different α values on the IP， WHU-Hi-Longkou， and SA three datasets
从图9中可以明显看出，当α取不同值时，橙色折线斜率明显比蓝色折线斜率小，说明α的人工设置对分类精度影响较大，分类正确率波动值较大。而采用自适应八倍频卷积对α设置影响较小，如在IP数据上自适应八倍频卷积分类精度最大值与小值仅相差约0.05%，而传统八倍频卷积正确率相差可高达约0.3%。
实验证明加入softmax函数，自动对特征进行权重赋值，不同α值之间相差较小，说明有效减少了人工设置α带来的影响。但是不同的α值之间仍旧有一定差距，如IP数据集上，不同的α值的设置对分类精度仍有0.05%差距。为了保证网络的最优效果，本研究网络将α=0.5设为最佳参数。
为了验证轻量级高低频增强网络中，高频特征提取和低频特征提取的有效性，采用2维t-sne方法，对网络进行特征提取显示。在未进行分类时，图像原始特征分布较为分散，各个类之间距离较近。首先提取高频全局特征，其次提取低频特征，最后提取分类后特征，利用2维t-sne方法进行显示，如图10所示。可以明显看出，最初特征分布较为分散（图10a），不同特征有重叠地方，经过高频特征提取后，同类特征大体聚合在一起（图10b），但是不同特征之间间隔较小，也有少部分特征有重叠情况。经过低频特征提取后，明显同类特征聚合更紧密（图10c），尤其是IP数据更明显。经过高低频特征融合后，最后经过MLP分类器，明显同类特征聚合（图10d），不同种类特征明显分隔较大。
图10 各模块有效性利用2维t-sne提取高低频特征以及分类后特征
Fig. 10 Using 2D t-sne to extract high and low frequency features and classification in the validity study of each module
为了验证Reluformer的有效性，将Reluformer替换成以transformer为核心的ViT。为了验证Reluformer在线性化transformer结构中的优势，将Reluformer替换为Linformer。为了验证Relu函数有效性，将Relu函数替换为LeakyRelu函数，形成LeakyReluformer，对模型分类精度和模型复杂程度进行对比，结果如表5所示。
表5 IP、WHU-Hi-LongKou、SA数据Reluformer和相关模块分类精度及复杂度对比
Table 5 Classification accuracy and complexity of Reluformer and related modules on IP， WHU-Hi-LongKou and SA datasets
通过四个模块对比，在三个数据集上，采用Reluformer的网络在分类精度上都达到了最佳效果。比如在IP数据集上，采用Reluformer比采用ViT模块的OA值高0.27%，AA值约高2.99%，Kappa值约高0.29%。并且OA和Kappa值的方差值较小，说明在多次实验中采用Reluformer为核心的网络分类效果稳定。在三个数据集上，Linformer分类精度最低，主要原因在于Linformer对transformer线性化过程，采用加入两个矩阵，改变矩阵相乘过程中参数量二次型增长，但是加入的两个矩阵影响了全局上下文信息聚合。LeakyReluformer分类精度仅次于Reluformer，主要原因自相关分析时，负相关系数影响全局上下文信息聚合。从模型计算复杂度分析，采用Reluformer的参数量较低，小于0.3 M，同时比ViT网络参数量少，在IP数据集上约少0.04 M，其他数据集上约少0.12 M。采用Linformer的三种数据集FLOPs最高，主要原因在于Linformer线性化过程，加入的两个线性投影矩阵，相比transformer，矩阵相乘的次数增加，使得复杂度增加。总体说明Reluformer不仅在精确度上优于其他模块，同时在模型参数量上也小于其他模块。
3
结 论
本研究针对采用高光谱数据对农业进行地物分类时，模型分类精确度和模型复杂度之间不平衡问题，提出一种轻量化高低频增强的Reluformer网络，并在三个数据集上进行了验证，主要结论如下。
1）提出的自适应八倍频卷积可以减少人工设置α参数对高低频分量提取的影响。
2）Reluformer结构有利于减少模型复杂程度，相比于transformer有利于分类精度的提高。
3）提出的轻量化高低频增强ReluformerN，与其他网络采用空间光谱特征提取不同，从频率角度考虑，分别针对高频和低频特征有针对性的进行网络设计，在三个数据集上进行验证，证明了ReluformerN不仅有利于分类精度的提高，同时可有效减少模型参数量。
本研究提出的ReluformerN在模型分类精度和复杂度之间取得了较好的平衡，有望应用在微处理器中，为后续高光谱数据对农业进行实时地物分类提供依据。
利益冲突声明：本研究不存在研究者以及与公开研究成果有关的利益冲突。
推荐阅读
智慧农业微信交流服务群
发布征集
欢迎在我公众号发布科研团队介绍、创新科研成果及相关活动等信息。
