今天给大家分享DA优化CNN-LSTM的负荷预测，主要从算法原理和代码实战展开。需要了解更多算法代码的，可以点击文章左下角的阅读全文，进行获取哦~需要了解智能算法、机器学习、深度学习和信号处理相关理论的可以后台私信哦，下一期分享的内容就是你想了解的内容~
一、蜻蜓优化算法
1、分离
式中，Si 为不存在碰撞后的位置；X 为当前蜻蜓的位置；N 表示邻域内的个体数；Xj 为邻域内个体j 的位置。
对齐行为表示个体与邻域中其他个体的速度匹配。对齐行为的数学表达式为：
式中Vj 为邻域内个体j 的飞行速度。
4、捕食
蜻蜓形成小群体后，下一步就开始进行捕食：
式中X+为待趋近的目标位置。
5、避敌
在捕食过程中，蜻蜓肯定也会遇到自己的天敌，因此避敌过程描述为：
式中X-为天敌的位置。上述五种行为可由下图进行展示。
式中，s、a、c、f、e、w 分别为分离权重、对齐权重、聚集权重、猎物权重、天敌权重、惯性权重。
式中，d代表维度，levy函数计算如下:
DA算法的伪代码如下：
2.1 CNN原理
卷积神经网络具有局部连接、权值共享和空间相关等特性。卷积神经网络结构包含卷积层、激活层和池化层。
（a）二维卷积层将滑动卷积滤波器应用于输入。该层通过沿输入垂直和水平方向 移动滤波器对输入进行卷积，并计算权重与输入的点积，然后加入一个偏置项。具体表达式为：
卷积层的功能是对输入数据进行特征提取。其内部包含多个卷积核，也称为 感受野。将输入图像和卷积核做卷积运算，可以增强原始信号特征的同时降低噪声。卷积运算的具体过程如图1所示。
图1 卷积运算的具体过程
（2）激活函数
在卷积神经网络中，常用的激活函数包括 Sigmoid 函数、Tanh 函数、Swish 函数和 Relu 函数。Relu 函数解决了 Sigmoid 函数和 Tanh 函数梯度消失的问题， 提高了模型收敛的速度，受到的广泛学者的欢迎。
（3）池化层
池化层又称为下采样层，池化层分为平均池化层和最大池化层。其中，最大池化层通过将输入分为矩形池化区域，并计算每个区域的最大值来执行下采样， 而平均池化层则是计算池化区域的平均值来执行下采样。池化层的池化过程如图2所示。
图2 池化过程示意图
2.2 LSTM原理
LSTM采用循环神经网络( Recurrent Neural Network，RNN )架构，它是专门为从序列中学习长期依赖关系而设计的。LSTM可以使用4个组件：输入门、输出门、遗忘门和具有自循环连接的单元来移除或添加块状态的信息。其神经元结构如图3所示。
图3 LSTM网络结构
设输入序列共有 k 个时间步，LSTM 门控机制 结构为遗忘门、输入门和输出门，xt携带网络输入值 作为向量引入系统，ht 通过隐含层对 LSTM 细胞进 行输出，ct携带着 LSTM 细胞状态进行运算。LSTM 运算规则如下：
计算后保留 ct与 ht，用于下一时间步的计算；最后一步计算完成后，将隐藏层向量 hk作为输出与本组序列对应的预测值对比，得出损失函数值，依据梯度下降算法，优化权重和偏置参数，以此训练出迭代次数范围内最精确的网络参数。
2.3 CNN-LSTM框架
以时序预测为例，本次分享的CNN-LSTM的框架如图4所示。
图4 CNN-LSTM框架
%% DA-CNN-LSTM负荷预测% 数据集（列为特征，行为样本数目clcclearload('Train.mat')%Train(1,:) =[];y = Train.demand;x = Train{:,3:end};% LSTM 层设置，参数设置inputSize = size(Train_xNorm{1},1); %数据输入x的特征维度outputSize = 1; %数据输出y的维度%%%% 优化算法参数设置SearchAgents_no = 40; % 数量Max_iteration = 50; % 最大迭代次数dim = 3; % 优化参数个数lb = [1e-4,10,10]; % 参数取值下界(学习率，隐藏层节点，正则化系数)ub = [1e-3, 200,200]; % 参数取值上界(学习率，隐藏层节点，正则化系数)fit = @(x)fitness(x,inputSize,outputSize);[Best_score,Best_pos,curve]=DA(SearchAgents_no,Max_iteration,lb ,ub,dim,fit)best_lr = Best_pos(1); % 最佳隐藏层节点数numhidden_units1 = round(Best_pos(2));% 最佳隐藏层节点数1numhidden_units2 = round(Best_pos(3));% 最佳隐藏层节点数2%% lstmlayers = [ ...sequenceInputLayer([inputSize,1,1],'name','input') %输入层设置sequenceFoldingLayer('name','fold')convolution2dLayer([2,1],10,'Stride',[1,1],'name','conv1')batchNormalizationLayer('name','batchnorm1')reluLayer('name','relu1')maxPooling2dLayer([1,3],'Stride',1,'Padding','same','name','maxpool')sequenceUnfoldingLayer('name','unfold')flattenLayer('name','flatten')lstmLayer(numhidden_units1,'Outputmode','sequence','name','hidden1')dropoutLayer(0.3,'name','dropout_1')lstmLayer(numhidden_units2,'Outputmode','last','name','hidden2')dropoutLayer(0.3,'name','drdiopout_2')fullyConnectedLayer(outputSize,'name','fullconnect') % 全连接层设置（影响输出维度）（cell层出来的输出层） %tanhLayer('name','softmax')regressionLayer('name','output')];lgraph = layerGraph(layers)lgraph = connectLayers(lgraph,'fold/miniBatchSize','unfold/miniBatchSize');% plot(lgraph)%% 网络训练options = trainingOptions('adam', ...'MaxEpochs',10, ...'GradientThreshold',1,...'ExecutionEnvironment','gpu',...'InitialLearnRate',best_lr, ...'LearnRateSchedule','piecewise', ...'LearnRateDropPeriod',2, ... %2个epoch后学习率更新'LearnRateDropFactor',0.5, ...'Shuffle','once',... % 时间序列长度'SequenceLength',k,...'MiniBatchSize',24,...'Plots', 'training-progress',... % 画出曲线'Verbose',0);%% 训练[net,traininfo] = trainNetwork(Train_xNorm, Train_yNorm, lgraph, options);%% 预测t_sim1 = predict(net, Train_xNorm);t_sim2 = predict(net, Test_xNorm);%% 数据反归一化T_sim1 = mapminmax('reverse', t_sim1',yopt);T_sim2 = mapminmax('reverse', t_sim2', yopt);T_sim1 = double(T_sim1) ;T_sim2 = double(T_sim2) ;%% 绘图M = size(T_sim1,2);N = size(T_sim2,2);figureplot(1 : length(curve), curve,'linewidth',1.5);title('DA-CNN-LSTM', 'FontSize', 10);xlabel('迭代次数', 'FontSize', 10);ylabel('适应度值', 'FontSize', 10);grid off%% 均方根误差 RMSEerror1 = sqrt(sum((T_sim1 - Test_x').^2)./M);error2 = sqrt(sum((Test_yNorm' - T_sim2).^2)./N);%% 显示网络结构analyzeNetwork(net)%% 绘图figureplot(lgraph)title("CNN-LSTM模型结构")%% 绘图figureplot(T_sim1,'-','linewidth',1)hold onplot(Test_x,'-','linewidth',1)legend( 'DA-CNN-LSTM拟合训练数据','实际分析数据','Location','NorthWest','FontName','华文宋体');title('DA-CNN-LSTM模型预测结果及真实值','fontsize',12,'FontName','华文宋体')xlabel('样本','fontsize',12,'FontName','华文宋体');ylabel('数值','fontsize',12,'FontName','华文宋体');xlim([1 M])%-------------------------------------------------------------------------------------figureplot(T_sim2,'-','linewidth',1)hold onplot(Test_y,'-','linewidth',1)legend('DA-CNN-LSTM预测测试数据','实际分析数据','Location','NorthWest','FontName','华文宋体');title('DA-CNN-LSTM模型预测结果及真实值','fontsize',12,'FontName','华文宋体')xlabel('样本','fontsize',12,'FontName','华文宋体');ylabel('数值','fontsize',12,'FontName','华文宋体');xlim([1 N])%-------------------------------------------------------------------------------------%% 相关指标计算% R2R1 = 1 - norm(Test_x - T_sim1)^2 / norm(Test_x - mean(Test_x))^2;R2 = 1 - norm(Test_y - T_sim2)^2 / norm(Test_y - mean(Test_y))^2;disp(['训练集数据的R2为：', num2str(R1)])disp(['测试集数据的R2为：', num2str(R2)])% MAEmae1 = sum(abs(T_sim1 - Test_x)) ./ M ;mae2 = sum(abs(T_sim2 - Test_y )) ./ N ;disp(['训练集数据的MAE为：', num2str(mae1)])disp(['测试集数据的MAE为：', num2str(mae2)])% MAPEmaep1 = sum(abs(T_sim1 - Test_x)./Test_x) ./ M ;maep2 = sum(abs(T_sim2 - Test_y)./Test_y) ./ N ;disp(['训练集数据的MAPE为：', num2str(maep1)])disp(['测试集数据的MAPE为：', num2str(maep2)])% RMSERMSE1 = sqrt(sumsqr(T_sim1 - Test_x)/M);RMSE2 = sqrt(sumsqr(T_sim2 - Test_y)/N);disp(['训练集数据的RMSE为：', num2str(RMSE1)])disp(['测试集数据的RMSE为：', num2str(RMSE2)])%% 保存训练模型save ('model')
仿真结果
部分知识来源于网络，如有侵权请联系作者删除~
今天的分享就到这里了，后续想了解智能算法、机器学习、深度学习和信号处理相关理论的可以后台私信哦~希望大家多多转发点赞加收藏，你们的支持就是我源源不断的创作动力！
作 者 | 华 夏
编 辑 | 华 夏
校 对 | 华 夏
