免费下载论文：
基于改进的CNN-BiGRU供热量预测方法
张珂1，曹姗姗1，孙春华1，夏国强1，吴向东2
（1.河北工业大学 能源与环境工程学院， 天津 300401；2.河北工大科雅能源科技股份有限公司， 河北 石家庄 050000）
供热系统智能化是集中供热发展方向，应用现代计算机技术，准确预测热负荷是实现智慧供热的重要依据［1］。由于热负荷受随机因素影响较大，成非线性关系，而人工智能神经网络具有良好的非线性映射能力，因此逐渐成为热负荷预测的重要手段。常用的循环神经网络（RNN）具有自学习、自适应能力，在预测领域应用广泛［2］。
RNN在学习时间序列数据时往往存在梯度消失的问题，导致训练缓慢甚至停滞［3］。文献［4］选择双向门控循环神经网络（BiGRU）捕捉数据中的长期依赖关系，改善梯度消失问题。文献［5］构建了基于卷积神经网络（CNN）的热力站热负荷预测模型，模型的预测精度和泛化能力有较好表现。文献［6］利用CNN结合BiGRU进行短期负荷预测，在充分提取数据特征的同时，有效挖掘时间序列中蕴藏的时序关系。然而，目前负荷预测较多应用于电力领域［7-9］，供热领域负荷预测的研究仍有欠缺。此外，传统的超参数选取方法为试凑法，在耗费时间的同时往往结果不尽人意［10］。而且，复杂的组合模型容易陷入局部最优，导致错误的预测，浪费大量的时间和资源。
本文提出一种融合Dropout机制和贝叶斯（Bayesian）优化的改进的CNN-BiGRU小时供热量预测模型。利用Dropout机制，降低预测模型的复杂度，减少神经网络陷入局部最优的风险。采用Bayesian优化算法对预测模型超参数进行优化，提高预测模型的预测精度。结合算例，对改进的CNN-BiGRU供热量预测模型的预测效果及训练集样本占比对预测效果的影响进行分析。
单一的BiGRU预测精度不高，且时序过长时易造成信息丢失，需要引入CNN提取数据集特征。过于复杂的模型和过多的输入参数易导致模型陷入局部最优，需要引入Dropout机制提高模型的泛化能力。在此基础上，通过Bayesian优化算法优化模型的超参数，进一步提高预测的准确性。改进的CNN-BiGRU预测模型的预测流程见图1。
步骤1：数据预处理。采用皮尔逊相关系数确定输入参数。采用K-means算法识别并剔除异常数据，采用KNN算法对缺失数据进行修复。最后对输入数据进行归一化处理。
步骤2：超参数优化。采用Bayesian优化算法对CNN和BiGRU模型的超参数进行优化，以CNN和BiGRU的不同待调参数组合作为输入，验证模型的精度。
步骤3：模型构建。建立改进的CNN-BiGRU预测模型，以8∶2的比例划分训练集样本和测试集样本，进行预测。
步骤4：模型评价。采用平均绝对百分比误差（MAPE）、均方根误差（RMSE）、平均绝对误差（MAE）、决定系数R2等4个指标评价预测效果。
Bayesian优化的框架主要包含两个核心部分：概率代理模型、采集函数。概率代理模型包含先验概率模型和观测模型，采集函数是根据后验概率分布构造的函数。选用合适的概率代理模型和采集函数才能获得更好的优化效果。
① 概率代理模型
概率代理模型分为参数模型、非参数模型。相比参数数量固定的参数模型，非参数模型更加灵活且可扩展性强，其中以高斯过程（Gaussian Processes，GP）应用最为广泛，理论上可以拟合任意函数。因此以高斯过程作为概率代理模型，并估计后验概率分布的均值和方差。
② 采集函数
在Bayesian优化中，采集函数是用来选择下一个最有可能的模型最佳性能评估点的方法。该函数通过已经观测到的数据集，得到后验分布构造，并通过对其最大化来指导下一个评估点。期望提升（Expected Improvement，EI）函数的参数少且具有平衡深度和宽度的关系的优点，因此采用EI函数作为采集函数。
神经网络结构见图2。输入数据先经过卷积层和池化层提取特征，再进入BiGRU模型预测。为了提升网络的泛化能力，在每1个BiGRU网络隐藏层后面增加1个Dropout层。最后通过全连接层连接后输出数据。
① CNN模型
CNN是一类含有卷积运算、具有多层深度结构的前馈神经网络。CNN主要由卷积层、池化层、全连接层3部分组成。卷积层是利用卷积核从时序数据中提取出局部特征信息，通过每1个卷积核在所有数据上的重复滑动得到多组输出特征向量，卷积层参数包括卷积核大小、滑动步长。
池化层对卷积层的输出保留主要特征，降低维度，减小模型的过拟合。经过池化层后得到一系列特征，通过全连接层将每1个神经元与池化层的所有输出连接，集合所有特征。
② BiGRU模型
BiGRU是门控循环单元（GRU）的一种改进结构，包括前向GRU和后向GRU两部分，可以为输出层输入序列中的每个时间点提供完整的历史和未来信息。
③ Dropout机制
Dropout机制是指在网络的训练过程中，对于神经网络中任意的1个神经元，均使用相同的概率将其从网络中临时抛弃，从而减小网络规模。Dropout机制使结果不特别依赖某个神经元上提取的特征，可以避免模型陷入局部最优。抛弃的神经元数量占总神经元数量的比例称为Dropout比率，设置合适的Dropout比率有助于提高预测精度。
选用平均绝对百分比误差（MAPE）、均方根误差（RMSE）、平均绝对误差（MAE）、决定系数R2等4项指标评价预测模型的预测效果［11］。MAPE越小表明预测模型越准确。RMSE越小表示预测误差越小，模型的预测能力越强。MAE越小，说明模型的预测结果越准确。R2是用于衡量模型拟合优度的指标，变化范围［0，1］，越接近1，拟合效果越好。
4项指标的计算式为：
本文以石家庄某供热系统为例进行研究。供热系统采集的运行数据：供热量、室外温度、供水温度、流量、回水温度等，供热量为这1 h的供热量，室外温度、供水温度、流量、回水温度均为这1 h结束时的瞬时值。选2020年12月26日—2021年1月20日的运行参数作为样本，经过数据预处理后，共计600组有效数据，训练集样本与测试集样本的比例为8：2。
运用皮尔逊相关系数分析各运行参数与供热量的相关度。由分析结果可知，室外温度、供水温度、流量与当前1 h供热量的相关性较大。前1~7 h的供热量与当前1 h供热量的相关性较大。因此，选取室外温度、供水温度、流量以及前1~7 h的供热量作为输入参数。
保持训练集和测试集数据不变，Dropout比率取0.01，BiGRU层数取2。应用Bayesian优化算法对模型超参数进行优化，并与网格搜索算法（GS）、粒子群优化算法（PSO）的优化结果进行对比。3种优化算法均是对模型的超参数进行优化，其中，GS是在预先给定的超参数搜索空间中，通过遍历所有可能的超参数组合，根据评价指标寻找最优的超参数设置，需要人为枚举每个超参数的所有可能取值。PSO是一种基于群体协作的随机搜索算法，先将输入参数初始化为粒子状态，此时的粒子为随机解，然后通过每一次迭代，粒子不断调整位置和速度，追踪个体最优解和全局最优解更新状态，得到目标函数的最优解。
采用3种优化算法的CNN-BiGRU预测模型超参数优化结果见表1。3种优化算法CNN-BiGRU预测模型的评价指标见表2。由表2可知，Bayesian优化的CNN-BiGRU预测模型的各项评价指标均优于其他优化方法的CNN-BiGRU预测模型。因此，本文选用Bayesian优化方法。
保持训练集和测试集数据不变，BiGRU层数取2。在Bayesian优化的CNN-BiGRU预测模型的基础上，改变Dropout比率，比较预测模型R2，见表3。由表3可知，当Dropout比率为0.010时，模型的拟合效果最佳。
保持训练集和测试集数据不变，Dropout比率为0.010。在Bayesian优化的CNN-BiGRU预测模型的基础上，改变BiGRU层数，比较预测模型R2及训练时间，见表4。由表4可知，当设置2层BiGRU时，与单层相比，提升了R2的同时仅延长了较短的训练时间。之后随着BiGRU层数增加，训练时间大幅延长且R2提升不显著。因此，出于对时间成本的考虑，选取双层BiGRU进行研究。
将改进的CNN-BiGRU预测模型与改进的CNN-LSTM、CNN-GRU、CNN-BiLSTM预测模型的预测效果进行比较。长短期记忆网络（LSTM）是一种特殊的循环神经网络，可有效解决传统循环神经网络存在的梯度消失和梯度爆炸问题，CNN-LSTM模型将两种神经网络结构相结合，充分利用各自优势。GRU将LSTM的输入门和遗忘门融合为更新门，同时引入重置门，在保留原本功能的前提下减少网络参数，CNN-GRU将CNN和GRU融合在一起，采用卷积层提取特征，GRU层进行序列建模。BiLSTM包括前向LSTM和后向LSTM两部分，该数据处理方法可以为输出层输入序列中的每个时间点提供完整的历史和未来信息，CNN-BiLSTM结合了CNN和BiLSTM的优点，以提高预测的性能。
改进的CNN-LSTM、CNN-GRU、CNN-BiLSTM预测模型均采用Dropout机制和Bayesian优化，3种预测模型超参数优化结果分别见表5~7。Dropout比率见表8。
4种预测模型预测值与实测值见图3。由图3可知，改进的CNN-LSTM、CNN-GRU、CNN-BiLSTM预测模型的预测值明显偏离实测值，而改进的CNN-BiGRU预测模型的预测值更加贴近实测值。
模型的训练集与测试集比例仍为8∶2，4种预测模型的评价指标及训练时间见表9。由表9可知，改进的CNN-BiGRU预测模型各项评价指标均优于其他3种预测模型，训练时间也相对理想。综合考虑，改进的CNN-BiGRU预测模型的预测效果最佳。
为分析训练集样本容量对预测效果的影响，改进的CNN-BiGRU预测模型保持样本总量不变，训练集样本占比从30%依次增加至80%。各项评价指标随训练集样本占比的变化分别见图4~7。由图4~7可知，预测效果随训练集样本占比增大而改善。当训练集样本占比达到70%后，继续增大训练集样本占比，对改善预测效果的帮助不大。为节约时间成本，推荐训练集样本占比为70%。
① 改进的CNN-LSTM、CNN-GRU、CNN-BiLSTM预测模型的预测值明显偏离实测值，而改进的CNN-BiGRU预测模型的预测值更加贴近实测值。改进的CNN-BiGRU预测模型各项评价指标均优于其他预测模型，训练时间也相对理想。综合考虑，改进的CNN-BiGRU预测模型的预测效果最佳。
② 预测效果随训练集样本占比增大而改善。当训练集样本占比达到70%后，继续增大训练集样本占比，对改善预测效果的帮助不大。为节约时间成本，推荐训练集样本占比为70%。
声明：本文著作权（版权）归《煤气与热力》杂志社所有，严禁任何微信号及媒体未经授权许可随意转载。PS: 当然欢迎大家转发到朋友圈！
更多论文请登录煤气与热力杂志官方网站，免费注册会员阅读电子期刊。阅读步骤：登录http://www.gasheat.cn/→页面右上角注册会员→注册成功后点击《煤气与热力》→期刊索引→点击某期期刊封面即可阅读当期文章。
