标题：A task-oriented deep learning framework based on target-related transformer network for industrial quality prediction applications
单位：School of Automation, Central South University, Changsha, China
1、研究背景：
关键质量变量的检测任务在工业生产过程中对操作优化和决策具有直接影响，但常常受到恶劣环境和检测仪器的限制。因此，关键质量变量的实时预测任务已成为工业过程优化控制的基础。
目前，基于数据驱动的软测量建模技术得到了广泛的关注和应用，特别是在时间序列分析、故障检测等领域。虽然基于Transformer的方法已经扩展到工业数据建模中，但是面对不同的任务需求，仍然无法达到最优的性能。造成这种情况的主要原因在于缺乏有效的特征筛选机制，导致模型提取的特征偏向于数据的整体特征而忽略了任务特征。
为了解决上述问题，本文提出了一种新的目标相关自注意力（TR-SA）机制，通过在任务相关目标变量和其他变量之间添加注意力分数来指导特征学习。并且基于该机制，提出面向任务的深度学习框架。
（1）设计了一种目标相关自注意力机制（TR-SA），将任务信息引入到建模过程中，防止任务相关信息在特征提取时被淹没。
（2）提出了一种基于TR-SA的Transformer架构（TR-Former），旨在通过逐层提取任务相关特征，以提升动态工业过程的数据驱动建模性能。
（3）将提出的TR-Former方法应用于两个真实的工业过程数据集，证明其相对于目前较新的方法（7种）的优越性能。
3、研究方法：
目标变量对自注意力机制的计算至关重要，可以使后续的特征学习有利于增强模型的预测性能。针对这一问题，本研究提出一种新颖的目标相关自注意力（target-related self-attention，TR-SA）机制，全面探索协变量与质量变量之间的相关性，以弥补原有自注意力机制在特征提取方面的不足。
图1 TRSA框架图
TR-Former去除了解码器模块，可以减少计算量，消除解码器带来的误差积累。
图2 TR-Former示意图
图3 基于TR-Former网络构建质量预测框架
准备阶段：
①从实际工业过程中采集数据进行归一化处理。
②采用滑动窗口构建数据集，其中每个窗口包含数据的输入序列和相应的预测序列。
③将采集到的数据分为训练数据集和测试数据集。
训练阶段：
①利用当前输入时间序列数据的辅助变量和目标变量对网络的参数进行预训练。
②目标变量为未来输入的时间序列数据，用于监督所有网络参数的微调。③通过多次迭代训练得到最优模型并保存网络参数。
测试阶段：
①将测试数据集中输入序列的辅助变量输入到训练好的TR-Former网络中，得到预测结果。
②使用测试数据集中输入序列对应的真实标签值来评估模型的预测性能。
4）钾盐结晶工艺的工业应用
图4为国内某大型盐湖化工公司硫酸钾结晶流程图。由于钾石盐结晶过程的复杂机理和恶劣环境下测量器的限制，整个钾石盐结晶过程的稳定高效生产高度依赖于分级旋流器出料浓度的实时监测，如下图中红色点状线框所示。为了确保模型的准确性，在分级旋流器的外部部署了一台工业相机，实时监测排放浆液的形状，以获得与浓度相关的图像参数。然而，由于现场生产条件和测量仪器的阻碍，排放的浓度测量目前依靠操作人员手动测定。这种作业方式存在主观性强、劳动强度大、实时监控性差等缺点。因此，需要建立数据驱动的质量预测模型对排放浓度进行实时预测。
实际网络输入中，为了充分利用所获得的数据，将每个标记样本的过程变量U1-U4的前两阶矩添加，作为对标记样本的补充。则构建的质量预测模型的输入变量增加到31个。
图5 用于预测钾盐结晶数据集排放浓度的详细预测曲线
表2 预测钾盐结晶放电浓度的所有方法的比较结果
从表2结果中可以看出，SAE和PCR的预测性能较差，特别是在RMSE、MAE和MAPE等指标上表现不佳，R²较小。这主要是因为它们是静态线性模型，无法捕捉工业过程数据的复杂非线性特征。虽然VW-SAE也是静态方法，但由于引入了变量相关的指导，其性能明显优于SAE和PCR。在动态方法中，LSTnet表现一般，因为其递归结构会导致累积误差，无法有效提取长期历史特征。相比之下，基于Transformer的MVTTrans、Informer和LogTrans避免了这一问题，但仍因缺乏任务相关信息的指导而表现不佳，提取的特征偏向整体平均，而非建模任务所需的特征。因此，本文提出的TR-Former通过将任务目标融入建模过程，引导模型提取对任务有利的特征，从而实现最佳性能。
为了验证模型的实际性能，我们在实际生产过程中进行了一周多的在线试运行。在整个试验过程中，该模型连续半小时生成浓度预测，用于指导现场操作。尽管TR-Former在钾盐结晶数据集上表现出色，但在实际生产环境中实现极其精确的浓度预测仍然具有挑战性。这是不可理解的，因为与用于模型训练的数据相比，现场数据通常表现出更高的噪声和可变性。尽管如此，这并不会削弱TR-Former为生产人员提供有价值的参考点，协助他们做出运营决策的能力。这证实了实际工业过程顺利实施的实际优势，并推动了TR-Former在结晶车间扩展应用到更多水力旋流器集群的潜力。
加氢裂化是炼油和石油化工中生产石油的主要工艺。图6是中国一家化工公司的简单加氢裂化流程图。为了评价当前生产是否满足高效低耗的要求，通常采用轻石脑油中C5（五碳烷烃）含量作为监测指标。
图5 加氢裂变工艺流程图
图6 预测C5含量的详细预测曲线
由表3可见，考虑到SAE、PCR和VWSAE为静态模型，难以捕捉数据的动态特性，导致其预测性能较差。MVTTrans的预测效果相比浅层模型有所改善。LSTnet虽然能够同时捕捉时间序列的长期和短期模式，但是由于序列过长导致梯度消失，无法达到满意的预测效果。
此外，由于稀疏性机制，Informer和LogTrans的预测性能可以略有提升，但仍然没有达到最好的预测性能。提出的TR-Former同时考虑了过程数据的自相关动态特性和目标变量对预测任务指导的作用，使其取得了最好的预测性能。
在两个工业数据集上进行了实验，以验证所提方法的预测性能。从四个预测评估指标可以看出，所提方法与其他典型方法相比有所改进。
