故障诊断专栏! | 一次订阅,永久更新

文摘   2024-11-18 22:36   广东  

读完需要

6
分钟

速读仅需 2 分钟

请尊重原创劳动成果
转载请注明本文链接
及文章作者:机器学习之心

摘要:太无敌!时序卷积组合Transformer!TCN-Transformer多变量回归预测

1

   

基本介绍
Transformer故障诊断/分类预测 | 基于Transformer故障诊断分类预测(Matlab)
Transformer 模型本质上都是预训练语言模型,大都采用自监督学习 (Self-supervised learning) 的方式在大量生语料上进行训练,也就是说,训练这些 Transformer 模型完全不需要人工标注数据。Transformer 模型的标志就是采用了注意力层 (Attention Layers) 的结构,前面也说过,提出 Transformer 结构的论文名字就叫《Attention Is All You Need》。顾名思义,注意力层的作用就是让模型在处理数据时,将注意力只放在某些数据上。Transformer 模型本来是为了翻译任务而设计的。在训练过程中,Encoder 接受源语言的句子作为输入,而 Decoder 则接受目标语言的翻译作为输入。在 Encoder 中,由于翻译一个词语需要依赖于上下文,因此注意力层可以访问句子中的所有词语;而 Decoder 是顺序地进行解码,在生成每个词语时,注意力层只能访问前面已经生成的单词。Transformer模型(直译为“变换器”)是一种采用注意力机制的深度学习模型,这一机制可以按输入数据各部分重要性的不同而分配不同的权重。该模型主要用于自然语言处理(NLP)与计算机视觉(CV)领域。

购买后可加博主QQ1153460737咨询交流。注意:其他非官方渠道购买的盗版代码不含模型咨询交流服务,大家注意甄别,谢谢。


2

   

2.1

专栏目录

  



   

完整专栏扫描二维码: 

3


   

部分源码

%% 创建混合CNN-GRU网络架构% 输入特征维度numFeatures  = size(inputn_train,1);% 输出类别数numClasses   = 4;    FiltZise = 10;%  创建"CNN-GRU"模型    layers = [...        % 输入特征        sequenceInputLayer([numFeatures 1 1],'Name','input')        sequenceFoldingLayer('Name','fold')        % CNN特征提取        convolution2dLayer([FiltZise 1],32,'Padding','same','WeightsInitializer','he','Name','conv','DilationFactor',1);        batchNormalizationLayer('Name','bn')        eluLayer('Name','elu')        averagePooling2dLayer(1,'Stride',FiltZise,'Name','pool1')        % 展开层        sequenceUnfoldingLayer('Name','unfold')        % 平滑层        flattenLayer('Name','flatten')        % GRU特征学习        gruLayer(128,'Name','lstm1','RecurrentWeightsInitializer','He','InputWeightsInitializer','He')            % 全连接层        fullyConnectedLayer(numClasses,'Name','fc')            classificationLayer('Name','cf')];
layers = layerGraph(layers); layers = connectLayers(layers,'fold/miniBatchSize','unfold/miniBatchSize');
%% CNNGRU训练选项% 批处理样本miniBatchSize =10;% 最大迭代次数MaxEpochs = 100;% 学习率learningrate = 0.005;% 一些参数调整if gpuDeviceCount>0 mydevice = 'gpu';else mydevice = 'cpu';end options = trainingOptions( 'adam', ... 'MaxEpochs',100, ... 'MiniBatchSize',miniBatchSize,... 'GradientThreshold',1, ... 'InitialLearnRate',learningrate, ... 'LearnRateSchedule','piecewise', ... 'LearnRateDropPeriod',20, ... 'LearnRateDropFactor',0.8, ... 'L2Regularization',1e-3,... 'Verbose',false, ... 'ExecutionEnvironment',mydevice,... 'Plots','training-progress');
%% 训练混合网络% rng(0);% 训练CNNGRUnet = trainNetwork(XrTrain,YrTrain,layers,options);————————————————
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 原文链接:https://blog.csdn.net/kjm13182345320/article/details/143222060

4

   

其他代码

嗯,细心的你会发现:https://mbd.pub/o/slowtrain/work

博客专家认证,机器学习领域创作者,2023博客之星TOP50,主做机器学习和深度学习时序、回归、分类、聚类和降维等程序设计和案例分析科研课题模型定制/横向项目模型仿真/职称学术论文辅导/模型程序讲解均可联系本人唯一QQ1153460737(其他均为盗版,注意甄别

技术交流群:购买博主任意代码或分享博主博文到任意三方平台后即可添加博主QQ进群


机器学习之心HML
机器学习和深度学习时序、回归、分类和聚类等程序设计与案例分析,CSDN博主机器学习之心,知乎、B站同名,由于博主公众号名称被别人占用,故加了HML,此号是官方账号,其余打着本人旗号做事本人概不负责,本人QQ1153460737。
 最新文章