Transformer专栏! | 一次订阅,永久更新

文摘   2024-11-05 22:11   广东  

读完需要

6
分钟

速读仅需 2 分钟

请尊重原创劳动成果
转载请注明本文链接
及文章作者:机器学习之心

摘要:Transformer专栏! | 一次订阅,永久更新

1

   

基本介绍
Transformer 模型本质上都是预训练语言模型,大都采用自监督学习 (Self-supervised learning) 的方式在大量生语料上进行训练,也就是说,训练这些 Transformer 模型完全不需要人工标注数据。Transformer 模型的标志就是采用了注意力层 (Attention Layers) 的结构,前面也说过,提出 Transformer 结构的论文名字就叫《Attention Is All You Need》。顾名思义,注意力层的作用就是让模型在处理数据时,将注意力只放在某些数据上。Transformer 模型本来是为了翻译任务而设计的。在训练过程中,Encoder 接受源语言的句子作为输入,而 Decoder 则接受目标语言的翻译作为输入。在 Encoder 中,由于翻译一个词语需要依赖于上下文,因此注意力层可以访问句子中的所有词语;而 Decoder 是顺序地进行解码,在生成每个词语时,注意力层只能访问前面已经生成的单词。Transformer模型(直译为“变换器”)是一种采用注意力机制的深度学习模型,这一机制可以按输入数据各部分重要性的不同而分配不同的权重。该模型主要用于自然语言处理(NLP)与计算机视觉(CV)领域。

购买后可加博主QQ1153460737咨询交流。注意:其他非官方渠道购买的盗版代码不含模型咨询交流服务,大家注意甄别,谢谢。


2

   

2.1

专栏目录


  

   

完整专栏扫描二维码: 

3


   

部分源码

import torchimport torch.nn as nnimport torch.nn.functional as Fimport mathimport numpy as npimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport torchimport torch.nn as nnfrom torch.optim import Adamfrom torch.utils.data import Dataset, DataLoaderfrom sklearn.metrics import r2_score, mean_squared_error, mean_absolute_errorfrom sklearn.preprocessing import MinMaxScalerfrom tqdm import tqdm
# 解决画图中文显示问题plt.rcParams['font.sans-serif'] = ['SimHei']plt.rcParams['axes.unicode_minus'] = False
# 输入的历史look_back步,和预测未来的T步look_back = 10T = 1epochs = 30 # 迭代次数num_features = 6 # 输入特证数embed_dim = 32 # 嵌入维度dense_dim = 128 # 隐藏层神经元个数num_heads = 4 # 头数dropout_rate = 0.1 # 失活率num_blocks = 3 # 编码器解码器数learn_rate = 0.0001 # 学习率batch_size = 32 # 批大小
# 读取数据dataset = pd.read_excel('2019feng.xlsx', usecols=[0, 1, 2, 3, 4, 5])dataX = dataset.valuesdataY = dataset['gonglv'].values# 归一化数据scaler1 = MinMaxScaler(feature_range=(0, 1))scaler2 = MinMaxScaler(feature_range=(0, 1))data_X = scaler1.fit_transform(dataX)data_Y = scaler2.fit_transform(dataY.reshape(-1, 1))————————————————
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 原文链接:https://blog.csdn.net/kjm13182345320/article/details/142033231

4

   

其他代码

嗯,细心的你会发现:https://mbd.pub/o/slowtrain/work

博客专家认证,机器学习领域创作者,2023博客之星TOP50,主做机器学习和深度学习时序、回归、分类、聚类和降维等程序设计和案例分析科研课题模型定制/横向项目模型仿真/职称学术论文辅导/模型程序讲解均可联系本人唯一QQ1153460737(其他均为盗版,注意甄别

技术交流群:购买博主任意代码或分享博主博文到任意三方平台后即可添加博主QQ进群


机器学习之心HML
机器学习和深度学习时序、回归、分类和聚类等程序设计与案例分析,CSDN博主机器学习之心,知乎、B站同名,由于博主公众号名称被别人占用,故加了HML,此号是官方账号,其余打着本人旗号做事本人概不负责,本人QQ1153460737。
 最新文章