引言 — 这篇文章详细介绍了Transformer架构，包括Jay的一篇译文，和李沐的视频。
原文作者如下：
原文地址：
https://jalammar.github.io/illustrated-transformer/
译文作者为于建民
译文地址：
https://blog.csdn.net/yujianmin1990/article/details/85221271
除了这篇文章介绍，也附上 李沐的 Transformer论文逐段精读
https://www.bilibili.com/video/BV1pu411o7BE/
前言 翻译一篇非常赞的解释Transformer的文章，原文链接。
A High-Level Look 我们先将整个模型视为黑盒，比如在机器翻译中，接收一种语言的句子作为输入，然后将其翻译成其他语言输出。
细看下，其中由编码组件、解码组件和它们之间的连接层组成。
编码组件是六层编码器首位相连堆砌而成，解码组件也是六层解码器堆成的。
编码器是完全结构相同的，但是并不共享参数，每一个编码器都可以拆解成以下两个字部分。
编码器的输入首先流过一个self-attention层，该层帮助编码器能够看到输入序列中的其他单词当它编码某个词时。后面，我们会细看self-attention的内部结构。
Bringing The Tensors Into the Picture 现在，我们解析下模型最主要的组件，从向量/Tensor开始，然后是它们如何流经各个组件们并输出的。
每个词映射到512维向量上，此处用box表示向量词的向量化仅仅发生在最底层的编码器的输入时，这样每个编码器的都会接收到一个list（每个元素都是512维的词向量），只不过其他编码器的输入是前个编码器的输出。list的尺寸是可以设置的超参，通常是训练集的最长句子的长度。 在对输入序列做词的向量化之后，它们流经编码器的如下两个子层。
这里能看到Transformer的一个关键特性，每个位置的词仅仅流过它自己的编码器路径。在self-attention层中，这些路径两两之间是相互依赖的。前向网络层则没有这些依赖性 ，但这些路径在流经前向网络时可以并行执行。
Now We’re Encoding ! 正如之前所提，编码器接收向量的list作输入。然后将其送入self-attention处理，再之后送入前向网络，最后将输入传入下一个编码器。
每个位置的词向量被送入self-attention模块，然后是前向网络(对每个向量都是完全相同的网络结构) Self-Attention at a High Level 不要被self-attention这个词迷惑了，看起来好像每个人对它都很熟悉，但是在我读到Attention is All You Need这篇文章之前，我个人都没弄懂这个概念。下面我们逐步分解下它是如何工作的。
当编码"it"时（编码器的最后层输出），部分attention集中于"the animal"，并将其表示合并进入到“it”的编码中 上图是Tensor2Tensor notebook的可视化例子
Self-Attention in Detail 我们先看下如何计算self-attention的向量，再看下如何以矩阵方式计算。第一步 ，根据编码器的输入向量，生成三个向量，比如，对每个词向量，生成query-vec, key-vec, value-vec，生成方法为分别乘以三个矩阵，这些矩阵在训练过程中需要学习。【注意：不是每个词向量独享3个matrix，而是所有输入共享3个转换矩阵；权重矩阵是基于输入位置的转换矩阵 ；有个可以尝试的点，如果每个词独享一个转换矩阵，会不会效果更厉害呢？】
输入乘以W^q得到query 所谓的query/key/value-vec是什么？第二步 ，计算attention就是计算一个分值。对“Thinking Matchines”这句话，对“Thinking”（pos#1）计算attention 分值。我们需要计算每个词与“Thinking”的评估分，这个分决定着编码“Thinking”时（某个固定位置时），每个输入词需要集中多少关注度。
第三步和第四步 ，除以8（= d i m k e y =\sqrt{dim_{key}} = d i m k e y
softmax分值决定着在这个位置，每个词的表达程度（关注度）。很明显，这个位置的词应该有最高的归一化分数，但大部分时候总是有助于关注该词的相关的词。第五步 ，将softmax分值与value-vec按位相乘。保留关注词的value值，削弱非相关词的value值。第六步 ，将所有加权向量加和，产生该位置的self-attention的输出结果。
上述就是self-attention的计算过程，生成的向量流入前向网络。在实际应用中，上述计算是以速度更快的矩阵形式进行的。下面我们看下在单词级别的矩阵计算。
Matrix Calculation of Self-Attention 第一步 ，计算query/key/value matrix，将所有输入词向量合并成输入矩阵X X X W q , W k , W v W^q, W^k, W^v W q , W k , W v
输入矩阵X的每一行表示输入句子的一个词向量 最后 ，鉴于我们使用矩阵处理，将步骤2~6合并成一个计算self-attention层输出的公式。
矩阵形式的self-attention计算 The Beast With Many Heads 论文进一步增加了multi-headed的机制到self-attention上，在如下两个方面提高了attention层的效果：
多头机制扩展了模型集中于不同位置的能力。在上面的例子中，z1只包含了其他词的很少信息，仅由实际自己词决定。在其他情况下，比如翻译 “The animal didn’t cross the street because it was too tired”时，我们想知道单词"it"指的是什么。
多头机制赋予attention多种子表达方式。像下面的例子所示，在多头下有多组query/key/value-matrix，而非仅仅一组（论文中使用8-heads）。每一组都是随机初始化，经过训练之后，输入向量可以被映射到不同的子表达空间中。
每个head都有一组Q/K/V matrix 如果我们计算multi-headed self-attention的，分别有八组不同的Q/K/V matrix，我们得到八个不同的矩阵。
这会带来点麻烦，前向网络并不能接收八个矩阵，而是希望输入是一个矩阵，所以要有种方式处理下八个矩阵合并成一个矩阵。
上述就是多头自注意机制的内容，我认为还仅是一部分矩阵，下面尝试着将它们放到一个图上可视化如下。
现在加入attention heads之后，重新看下当编码“it”时，哪些attention head会被集中。
编码"it"时，一个attention head集中于"the animal"，另一个head集中于“tired”，某种意义上讲，模型对“it”的表达合成了的“animal”和“tired”两者 如果我们将所有的attention heads都放入到图中，就很难直观地解释了。
Representing The Order of The Sequence Using Positional Encoding 截止到目前为止，我们还没有讨论如何理解输入语句中词的顺序。
为了能够给模型提供词序的信息，新增位置emb向量，每个向量值都遵循指定模式 如果假设位置向量有4维，实际的位置向量将如下所示：
一个只有4维的位置向量表示例子 所谓的指定模式是什么样的呢？
一个真实的例子有20个词，每个词512维。可以观察中间显著的分隔，那是因为左侧是用sine函数生成，右侧是用cosine生成。 位置向量编码方法在论文的3.5节有提到，也可以看代码get_timing_signal_ld()，对位置编码而言并不只有一种方法。需要注意的是，编码方法必须能够处理未知长度的序列。
The Residuals 编码器结构中值得提出注意的一个细节是，在每个子层中（slef-attention, ffnn），都有残差连接，并且紧跟着layer-normalization。
如果我们可视化向量和layer-norm操作，将如下所示：
在解码器中也是如此，假设两层编码器+两层解码器组成Transformer，其结构如下：
The Decoder Side 现在我们已经了解了编码器侧的大部分概念，也基本了解了解码器的工作方式，下面看下他们是如何共同工作的。
https://jalammar.github.io/images/t/transformer_decoding_1.gif
在编码之后，是解码过程；解码的每一步输出一个元素作输出序列下面的步骤一直重复直到一个特殊符号出现表示解码器完成了翻译输出。每一步的输出被喂到下一个解码器中。正如编码器的输入所做的处理，对解码器的输入增加位置向量。 https://jalammar.github.io/images/t/transformer_decoding_2.gif 在解码器中的self attention 层与编码器中的稍有不同，在解码器中，self-attention 层仅仅允许关注早于当前输出的位置。在softmax之前，通过遮挡未来位置（将它们设置为-inf）来实现。
The Final Linear and Softmax Layer 解码器最后输出浮点向量，如何将它转成词？这是最后的线性层和softmax层的主要工作。
Recap of Training 现在我们已经了解了一个训练完毕的Transformer的前向过程，顺道看下训练的概念也是非常有用的。
模型的词表是在训练之前的预处理中生成的 一旦定义了词表，我们就能够构造一个同维度的向量来表示每个单词，比如one-hot编码，下面举例编码“am”。
举例采用one-hot编码输出词表 下面让我们讨论下模型的loss损失，在训练过程中用来优化的指标，指导学习得到一个非常准确的模型。
The Loss Function 我们用一个简单的例子来示范训练，比如翻译“merci”为“thanks”。那意味着输出的概率分布指向单词“thanks”，但是由于模型未训练是随机初始化的，不太可能就是期望的输出。
由于模型参数是随机初始化的，未训练的模型输出随机值。我们可以对比真实输出，然后利用误差后传调整模型权重，使得输出更接近与真实输出 如何对比两个概率分布呢？简单采用 cross-entropy或者Kullback-Leibler divergence中的一种。
对一个句子而言，训练模型的目标概率分布 在足够大的训练集上训练足够时间之后，我们期望产生的概率分布如下所示：
训练好之后，模型的输出是我们期望的翻译。当然，这并不意味着这一过程是来自训练集。注意，每个位置都能有值，即便与输出近乎无关，这也是softmax对训练有帮助的地方。 现在，因为模型每步只产生一组输出，假设模型选择最高概率，扔掉其他的部分，这是种产生预测结果的方法，叫做greedy 解码。另外一种方法是beam search，每一步仅保留最头部高概率的两个输出，根据这俩输出再预测下一步，再保留头部高概率的两个输出，重复直到预测结束。top_beams是超参可试验调整。
Go Forth And Transform 希望本文能够帮助读者对Transformer的主要概念理解有个破冰效果，如果想更深入了解，建议如下步骤：
相关工作
Depthwise Separable Convolutions for Neural Machine Translation
One Model To Learn Them All
Discrete Autoencoders for Sequence Models
Generating Wikipedia by Summarizing Long Sequences
Image Transformer
Training Tips for the Transformer Model
Self-Attention with Relative Position Representations
Fast Decoding in Sequence Models using Discrete Latent Variables
Adafactor: Adaptive Learning Rates with Sublinear Memory Cost
致谢：
为感谢支持，已点赞/分享/赞赏10篇/次以上的朋友，请加微信，进入微信群。 我将发放 免费 加入知识星球的链接。
高阅读量文章
