本文将会系统的介绍自然语言处理和图像领域的Transformer内容，篇幅较长，请耐心阅读(小白大佬均可)。

Transformer 的直观认识

Transformer就是一个encoder和decoder结构。只是encoder和decoder有很多层，encoder的输出还会作为下一个encoder的输入，通过N个encoder(大部分论文中是六个)编码后，将第六个encoder的输出传给decoder，并在decoder中重复数次。

Encoder

Encoder即为把自然语言序列或图像的每一个patch映射为隐藏层的数学表达的过程。Encoder部分将会按照绿框所示的五个部分分别展开：