一、Transformer 解决了什么问题 传统模型(RNN/LSTM) * 痛点:无法并行处理、长距离依赖失效、上下文理解局限 * 举例:传话游戏,只能一传一,不能互相通信,第1个人接收到的信息跟第10个人比肯定会...

一、先看 Transformer 的整体结构 架构图： 示例：输入:'The cat sat on the mat'--->输出:'猫坐在垫子上' **输入阶段:** * 1）词嵌入(Word Embedding) * 将每个单词转换为512维向量,例如: *...