Transformer - model architecture

flyfish
在这里插入图片描述
Transformer总体架构可分为四个部分:
输⼊部分
输出部分
编码器部分
解码器部分

输入部分
在这里插入图片描述
输出部分

输⼊部分包含:
源嵌⼊层和位置编码
⽬标嵌⼊层和位置编码

输出部分包含:
线性层
softmax处理器

在这里插入图片描述

左侧编码器部分和右侧解码器部分
在这里插入图片描述
编码器部分:
由N个编码器层堆叠⽽成
每个编码器层由两个⼦层连接结构组成

解码器部分:
由N个解码器层堆叠⽽成
每个解码器层由三个⼦层连接结构组成
在这里插入图片描述

相关阅读:
5月9号软件资讯更新合集......
含文档+PPT+源码等]精品微信小程序ssm超市购物系统小程序+后台管理系统|前后分离VUE[包运行成功]微信小程序项目源码Java毕业设计
5. redux
数据结构：二叉树（超详解析）
鼠标行为HHT变换的工业互联网用户身份认证
基因组科学数据的安全管理与应用
问题解决：python接入支付宝沙箱问题处理
排序算法之归并排序与基数排序
Android Ble蓝牙App（七）扫描过滤
某大学ipv6和ipv4结合的校园网规划设计

原文地址：https://blog.csdn.net/flyfish1986/article/details/137238413