红蜘蛛知识图谱项目面试题评价表模板.pdfVIP

自我介绍评价：

问题1:说一说Transformer架构？

提示：输入部分、输出部分、编部分、器部分

-输入部分：

-wordembedding+posenconding

-输出部分：

-Linear层+Softmax

-编层（6层）：

-两个子层：

-第一个子层：多头自注意力层+Add+LayerNorm

-第二个子层：前馈全连接层+Add+LayerNorm

-器层（6层）：

-三个子层

-第一个子层：多头自注意力层+Add+LayerNorm

-第二个子层：多头注意力层+Add+LayerNorm

-第三个子层：前馈全连接层+Add+LayerNorm

问题2:说一说注意力机制QKV的理解和QKV的基本计算规则

注意力机制：采用注意力的方式会选择性地关注主要信息，同时忽略其他次要信息

QKV的基本计算规则：

Attention(Q,K,V)=Softmax(Linear[Q,K])*V

释义：将Q与K的转置做点积运算,然后除以一个缩放系数,再使用softmax处理获

得结果；最后与V做张量乘法：

问题3:说一说自注意力机制的