腾讯模型面试题及详细答案.docxVIP

腾讯模型面试题及详细答案

一面（基础八股+算法，核心考察基础理解力）

1.请详细说说Transformer的具体结构，结合机器翻译场景说明其工作流程

答案：Transformer核心分为编码器（Encoder）和解码器（Decoder）两部分，整体基于自注意力机制，替代了传统RNN的序列依赖，能并行处理输入序列，提升效率。

先看结构：编码器由N个相同的层堆叠而成，每个层包含两个子层——多头自注意力机制（Multi-HeadAttention）和前馈神经网络（FeedForwardNetwork），每个子层后都会加残差连接和层归一化（LayerNormalization）；解码器同样是N个层堆叠，比编码器多了一个掩码多头自注意力机制（MaskedMulti-HeadAttention），用来防止预测时看到未来的token。

结合机器翻译（比如中译英）的工作流程，分训练和测试两个阶段：

训练时：首先对中文输入句子做分词、编码（比如用BPE算法），生成输入嵌入（InputEmbedding），再加上位置编码（PositionalEncoding），因为Transformer没有时序依赖，位置编码用来保留句子的顺序信息；之后将嵌入向量输入编码器，通过多头自注意力机制，让每个token都能关注到输入序列中所有其他token的信息（比如“我爱吃苹果”中，“吃”能关注到“我”