科技节知识问答赛题目及答案.docxVIP

科技节知识问答赛题目及答案

一、人工智能与机器学习

1.问题：在Transformer模型中，自注意力机制（Self-Attention）的核心作用是什么？请结合查询（Query）、键（Key）、值（Value）的计算过程说明。

答案：自注意力机制的核心是让模型在处理序列时，动态捕捉不同位置元素之间的关联程度。具体来说，输入序列中每个位置的向量会分别生成Query、Key、Value三个向量。对于每个位置i，模型通过计算Query_i与所有位置j的Key_j的点积（或缩放点积），得到i对j的注意力权重，再用该权重对所有位置的Value_j进行加权求和，生成i位置的上下文感知表示。这一过程使模型能根据当前位置的信息，自适应关注序列中对其最相关的其他位置，解决了传统循环神经网络（RNN）长距离依赖问题。

2.问题：大语言模型（LLM）如GPT-4在训练时采用的“上下文学习”（In-ContextLearning）与传统监督学习的主要区别是什么？其底层依赖的关键能力是什么？

答案：传统监督学习需要为每个任务提供大量标注样本，通过反向传播更新模型参数；而上下文学习仅需在输入中提供少量示例（甚至零示例），模型直接基于输入的“上下文”生成符合任务要求的输出，无需调整模型参数。其底层依赖的关键能力是模型通过预训练获得的“任务理解”和“模式匹配”能力——模型在海量文本中学习到