2025年下学期高中数学与注意力机制数学原理试卷.docVIP

2025年下学期高中数学与注意力机制数学原理试卷

一、单项选择题（本大题共12小题，每小题5分，共60分）

已知注意力权重分配函数为$a_{ij}=\frac{\exp(sim(q_i,k_j))}{\sum_{m=1}^{n}\exp(sim(q_i,k_m))}$，其中$sim(q,k)$表示查询向量$q$与键向量$k$的相似度。若$n=3$且$sim(q_1,k_1)=2$，$sim(q_1,k_2)=1$，$sim(q_1,k_3)=0$，则$a_{12}$的值为（）

A.$\frac{1}{1+e+e^2}$B.$\frac{e}{1+e+e^2}$C.$\frac{e^2}{1+e+e^2}$D.$\frac{1}{e+e^2}$

在自注意力机制中，给定序列$x=[x_1,x_2,x_3]$，经过线性变换后得到$Q=\begin{bmatrix}10\01\end{bmatrix}$，$K=\begin{bmatrix}12\34\end{bmatrix}$，则注意力分数矩阵$S=QK^T$的第一行元素之和为（）

A.3B.5C.7D.9

设注意力机制中的值向量$v_j\in\mathbb{R}^d$，输出向量$o_i=\sum_{j=1}^{n}a_{ij}v_j$。若$d=2$，$v_1=[1,2]$，$v_2=[3,4]$，且$a_{i1}=0.6$，$a_{i2}=0.4$，则$o_i$的第二个分量为（）

A.2.8B.3.2C.3.6D.4.0

多头注意力机制将输入通过$h$个不同的线性变换生成多组$Q,K,V$，并将每组输出拼接后线性变换得到最终结果。若单头注意力输出维度为$d_v$，则多头注意力的总输出维度为（）

A.$d_v$B.$h\cdotd_v$C.$\frac{d_v}{h}$D.$h+d_v$

已知位置编码函数$PE_{(pos,2i)}=\sin\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right)$，$PE_{(pos,2i+1)}=\cos\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right)$，当$pos=1$，$i=1$，$d_{\text{model}}=4$时，$PE_{(1,2)}$的值为（）

A.$\sin(1/100)$B.$\cos(1/100)$C.$\sin(1/10)$D.$\cos(1/10)$

若注意力权重$a_{ij}$满足$\sum_{j=1}^{n}a_{ij}=1$且$a_{ij}\geq0$，则${a_{ij}}$构成的数学结构是（）

A.概率分布B.向量空间C.矩阵范数D.特征值

在缩放点积注意力中，分数矩阵$S$的元素需除以$\sqrt{d_k}$（$d_k$为键向量维度），其主要目的是（）

A.提高计算速度B.防止梯度消失C.避免softmax函数饱和D.增加特征维度

设$f(x)$为注意力机制中的激活函数，若$f(x)=\frac{1}{1+\exp(-x)}$，则$f(x)+f(-x)=$（）

A.0B.1C.$x$D.$2f(x)$

给定序列长度为$n$，自注意力机制的时间复杂度为（）

A.$O(n)$B.$O(n^2)$C.$O(n^3)$D.$O(n\logn)$

在图注意力网络（GAT）中，节点$i$对邻居节点$j$的注意力权重计算公式为$a_{ij}=\frac{\exp(\text{LeakyReLU}(\vec{a}^T[Wh_i|Wh_j]))}{\sum_{k\in\mathcal{N}_i}\exp(\text{LeakyReLU}(\vec{a}^T[Wh_i|Wh_k]))}$，其中$|$表示向量拼接。若$h_i,h_j\in\mathbb{R}^2$，$W\in\mathbb{R}^{3\times2}$，则$[Wh_i|Wh_j]$的维度为（）

A.$3\times1$B.$6\times1$C.$3\times2$D.$2\times3$

设注意力权重$a_{ij}$关于相似度$s_{ij}$的导数为$\frac{\partiala_{ij}}