大语言模型理论与实践.pdf

大语言模型理论与实践

张奇桂韬郑锐黄萱菁

2023年7月22日

·

数学符号

数与数组

α标量

α向量

A矩阵

A张量

Inn行n列单位矩阵

vw单词w的分布式向量表示

ew单词w的独热向量表示：[0,0,...,1,0,...0]，w下标处元素为1

索引

αi向量α中索引i处的元素

α−i向量α中除索引i之外的元素

wi:j序列w中从第i个元素到第j个元素组成的片段或子序列

Aij矩阵A中第i行、第j列处的元素

Ai:矩阵A中第i行

A:j矩阵A中第j列

Aijk三维张量A中索引为(i,j,k)处元素

A::i三维张量A中的一个二维切片

集合

A集合

R实数集

C复数集

{0,1,...,n}含0和n的正整数的集合

[a,b]a到b的实数闭区间

(a,b]a到b的实数左开右闭区间

ii大规模语言模型理论与实践--张奇、桂韬、郑锐、黄萱菁

线性代数

A⊤矩阵A的转置

A⊙B矩阵A与矩阵B的Hadamard乘积

det(A)矩阵A的行列式

[x;y]向量x与y的拼接

[U;V]矩阵A与V沿行向量拼接

x