基本概念-山东大学信息检索室.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * BM25 排序公式 隐性语义索引模型 Latent Semantic Indexing 一般文档的特征表示维数都很高，对文本常是上万维，对图像也常是50-60多维，带来的问题是： 1）向量中0很多，即稀疏性 2）存储空间要求很大 3）虽然说维数也多，似乎对文档的特征描述越全面，但由于数据的稀疏性，有时维数大，计算的效果不一定比维数小的好 能否去掉一些线性相关的向量来减少维数 线性代数中的矩阵特征向量！ 如何精选标记词？ 特征值 特征向量 Eigenvectors (for a square m?m matrix S) How many eigenvalues are there at most? only has a non-zero solution if this is a m-th order equation in λ which can have at most m distinct solutions (roots of the characteristic polynomial) – can be complex even though S is real. eigenvalue (right) eigenvector Example 矩阵-向量乘积 具有特征值 3, 2, 0，对应的向量有 任何向量 ( x= ) 可以看出是特征向量的组合 x = 2v1 + 4v2 + 6v3 这样矩阵-向量乘积可以用特征值和特证向量表示出来 虽然向量 x 是任意的，但Sx 则是也是由特征值和特征向量的组合所决定的。 线性代数知识 一个n × n的实对称矩阵 M 是正定的当且仅当对于所有的非零实系数向量z，都有 zTMz 0。其中zT 表示z的转置。 M是半正定矩阵当且仅当对所有不为零的x?Rn (Cn)，都有： x*Mz ? 0, x* 为x的共轭转置。 Example Let Then The eigenvalues are 1 and 3 (nonnegative, real). The eigenvectors are orthogonal (and real): Real, symmetric. Plug in these values and solve for eigenvectors. 特征值 特征向量 对对称矩阵, 对应不同特征值的特征向量之间是正交的 （ orthogonal） 所有实对称矩阵的特征值是实数. 对正的半正定矩阵的所有特征值是非负的。 矩阵的奇异值分解 m?r r?r V is r?n 对任意m? n 矩阵 A ，A 的秩为 r，均可分解为两个正交矩阵和一个对角矩阵的乘积(Singular Value Decomposition SVD) U 的列向量是由 AAT （正定矩阵）的相互正交的特征向量组成. Singular values. Eigenvalues ?1 … ?r of AAT are the eigenvalues of ATA. V 的列向量是由 ATA （正定矩阵）相互正交的特征向量组成. 满足 SVD can be used to compute optimal low-rank approximations. Approximation problem: Find Ak of rank k such that A and X are both m?n matrices. Typically, want k r. Low-rank Approximation Frobenius norm Solution via SVD Low-rank Approximation set smallest r-k singular values to zero column notation: sum of rank 1 matrices k SVD example Let Thus m=3, n=2. Its SVD is Typically, the singular values arranged in decreasing order. LSI 与 SVD LSI 是在 SVD 的基础上,只保留最大的k 个奇异值, 而忽略较小的奇异值,从而达到进一步降维,即前面讲的近似方法。 具体做法是: SVD 得到的?,只保留最大的k 个奇异值得到?’, 进行奇异分解的反运算, 得到 A 的近似矩阵 索引词 文档 将A 进行 SVD 分解的 A = Ｕ?VT 其中， 计算机