对应词频矩阵-北京大学网络与信息系统研究所.PPT

潜在语义标引及其应用 Wang Jimin Nov 11, 2005 Outline 矩阵的奇异值分解 (SVD) LSI 与SVD LSI的应用 Introduction 在文档集合中假设词语之间具有独立性（正交假设），一篇文档可用向量空间模型(VSM)中的一个向量来表示，进而计算查询与文档间的相似性，进行信息检索 但自然语言中词语的同义性和多义性是普遍存在的，如“计算机与电脑”、“virus”、“bank”。 词与词之间是有关联关系的 Introduction 如何修正“正交假设”的缺陷与不合理性，并将文本检索从离散的索引词匹配深入到概念或语义匹配的层面上，就成为代数检索迫切需要解决的问题 M. W. Berry 和S. T. Dumais 在20世纪80年代末提出了一种新的信息检索模型：潜在语义标引（Latent Semantic Indexing，LSI），它可以看作经典向量空间模型(VSM)的一种改进 Introduction LSI是一种建立在统计之上的学习方法：它试图发现对象之间的关联模式及其隐藏的对象间的结构关系。 LSI方法最初应用于文本信息检索领域，它可以有效地解决了同义词和多义词的问题,通过识别文本中的同义词, LSI将信息检索精度提高了10%--30%. 随着应用领域的不断拓展, LSI已在信息过滤、信息分类/聚类、交叉语言检索、信息理解、判断和预测、特征抽取（降维）、文本可视化等众多领域中得到了广泛的应用。 矩阵的奇异值分解 SVD 词频矩阵 在向量空间模型中，一篇文档可用向量空间模型(VSM)中的一个向量来表示。由此，构造词频矩阵。例如：A collection of documents 对应词频矩阵 词频矩阵 这样的词频矩阵一般是非常稀疏的，如在Trec文档集合中，非零值占：0.03%。上述矩阵取值可以是tf*idf等权值。 ?AT*A与A*AT 各自表达一定的含义: AT*A表示文档-文档间的关联矩阵, A*AT表示词语-词语间的关联矩阵. AT*A与A*AT 对词频矩阵作奇异值分解 LSI and SVD LSI and SVD LSI and SVD 新矩阵Ak是A的一个k-秩近似矩阵，它在最小平方意义下最接近原始矩阵，即最优的近似矩阵。 Ak包含了A的主要结构信息，可以理解为对A的重构，它忽略了词项使用上的噪音数据，由于维数的降低，近似的词项被合并。如：同义词在k维空间中有相似的表示。 并且在这个k维空间中，出现在相似文档中的词项也将是近似的，即使它们从未出现在同一个文档中。LSI构造了新的语义空间，具备“概念检索”的特征。 LSI and SVD SVD更新策略 SVD更新策略：对已经进行了奇异值分解的词频矩阵，若有新的文档或词项加入，主要有两种方法进行SVD更新：重新计算SVD或者直接加入。 ? 直接加入是一种简单的更新策略，如图分别为直接加入p个文档或q个词项。 SVD更新策略 K值的选取 A demonstration of LSI 17 book titles from book demo demo K=2 For ducments, (above formula) plot Some clustering Can be found, Such as: B4, (by cosine similar) query Query: plot (x,y) Query-plot Some similar documents can be got by cosine measure. Comparison with lexical matching Applications of LSI : Applications to IR LSI is an algebraic model for IR. (VSM Alternative ) Applications to IR Relevance feedback: Rocchio’s method Applications to dimensions Reduced Applications to information filtering Applications to information filtering Applications to information filtering Other Applications Query: can represented by terms, documents or combinations of the two (as in relevance feedback). Objects return