知识表示与处理（2025-第10次课 话题模型）.pdfVIP

讨论：假设文档集合如下：

讨论：假设文档集合如下：

pTerm-Document矩阵：

Similarity（human，user）？

数学基础

ØSVD（SingularValueDecomposition，奇异值分解）是线性代数中一种重要的

矩阵分解方法，广泛应用于信号处理、统计学、机器学习、自然语言处理等领域。

ü定义

对于任意一个实数或复数矩阵，其SVD分解形式为：

其中：

•是一个正交矩阵（列向量为左奇异向量）；

•是一个正交矩阵（列向量为右奇异向量）；

•是一个对角矩阵，对角线上的非负实数称为奇异值（

singularvalues），通常按从大到小排列：，

其中rrank(A)。

数学基础

Ø低秩近似

ü定义对任意kr，最佳秩-k近似为：

其中,U取前k列，Σ为前k个奇异值，V为前k列。

kkk

潜在语义分析（LSA）

潜在语义分析旨在解决不能准确表示语义的问题，

试图从大量的文本数据中发现潜在的，以表示文本的语

义内容。

Topic

•使用向量来表示和

•通过向量间的关系(如夹角)来判断及间的关系

•将和映射到潜在语义空间

潜在语义分析（LSA）

Ø已知：

D{d,d,...,d]文本的集合

12n

W{w,w...,w]在所有文本中出现的单词的集合

12m

Ø构造单词向量空间：词-文档矩阵

潜在语义分析（LSA）

Ø构造话题向量空间：词-话题矩阵

假设：

•所有文本共有k个

其中t是单词w在话题t上的权值，

•每个由一个m维向量表示ilil

代表该单词在该话题中的重要程度。

•k个话题张成一个话题向量空间：

单词-话题矩阵T：

如果两个文本的话题相似，那么两者的

语义应该也相似。

每一列都对应了一个话题

潜在语义分析（LSA）

Ø文本在话题向量空间中的表示：话题-文本矩阵Y：

每一列对应一个文本