基于LDA模型主题生成与混合建模应用研究.pdfVIP

隐含雷分配（LDA），是一种文档生成模型，如文本语料库的离散数据集合

生成的概率模型。也称作是一个分层的贝叶斯模型，集合中的每一个项目都被建模为一

个有限混合的基本集合的。反过来，每一个概率的基础集建模为一个

无限的混合物。在文本建模中，概率了一个明确的代表性的文件。该技术是基于变

分法和经验贝叶斯参数估计的EM算法的高效近似推理。在文档建模的过程中，我们比较了

文本分类和协同过滤与一个一元模型和概率模型的混合。

7.应用及实证结果

在这一部分中，我们讨论了经验评价中的LDA建模的几个问题--文档建模，文档分类，协

同过滤。在所有的混合模型中，预期完整的日志的数据可能有局部极大值的点，所有或部分

的混合组件是彼此相等的。为了避免这些局部极大值，应适当的运用初始化算法，在实验中，

我们用五个文档来初始化每个条件的多项式分布，减少了其有效的总长度为2个字，和平

滑跨整个词汇。这是描述了一个近似Heckerman和Meila最基本的方案。

7.1文档建模

我们培养了一批潜在的变量模型，包括LDA，用两个文本语料库来比较这些模型的泛化性

能。语料库中的文件被视为未标记的，因此，我们的目标是密度估计，我们希望实现较高的

可能性，运用了测试集。特别是，我们计算出运用的测试集以评估模型的困惑。通过建模语

言约定俗成的习惯，使用单调递减的测试数据，并计算出相当于每字的可能性几何平均逆。

一个较低的困惑得分表示更好的泛化性能。3更正式，为一个测试集的M文档，困惑是：

在实验中，我们使用的语料库是科学从线虫群落（埃弗里，2002）中含5225个、

28414个独特的方面，包含16333个通讯社的文章和23075个独特条件的语料库中的一个子

集。在这两种情况下，我们用10%的数据进试，训练模型上其余的90%。在对数据的预

处理中，我们从语料库中删除了一个的列表中的50个停用词。我们进一步删除的话，只

发生一次。与LDA的单字相比，混合一元和pLSI模型描述在4节。我们训练所有的隐藏变

量模型，使用EM完全相同的停止准则，预期的对数似然函数的平均变化小于0.001%。pLSI

模型和一元混合严重的过学习问题，虽然不同。这种现象如表1所示。在一元模型

的混合元件中，过学习是一种熟悉的监督环境的现象，这种模型被称为朴素贝叶斯模型

（

Rennie，2），过学习现象是训练集见顶后的一个结果，这导致了一个几乎确定聚类的培

训文件（在E步骤）是用来确定每个组成这个词的概率（在M步骤）。一个以前看不见的文

件可能是最适合的混合元件之一，但可能会包含至少一个字，没有发生在培训文件，分配给

该组件。这样的话会有很小的几率，这会使新文档的困惑发生。随着k的增加，训练语

料库的文件被划分为更精细的集合，从而引起的词和小概率。对于一元的混合物，

通过变分贝叶斯平滑在5.4节方案可以缓解过度拟合现象。这确保所有的词在每个混

合成分中都会有一定的概率。在pLSI的情况下，硬聚类问题的是，每个

隐含雷分配(LDA)，是一个文档生成模型，如文本语料库的离散数据集合生成

的概率模型。也称为是一个分层的贝叶斯模型，集合中的每个项目都建模为一个有限混

合的基本集合的。反过来，每个概率的基础集建模为一个无限的混合。

在文本建模中，可能了一个明显的特征性的文件。该技术是基于变的分法和贝叶参数