基于主题模型LDA的多文档自动摘要.pdfVIP

基于主题模型LDA的多文档自动摘要★ 杨潇，马军，杨同峰，杜言琦，邵海敏、 (山东大学计算机科学与技术学院，山东济南250101) E-mail：yangx@mail．sdu．edu．cn 摘要：随着Web上文档数量的指数型增长，文档摘要起到越来越重要的作用，近年来使用概率主题模 Dirichlet 型表示多文档摘要问题受到研究者的关注。LDA(LatentAllocation)是主题模型中具有代表性的概 率生成性模型之一。本文提出了～种基于LDA的文摘方法，该方法以复杂度确定LDA模型的主题数目， 以Gibbs抽样获得模型中旬子的主题概率分布和主题的词汇概率分布，以句子中主题权重的加和确定各个 主题的重要程度。根据LDA模型中主题的概率分布和句子的概率分布提出了两种不同的句子权重计算模 型。实验中使用ROUGE评测标准，与代表最新水平的SumBasic和其他基于LDA的多文档摘要．在普通多 文档摘要测试集DUC2002上的评测数据进行比较，结果表明本文提}n的基于LDA的多文档摘要在 ROUGE的各个评测标准上均优于SumBasic，与其他基于LDA模型的文摘相比也具有优势。 关键词：多文档自动文摘；句子分值计算；主题模型；LDA；主题数目 i CMul t Summari zati onBased Automat i—Document on i C Top I ModeLDA YANG Hai—Min Xiao，MAJun，YANG Yan—Qi，Shao Tong·Feng，Du Schoolof Scienceand 2501 Compnter University,Jinan01，China Technology,Shandong E-mail：yangx@．mail．sdu．edu．cn all role the Abstract：Documentsummarization with of playsincreasinglyimportant exponentialgrowth modelsformulti-document documentsontheWeb．andthe of summarization problemusingprobabilistictopic received multi-documentsummarizationis has considerableattention method representation recently．A proposed onthe whichisa modelforthe based Dirichlet LDA(Lat