基于LSA与pLSA的多文档自动文摘.pdfVIP

CN43—1258／TP 计算机工程与科学 2009年第31卷第9期 Vbl．31。No．9。2009 ISSN1007—130X CoMPUTERENGINEERINGSCIENCE 文章编号：1007-130X(2009)09—0108—04 基于LSA和pLSA的多文档自动文摘。 Multi——Documentation onLSAand Based pLSA 俞辉 YUHui (中国石油大学计算机与通信工程学院，山东东营257061) of andCommunication of (SchoolComputer Engineering，ChinaUniversityPetroleum。Dongying257061，China) 摘要：本文提出一种基于LSA和pLSA的多文档自动文摘策略。首先，将多个文档切分成自然段，以自然段作为聚 类单位。采用了新的特征提取方法构建词一自然段矩阵，利用LsA对词一自然段矩阵进行奇异值分解，使得向量空间模型 中的高维表示变成在潜在语义空间中的低维表示。然后，采用pLSA将数据转换成概率统计模型来计算。在文摘生成的 过程中采用基于质心的文摘句挑选办法得到文摘并输出。实验表明，本文提出的方法有效地提高了生成文摘的质量。 Abstract：This anew ofmulti-documentsummarizationbasedonthelatentsemantic paperproposesstrategy analysis andthe latentsemantic documentsage to areusedtocluste- probabilistic analysis．Firstly。allsplitparagraphs，andthey whichstemsfromlinear featuresareusedtoconstruct matrices．Latentsemantic algebra ring．New word-paragraph analysis andthe a value of matrices，SOthat informationisfiltered performssingulardecompositionword-paragraph unimportant dimensional inthevectormodelis tolowdimensional inthelatentsemantic high representationspace changed representation datais tOthe modelthe latentsemantic the of space．Co-occurrencechangedprobabilisticby probabilistic analysis．Inperiod summarization．themethodofcentroid-basedsummarizationisusedto summarization．Theresults