基于LDA主题特征的自动文摘方法.pdfVIP

第28卷第lO期 计算机应用与软件 Vo1．28No．10 2011年 l0月 ComputerApplicationsandSoftware Oct．201l 基于 LDA主题特征的 自动文摘方法 张明慧 王红玲 周国栋 (苏州大学计算机科学与技术学院 江苏 苏州 215006) (江苏省计算机信息处理技术重点实验室 江苏 苏州 215006) 摘 要 近年来概率主题模型受到了研究者的广泛关注，LDA(LatentDirichletAllocation)模型是主题模型中具有代表性的概率生 成模型之一，它能够检测文本的隐含主题。提出一个基于LDA模型的主题特征，该特征计算文档的主题分布与句子主题分布的距 离。结合传统多文档 自动文摘中的常用特征，计算句子权重，最终根据句子的分值抽取句子形成摘要。实验结果证明，加入LDA模 型的主题特征后，自动文摘的性能得到了显著的提高。 关键词 自动文摘 LDA 主题模型 多文档 中图分类号 TP301 文献标识码 A AN AUToMATIC SUMMAIUZATIoN APPRoACH BASED oN LDA ToPIC FEATURE ZhangMinghui WangHongling ZhouGuodong (SchoolofComputer~ienceandTechnology，SoochowUniversity，Suzhou215006，Jiangsu，China) (JiangsuProvincialKeyLaboratoryofComputerInformationProcessingTechnology，Suzhou215006，Jiangsu，China) Abstract Probabilistictopicmodelshavereceivedconsiderableattentionsinrecentyears．LDA model，asatopicmodel，isonerepre- sentativeamongprobabilisticgenerativemodels，whichisusedtodetectlatenttopicsfrom documents．Inthispaper，anLDA—model-based topicfeatureisproposed．Thefeatureisappliedtocalculatingthedistancebetween distributed documenttopicsanddistributedsentence topics．Bycombiningcommonfeaturesinconventionalmulti—documentautomaticsummarizations，sentencesareranked，andthesummaryis formedbyextractingsentencesorderedby theirweights．Experimentresuhsshowthattheautomaticsummarizationperfomranceissignincnatly improvedbytheintegrationofLDA mod eltopicfeature． Keywords Automaticdocumentsummraization Latentdirichletallocation(LDA) Topicmodel Multi—document 0 引 言 1 相关研究 从已发表的研究来看，使用主题模型进行 自动文摘并不少 文章摘要是指从大量的文本中提取出其中的重要信息来代 见，相关的研究有文献 [5—