基于LDA重要主题的多文档自动摘要算法基于LDA重要主题的多文档自动摘要算法.pdf

ISSN 1673—9418 C0DEN JKYTA8 E—mail：fcst@vip．163．corn JournalofFrontiersofComputerScienceandTechnology http：／w／ww．ceaj．org 1673--9418／2015／09(02)--0242-0·7 Tel：+86．．10． doi：10．3778~．issn．1673-9418．1407006 基于LDA重要主题的多文档 自动摘要算法 刘 娜 ，路 莹，唐晓君，李明霞 大连_v-i大学 信息科学与工程学院，辽宁 大连 116034 M ulti—DocumentSummarizationAlgorithm BasedonSignificanceTopicofLDA LIUNa+，LUYing，TANGXiaojun，LIMingxia SchoolofInformationScience＆ Engineering，DalianPolytechnicUniversity,Dalian，Liaoning116034，China +Correspondingauthor：E—mail：litma@dlpu．edu．cn LIUNa，LUYing，TANGXiaojun，eta1．Multi—documentsummarizationalgorithmbasedonsignificancetopic ofLDA．JournalofFrontiersofComputerScienceandTechnology,2015，9(2)：242—248． Abstract：Thispaperproposesamulti—documentsummarizationalgorithmbasedonsignificancetopicofLDA(1atent Dirichletallocation)mode1．Therearetwodifferencesbewteenthisalgorithm andotheralgorithmsbasedonLDA mode1．Firstly,thisalgorithm givesthedefinitionofsignificanttopic，dividestopicintosignificancetopicandinsig’ nificancetopic，calculatessimilaritybetweensentenceanddocumentusingsing ificancetopic．Secondly,besidetopic characteristics，thisalgorithm alsoconsiderssomestatisticscharacteristics，suchasterm frequency,sentenceposition， sentencelength，etc．Thisalgorithm notonlyhighlightstheadvantagesofstatisticscharacteristics，butalsocooperates withLDA topicmode1．Theexperimentsshow thattheproposedalgorithm achievesbetterperformancecomparedto theotherstate—of-the—artalgorithmsonDUC2002corpus． Keywords：multi-documentsummarization；topicmodel；significancetopic 摘 要：提 出了基于LDA(1atentDirichletallocation)2~要主题的多文档 自动摘要算法。该算法与已有的基于 主题模型的多文档 自动摘要算法主要有两点区别：第一，在计算句子主题与文档主题相似度 问题上，引入并定 义了主题重要性的概念，将LDA模型建立的主题分成重要和非重要主题两类，计算句子