LDA主题驱动的中文多文档自动文摘方法.pdfVIP

LDA主题驱动的中文多文档自动文摘方法‘ 张明慧，王红玲，周国栋 (苏州大学计算机科学与技术学院，江苏苏州215002： 江苏省计算机信息处理技术重点实验室，江苏苏州215002) E-mail：{20084227065097,hlwang,gdzhou}④uda．edttcn 摘要：多文档自动文摘能够帮助人们自动、快速地获取信息，本文实现了一个基于主题模型的中文多文档自动 Dirichlet 文摘系统，其中主题模型采用浅层狄利赫雷分配(Latent Allocation,LDA)，该模型是—个多层的产生式概 率模型，能够检测文档中的主题分布．该方法使用LDA为多文档集合建模，通过计算句子在不同主题匕的概率 分布之问的相似度作为句子的重要度，并根据句子重要度进行文摘句的抽取。实验结果表明，该方法所得到的文 摘，性能优于传统的文摘方法． 关键词：中文自动文摘：主题模型；LDA；多文档； nI -·● ’ · · 一● · -n^ Unl onLU^ neSemUI tl-documentSUmmarl zatI Onbased i c-OrIi entedhod P0dohtem Tol ZhangMing-hui，WangHong—ling，ZhouGuo-dong Provincial Information 21 Jiangsu KeyLaboratoryofComputer 5006,China) ProcessingTechnology,Suzhou Bfnail：(20084227065097,hlwang,gdzhou)@suneducn Abstract：Multi-documentsummarizationcan acccssto andfast．Inthis information pap％We helppeople automatically isa anewmethodforChinesemulti-documentsumm捌onbasedonLDA model．TheLDAmodel propose topic multi·level model．itcandetectthe distributionofmeducument．Inthe model generativeprobabilistic topic method,We the document thencalculatethedistancebctwcenasentenceandthe multi-documentsviatheir usingLDA,and given topic distributions越theofthe cxtrac[sentencestothe ofmesentence． probability weight weight sentence,finally．weaccording re