一种基于LDA模型的主题句抽取方法.pdfVIP

ComputerEngineeringandApplications计算机工程与应用 一 种基于LDA模型的主题句抽取方法 王 力 ，李培峰 ，朱巧明 WANGLi一，LIPeifeng ，ZHUQiaoming， 1．苏州大学 计算机科学和技术学院，江苏 苏州 215006 2江苏省计算机信息处理技术重点实验室，江苏 苏州 215006 1．SchoolofComputerScienceandTechnology,Soochow University,Suzhou，Jiangsu215006，China 2．JiangsuProvincialKeyLabforComputerInformationProcessingTechnology，Suzhou，Jiangsu215006，China WANGLi，LIPcifeng，ZHUQiaoming．ApproachfortopicalsentenceextractionbasedonmodelLDA．ComputerEngi— neeringandApplications，2013，49(2)：160—164． Abstract：ThispaperproposesanoveltopicsentenceextractionapproachbasedonmodelLDA onbasisofacquiringcandidate topicsentencesthroughthetopic—relatedandquery—basedkeywordexpansion．Itcanextractfinegranularityonthesubjectand increasethereliabilityofthecertaintopicalinformation．Onseveralsub—topicsagainstatargettopic，itextractsthosetopicsen— tencesbymeansofthereliabilitycalculation accordingtothesmoothnessofthetopic·sentenceprobabilitydistribution．The methodachievesgoodresultinthespecialapplicationofsentenceextractiononwebtopic． Keywords：LatentDirichletA11ocation(LDA)：topicmodel；topicalsentenceextraction；informationfusion 摘 要 ：在基于Web的主题关键词查询扩展 ，获取候选主题句的基础上 ，提 出一种基于LDA模型的主题句抽取方法，以抽 取粒度较细的主题信息，并增加主题信息的置信度。该方法通过多个侧面对 目标主题的衬托 ，采用LDA模型对主题信息 进行建模 ，利用各个主题概率分布的平滑度进行候选句的可信度计算来抽取主题句。在面向Web的主题句抽取的具体应 用中，取得 了较好的效果。 关键词 ：隐含狄利克雷分配 (LDA)；主题模型；主题句抽取；信息融合 文献标志码 ：A 中图分类号：TP391．12 doi：10．3778／j．issn．1002—8331．1106．0361 主题句是表示文本或文档集主题内容的重要方式 ，主 Allocation)模型，通过多个侧面对 目标主题的衬托，根据候 题句抽取是文本分类、信息检索、自动文摘等文本 自动处 选句的主题概率分布分析，提出主题句可信度计算方法来 理应用的基础性工作。主题句抽取结果的好坏将进一步 抽取主题句。 影响后续领域应用的系统性能。目前，关于主题句抽取的 研究主要涉及两类不同的研究对象：(1)对于既定的文档 1 相关研究 或文档集合抽取主题句，该类研究方法往往考虑文档的结 在面向查询 的多文档文摘领域 ，马亮等…采用词语的 构特征和主题概念特征作为主题句抽取的依据 。(2)基于 查询相关特性和主题相关特性对候选句打分来抽取主题 Web获取主题相关候选句，然后对候选句进行再次筛选，进 句 。LinZhao在 图排序算法查询扩展的基础上 ，利用 一 步抽取主题句集合，这种方法的研究对象不具备篇章