基于隐主题马尔科夫模型的多特征自动文摘-北京大学学报.PDFVIP

北京大学学报 ( 自然科学版), 第 50 卷 , 第 1 期 , 2014 年 1 月 Acta Scientiarum Naturalium Universitatis Pekinensis, Vol. 50, No. 1 (Jan. 2014) doi: 10.13209/j.0479-8023.2014.026 基于隐主题马尔科夫模型的多特征自动文摘 † 刘江鸣 徐金安 张玉洁 北京交通大学计算机与信息技术学院 , 北京 100044; † 通信作者 , E-mail: jaxu@bjtu.edu.cn 摘要 基于隐主题马尔科夫模型 , 消除 LDA 主题模型的主题独立假设, 使得文摘生成过程中充分利用文章 的结构信息, 并结合基于内容的多特征方法提高文摘质量。提出在不破坏文章结构的前提下 , 从单文档扩展 到多文档的自动文摘策略, 最终搭建完善的自动文摘系统。在 DUC2007 标准数据集上的实验证明了隐主题 马尔科夫模型和文档特征的优越性, 所实现的自动文摘系统 ROUGE 值有明显提高。 关键词 隐主题马尔科夫模型; 多特征; 多文档自动文摘 中图分类号 TP391 Summarization Based on Hidden Topic Markov Model with Multi-features † LIU Jiangming, XU Jin’an , ZHANG Yujie School of Computer and Information Technology, Beijing Jiaotong University, Beijing 100871; † Corresponding author, E-mail: jaxu@bjtu.edu.cn Abstract Based on hidden topic Markov model (HTMM), the authors eliminate assumption limitation in LDA (latent dirichlet allocation) to exploit the structure information during generating summary, and use multi-features based on document content to improve the summary quality. Furthermore, a method for developing single-document summarization to multi-document summarization without breaking document structure is proposed, to achieve the perfect automatic summarization system. Meanwhile, experiment results on the standard dataset DUC2007 show the advantage of HTMM and multi-feature. Compared with the performace of LDA, ROUGE values are improved based on HTMM with