基于SVM与MMR+融与的自动文摘方法.pdfVIP

第十一届全国人机语音通讯学术会议 基于 SVM 和 MMR 融和的自动文摘方法 余骁捷，邵阳，吴及，王侠 ( 清华大学 电子工程系，北京 100084) 摘 要：为了从文本中提取关键信息，需要对文本进行摘要。 年代 Luhn[1]提出自动文摘技术以来，研究人员在文 本文对文本句子提取多种类型的特征，采用支持向量机(SVM) 摘句的提取方面做了许多尝试。 计算样本在空间中的位置作为句子选为文摘句的置信度，从而 基于向量空间模型的方法通过衡量文章中句 能够根据实际需要按比例选取文摘句用于概括文本主要内容。 子的对于原文主题的重要性来选取最有代表性的 针对 SVM 方法在文摘句选取中的不足，本文引入基于最大边 语句，组成文摘。计算句子的重要性时既需要衡量 缘相关(MMR)的后处理方法，对于 SVM 难以区分类别的句 其对文章主题的代表性，也需要考虑组成文摘的内 子，综合其语义相关性以及冗余程度，进行二次筛选，从而构 容冗余。例如最大边缘相关（Maximal Marginal [2]方法即是一种典型向量空间模 成最终的文摘。实验表明，SVM 和 MMR 融合的引入提升了 Relevance, MMR ） 文摘句选取的性能。 型的自动文摘方法，这种方法综合考虑相似度和冗 关键词： 自动文摘；支持向量机；最大边缘相关 余度计算句子的 MMR 得分，从中选取得分高的句 中图分类号：TP391 子组成文摘。MMR 使用词法特征进行计算，特征 较为单一，Hori 等人通过一系列统计特征的线性加 A Fusion Summarization Framework 权和计算句子的代表性得分[3][4] ，获得有代表性的 based on SVM and MMR 文摘句。然而这样的方法同样受到权值等因素的影 响。 Yu Xiaojie, Shao Yang, Wu Ji, Wang Xia 文摘句的选取也可以看作一个两类分类问题， (Department of Electronic Engineering, 将文章中的句子划分为文摘句和非文摘句两种，这 Tsinghua University, Beijing, China) 样就可以在文章中提取句子更加丰富的特征构成 向量，通过统计分类方法进行分类。常用的分类方 Abstract: For a single story in news, we need to extract 法均可用于文摘句的分类问题中错误！未找到引用源。 [5] [6] [7] summarization for easy browsing. We use Support Vector Machine, [8]，其中支持向量机 （Support Vector Machine, SVM） the classification-based method, to summarize sentences using