权衡熵和相关度的自动摘要技术研究.pdfVIP

第 25卷 第 5期 中文信息学报 Vo1．25。No．5 2011年 9月 J0URNALOFCHINESEINFORMATIoN PROCESSING Sep．，2011 文章编号 ：1003-0077(2011)05—0009—08 权衡熵和相关度的 自动摘要技术研究 罗文娟 ，马慧芳。，何 清 ，史忠植 (1．中国科学院 计算技术研究所 ，北京 100190； 2．中国科学 院 研究生院，北京 100190； 3．西北师范大学 数学与信 息科学学院，甘肃 兰州 730070) 摘 要 ：生成高质量的文档摘要 需要用简约而不丢失信 息的描述文档 ，是 自动摘要技术的一大难题 。该文认为高 质量的文档摘要必须尽量多的覆盖原始文档 中的信 息 ，同时尽可能的保持 紧凑 。从这一角度 出发 ，从文档 中抽取 出熵和相关度这两组特征用以权衡摘要的信息覆盖率和紧凑性 。该文采用基于回归 的有监督摘要技术对提取 的 特征进行权衡 ，并且采用单文档摘要和多文档摘要进行 了系统的实验 。实验结果证 明对于单文档摘要和多文档摘 要 ，权衡熵和相关度均能有效地提高文档摘要 的质量 。 关键 词 ：自动摘要 ；句子特征抽 取 ；熵 ；相关度 中图分类号 ：TP391 文献标识码 ：A LeveragingEntropyandRelevanceforDocumentSummarization LUOWenjuan ，MA Huffang。，HEQing，SHIZhongzhi (1．InstituteofComputingTechnology，ChineseAcademyofSciences，Beijing100190，China； 2．GraduateUniversityofChineseAcademyofSciences，Beijing100190，China； 3．CollegeofMathematicsandInformationScience，NorthwestNormalUniversity，Lanzhou，Gansu730070，China) Abstract：ItremainsachallengetOgeneratehigh—qualitysummariesthatcouldconciselydescribetheoriginaldocu— mentwithoutlossofinformation．Inthispaper，wearguethathigh—qualitysummariesshouldbecompactwhileCOV— eringasmuchinformationintheoriginaldocumentaspossible．Encouragedbythisidea，weextractentropyandrel— evancetOleveragethecoverageandthecompactnessofsummaries．W eadoptsupervised summarizationmethods basedonregressionmethodstOleveragethesetwofeatures．Moreover，experimentsonsingleandmultipledocument summarizationshow thateffectivelyleveragingentropyandrelevancecouldimprovethequalityofdocumentsumma— rization． Keywords：documentsummarization；sentencefeatureextraction；entropy；relevance