基于语义统计的中文自动文摘的研究.pdfVIP

基于语义统计的中文自动文摘研究 吕静昝红英 (郊州大学斩授区信息工程学院．郑州．450001) 摘要：自动立摘一直是自然语言处理领域研究的重点和难点。本文在El前的研究状况下，进行了基于语义统计的中立自动文摘 研究。主要工作包括：提出一种对HTML网页语料进行预处理的方法；利用《同义词词林》，构建概念层次树，在文摘抽取过程中 引入了语义信息：通过计算句子重要度，实现了对中文文本的自动摘要和自动索州。试验结果表明，奉立提出的方法对多数测试文 本都取得了良好效果，优于机械式自动文摘方法。 关键词： 同义词词林；自动文摘：概念层次树；主题概念 Chinese automaticabstractbasedon statistic． LvJing ZanHongYing (IhelnformationEngineeringlnstituteolZhengzhouUnivcHity,：Zhen班hou，450001) Abstract：Theresearchofautomaticabstractisall anddifficultinthefieldofnatural the important point languageprocessing．After has aChineseautomaticabstractmethodThemain containsseveral method presentresearch，thispaperpresented pans aspects：Apretreating forweb was ofthe tree was thesemantic dictionary words，the constructed，and page developed；UsingThesynonymy ofconc(：pt]evels was the information sentence automaticabstractandautomaticindexfortheChinesetexts incorporated；Aftercomputing importance，the wereachieved．The resultshowedthatthe method betterthanthemechanicalmethod． experimental presentedperformed words：The ofthe tree dictionary words；automaticabstmct；the key synonymy ofconceptlevels；topicconcept． 1引言 文摘一般用于检索文献，：竹省阅读时间，所以文摘要简洁、准确、清晰。本文提出了基于语义统计的自动文 摘方法，首先介绍了国内外关于自动文摘的研究状况，然后详细介绍构建基丁I概念的向量空间模型的几个关键的 技术和环节，接下来是测试结果和试验分析，最后将对全文进行总结。 目前，国内外的自动文摘系统主要采用=种方法…，基于统计的机械式方法，基于臼然语言理解的方法和基 于结构的方法。我国对中文自动文摘研究起步较晚，在20世纪90年代才发展起来。哈尔滨工业大学、复旦大学、 北京邮电人学、上海交通人学都分别研制了各自的自动文摘系统。 2基于统计的自动文摘模型关键技术研究 2．1对语料(HTML网页)进行预处理 本(script)等非文本元素去掉，将HTML网页整理成纯文本