自然语言处理词性标注基于转换学习规则论文.docVIP

基于转换学习的词性标注研究 【摘要】 随着社会信息化的日益增强,互联网越来越成为人们日常生活中的一部分,人们越来越强烈地渴望用自然语言同计算机进行交流。但这有个前提就是计算机能够理解人类的自然语言,这是一个很富有挑战性的问题。这样的问题称作自然语言处理问题,而词性标注作为这一领域浅层处理中最基础最重要的技术对整个语言处理起着至关重要的作用。词性标注应用的领域十分广泛,包括语法分析、语音识别、文本分类、文本语音转换、信息检索、机器翻译等诸多领域。同时,随着机器学习算法的飞速发展,各种机器学习方法先后被应用到词性标注领域,有HMM算法、最大熵算法、决策树算法、基于规则的算法等。而TBL就是一种基于规则的算法。虽然TBL算法从1995年出现到现在,已经有不少学者对它进行了一定的改进,已经比较成熟,但由于此算法在工作时需要占用大量的资源和性能进行规则的提取和评估,从而造成了算法自身训练时间偏慢的特点。本文采用前人的研究思想,在原有算法的基础上通过跳过那些评估分数很低,并且不能对语料库的标注起到显著结果的规则,只为那些应用效果显著的规则进行打分。首先寻找应用最好的转换规则使语料库中的样例发生改变,从而可以找到这些样例在语料库中的上下...?更多还原 【Abstract】 As the increasing information technology of society, the Internet is increasingly becoming a part of daily life, people are increasingly strong desire to communicate with the computer by natural language. But there is a premise that computers would understand natural human language. This is a very challenging problem. This problem is natural language processing problem, and part of speech tagging is the most basic and important technology as the most low layer process in this field, playing a ke...?更多还原 【关键词】 自然语言处理； 词性标注； 基于转换学习； 规则； 【Key words】 natural language process； part of speech； transformation-based learning； rule； 【索购全文】Q联系Q：138113721 Q联系Q: 139938848付费即发 摘要 3-5 ABSTRACT 5-6 第一章 绪论 9-17 1.1 研究背景和意义 10-12 1.1.1 词性标注的定义 10 1.1.2 词性标注的意义 10-12 1.1.3 TBL概述 12 1.2 国内外研究的历史和现状 12-14 1.2.1 国外研究状况 12-13 1.2.2 国内研究状况 13-14 1.3 TBL算法的发展及遇到的问题 14-16 1.4 本文组织结构 16-17 第二章 词性标注及其关键技术 17-27 2.1 词性标注的难度 17-19 2.2 词性标注的各种算法 19-26 2.2.1 基于统计的词性标注 19-22 2.2.2 基于决策树的词性标注 22-23 2.2.3 基于条件随机场的词性标注 23-25 2.2.4 基于规则的词性标注 25 2.2.5 基于转换的错误驱动词性标注 25-26 2.3 本章小结 26-27 第三章 TBL算法的关键技术 27-37 3.1 TBL原理 27-31 3.1.1 TBL算法的组成 28-30 3.1.2 转换规则 30-31 3.2 TBL算法描述 31-34 3.3 TBL算法的优缺点 34-35 3.3.1 TBL的优点 34 3.3.2 TBL的缺点 34-35 3.4 本章小结 35-37 第四章 算法性能的研究 37-39 4.1 算法性能的影响因素 37