词性标注隐马尔可夫模型二阶隐马尔可夫模型Viterbi算法论文.docVIP

基于HMM的汉语词性标注及其改进 【摘要】 词性标注是自然语言处理中一个具有重要意义的研究方向,涉及的应用领域非常广泛,在信息处理范畴内起着重要的基础性作用,词性标注的效果直接影响着基于标注结果的各种信息处理的准确度,诸如语法分析、语音识别、文本分类、文本语音转换、信息检索、机器翻译等。词性标注的实现过程中存在着一些难度,如兼类词歧义处理、未登录词处理,以及专有名词的处理等。由于汉语本身的特点以及汉语言学研究现状的限制,汉语词性标注就更加困难和复杂。词性标注的方法有很多,大体上可以归为两类,基于规则的方法和统计的方法,而基于隐马尔可夫模型(HMM)的词性标注正是统计方法的典型例子。虽然HMM在词性标注中的应用已经非常成熟,但如何提高兼类词、未登录词的标注准确率依旧是基于HMM的词性标注研究的重点。本文在标记好的汉语语料库《人民日报(1998年1月)》的基础上,建立二阶隐马尔可夫模型(HMM2),改进针对未登录词的标注,对模型进行训练、测试、评估,从而实现了汉语词性标注。具体如下：(1)由于语料库的选取在词性标注效果中起着重要的影响作用,在测试前对语料库进行了预处理,去除了二级标注和专有名词标记符号(保留专有名词及其词性标注),来...?更多还原 【Abstract】 Part-of-Speech (POS) tagging is one of the research points on Natural Language Processing which has important significance. It involves a wide range of applications, and it plays an important foundation role in the context of Information Processing. The quality of POS tagging has a direct impact on the accuracy of all Information Processing which based on the results of POS tagging, such as Syntax Analysis, Speech Recognition, Text Classification, Text to Speech, Information Retrieval, machine t...?更多还原 【关键词】 词性标注； 隐马尔可夫模型； 二阶隐马尔可夫模型； Viterbi算法； 【Key words】 speech tagging； hidden Markov model； second-order hidden Markov model； Viterbi algorithm； 【索购论文全文】138113721 139938848 即付即发 目录 摘要 3-5 ABSTRACT 5-7 第一章 绪论 11-17 1.1 引言 11-12 1.2 课题研究背景和意义 12-13 1.2.1 研究背景 12-13 1.2.2 研究目的与意义 13 1.3 词性标注的发展史 13-14 1.4 本文的主要工作以及本文的结构安排 14-16 1.5 本章小结 16-17 第二章 隐马尔可夫模型及其相关算法 17-27 2.1 隐马尔可夫模型 17-21 2.1.1 隐马尔可夫模型的概念 17-19 2.1.2 隐马尔可夫模型的应用 19-21 2.2 Viterbi算法 21-22 2.3 前向算法 22-24 2.4 前向-后向算法 24-25 2.5 本章小结 25-27 第三章 词性标注及其相关研究 27-43 3.1 词性标注 27-29 3.1.1 词性标注的难题 27-28 3.1.2 词性标注的方法 28-29 3.2 N-gram模型 29-34 3.2.1 N-gram模型的定义 29-30 3.2.2 N-gram模型的训练与参数平滑 30-34 3.3 词性标注应用分析 34-39 3.3.1 噪声信道模型在词性标注中的应用 34-35 3.3.2 转换学习方法在词性标注中的应用 35-36 3.3.3 基于最大熵模型的词性标注应用 36-37 3.3.4 基于条件随机场的词性标注应