【毕业设计论文】词性标注隐马尔可夫模型二阶隐马尔可夫模型Viterbi算法论文.docVIP

w 基于HMM的汉语词性标注及其改进 【摘要】 词性标注是自然语言处理中一个具有重要意义的研究方向,涉及的应用领域非常广泛,在信息处理范畴内起着重要的基础性作用,词性标注的效果直接影响着基于标注结果的各种信息处理的准确度,诸如语法分析、语音识别、文本分类、文本语音转换、信息检索、机器翻译等。词性标注的实现过程中存在着一些难度,如兼类词歧义处理、未登录词处理,以及专有名词的处理等。由于汉语本身的特点以及汉语言学研究现状的限制,汉语词性标注就更加困难和复杂。词性标注的方法有很多,大体上可以归为两类,基于规则的方法和统计的方法,而基于隐马尔可夫模型(HMM)的词性标注正是统计方法的典型例子。虽然HMM在词性标注中的应用已经非常成熟,但如何提高兼类词、未登录词的标注准确率依旧是基于HMM的词性标注研究的重点。本文在标记好的汉语语料库《人民日报(1998年1月)》的基础上,建立二阶隐马尔可夫模型(HMM2),改进针对未登录词的标注,对模型进行训练、测试、评估,从而实现了汉语词性标注。具体如下：(1)由于语料库的选取在词性标注效果中起着重要的影响作用,在测试前对语料库进行了预处理,去除了二级标注和专有名词标记符号(保留专有名词及其词性标注),来...?更多还原 【Abstract】 Part-of-Speech (POS) tagging is one of the research points on Natural Language Processing which has important significance. It involves a wide range of applications, and it plays an important foundation role in the context of Information Processing. The quality of POS tagging has a direct impact on the accuracy of all Information Processing which based on the results of POS tagging, such as Syntax Analysis, Speech Recognition, Text Classification, Text to Speech, Information Retrieval, machine t...?更多还原 【关键词】 HYPERLINK /kcms/detail/%20%20%20%20%20%20%20%20%20%20%20%20search.aspx?dbcode=CMFDsfield=kwskey=%e8%af%8d%e6%80%a7%e6%a0%87%e6%b3%a8 \t _blank 词性标注； HYPERLINK /kcms/detail/%20%20%20%20%20%20%20%20%20%20%20%20search.aspx?dbcode=CMFDsfield=kwskey=%e9%9a%90%e9%a9%ac%e5%b0%94%e5%8f%af%e5%a4%ab%e6%a8%a1%e5%9e%8b \t _blank 隐马尔可夫模型； HYPERLINK /kcms/detail/%20%20%20%20%20%20%20%20%20%20%20%20search.aspx?dbcode=CMFDsfield=kwskey=%e4%ba%8c%e9%98%b6%e9%9a%90%e9%a9%ac%e5%b0%94%e5%8f%af%e5%a4%ab%e6%a8%a1%e5%9e%8b \t _blank 二阶隐马尔可夫模型； HYPERLINK /kcms/detail/%20%20%20%20%20%20%20%20%20%20%20%20search.aspx?dbcode=CMFDsfield=kwskey=Viterbi%e7%ae%97%e6%b3%95 \t _blank Viterbi算法； 【Key words】 HYPERLINK /kcms/detail/%20%20%20%20%20%20%20%20%20%20%20%20search.aspx?dbcode=CMFDsfield=kwskey=speech+tagging \t _blank speech tagging； HYPERLINK /kcms/detail/%20%20%20%20%20%20%20%20%20%20%20%20search.aspx?dbcode=CMFDsfield=kwskey=hidden+Markov+mod