基于N元文法与封闭词的词类标记方法的数学模型.pdfVIP

第三届全国信息检索与内容安全学术会议 基于N元文法和封闭词的词类标记方法的数 学模型 唐云廷1，吴岩2 (1．浙江大学宁波理工学院，宁波，315000；2。哈尔滨工业大学计算机科学与技术系，哈尔滨，150006) 摘要： 本文提出一种基于N元文法和封闭词的词类标记的数学模型，该模型以二元Markov 模型为基础，以封闭词词性的预确定有效地降低了应用Markov模型进行词类标记时算法的复杂度。 实验证明，该方法的词类标记的准确度达到了较高的水平。 关键词： 词类标记，N元文法，封闭词，标记集 A model of mathematicalon partspeech N onclosewordand taggingbased gram Yah2 TangYuntin91，Wu Instimte Institute ofTechnology,zhejiang ofTechnology,Harbin (1．Ningbo University，Ningbo·315000；2陕科．ofComputer,Harbin 150D016 Abstract：thisamathematicalmodel basedOnclosewordandN presents tagging gram．The paper on，POS closeword reducesthe oftheMarkov when indicates effectively complexity algorithmtagging．Theexperiment thatthismodel effectiveon the sentence． isvery tag百ngEnglish of keywords：panspeechtagging；Ngram；closeword；tagset． 1 引言 词类标记的任务就是确定词的语法范畴，标记方法通常分为基于统计的方法和基于规则 的的方法。前者通常使用基于文本的上下文信息对文本中的词进行标记和标记消岐，由上下 文信息形成标记规则一上下文框架规则。由于该方法所使用的规则不能囊括所有的语言现 象，所以该方法的准确率难以达到较高的水平。基于规则的词类标记方法是将自然语言看成 一个信源，自然语言中的句子则为信源按照某种概率分布输出的字符串序列，所以对于自然 语言中旬子的词类标记是按照以概率为基础的统计计算语言模型而进行的。 2 N．GR AM词类标记语言模型 泛应用于统计方法的计算机应用中，如语音识别，此类标记，文本识别，文本校对晗儿副H1等。 令W=(01，缈2，．．．，‰j为所处理的自然语言的有限单词集，T=协。f2，…，‘j为阐类标记 作者简介：唐云廷(1965一)，男，黑龙江省，副教授email：tyt@nit．zju．edu．cn 345 第三届全国信息检索与内容妄全学术会议 中的单迥，f1．。=毡，t2，…，‘}为W1。。的标记集，‘∈r为文本中第i个单词的标记。那么， 词类标记结果为使