用于中文分词的组合型歧义消解算法.docVIP

用于中文分词的组合型歧义消解算法 摘 要：自动分词技术的瓶颈是切分歧义，切分歧义可分为交集型切分歧义和组合型切分歧义.本文以组合型歧义字段所在句子为研究对象，考察歧义字段不同切分方式所得结果与其前后搭配所得词在全文中的支持度，构造从合或从分切分支持度度量因子，依据该因子消除组合型歧义。通过样例说明和实验验证该方法可行并优于现有技术。 关键词：中文信息处理; 组合型歧义; 共现支持度; 歧义消解; 支持度因子 分类号：TP301.6 The Disambiguiting Algorithm of Combination Ambiguity for Chinese Word Segmentation Abstract: The bottleneck of word segment is disambiguate, which includes combinational ambiguity and crossing ambiguity. In this paper, we took the sentence included ambiguity word as our research object, seen about the support of co-occurrence words resulting from different segment methods in the text, constructed a formula to distinguish different segment method. Preliminary experiment and example show that the method is feasible and better than the present technique. Keywords: Chinese text information processing; combinational ambiguity; co-occurrence supporting; disambiguate; support formula. Class number: TP301.6 1 引言 自动分词技术就是将连续的字所构成的句子切分成不同的具有一定意义的词的技术，它是中文信息处理的关键技术。影响分词技术发展的瓶颈是切分歧义，切分歧义可分为交集型切分歧义和组合型切分歧义，简称交集型歧义和组合型歧义。 组合型歧义词在不同的语境下有不同的切分方式，例如： 1 你要考虑你自己的/将来/；市长/将/来/我们学校考察工作。 2他/才能/有资格获得冠军；人/才/能/推动科技进步。 3 国家的/中长期/计划是指导国家战略发展的计划；这是国际共产主义运动/中/长期/没有解决的一个重大理论问题。 “将来”、“才能”、“中长期”在上述三个句子的前半句从合切分，后半句则从分。 “何时从分，何时从合”就是组合型歧义消解要解决的问题。目前虽然存在许多消解方法，但几乎所有的组合型切分歧义消解方法都将歧义词的上下文环境信息作为切入点，用上下文环境信息作为参数构建模型，再用一定标注好的语料作为训练样本，从而获得歧义消解技术。如[2]从上下文信息中获取词性搭配规则，用SVM模型进行消歧；[3]从语境信息的窗口大小、位置和频次等角度考察歧义词的上下文语境，用对数似然比建立计算模型，进行歧义消解；[4]以条件随机场CRF为计算模型，利用歧义字段的上下文的词和词性建立特征模板, 进行歧义消解；文[5]使用语境信息中对数似然比的最大值和语境信息中合、分两种情况下各自的对数似然比之和取值大者进行消歧；文[6]利用相对词频作为语境的计算模型进行歧义消解。文[7]以最大信息熵作为计算模型计算歧义字段上下文信息，进行消歧。 我们从歧义字段不同切分方式所得的结果入手，比如歧义字段“中长期”可切分为“中”、“长期”和“中长期”两种不同的结果，在全文范围内，考察结果词与其前后搭配所构成的词是否合理或为字典中的词，分别计算从合、从分切分的支持度，依据支持度因子进行组合性歧义消解。随后的章节中将介绍相关知识，然后构造组合型歧义的消解算法，最后是实验验证和小结。 2 相关概念 定义1：设，其中为字符串，为字符， 把连续的字符串切分成不同的词的技术称为分词技术，如可切分为：词和词，由于不同切分造成词意的差异称为切分歧义。 定义2：给定任意汉字串***AB***， W为词表，若 AB∈W、A∈W、B∈W、在真实文本中可切分为：/AB /，或切分为：/A / B /，则称AB为组合型歧义词。 定义3：假设事务数据库，事务，（n=1，2，…，p）称为事务项（item）。令是中全体项目的集合，则有如下几个基本概念： 项集：对于全体项目集