基于规则和上下文语境的交集型歧义消解算法.pdfVIP

基于规则和上下文语境的交集型歧义消解算法 口 方昌健 王有权 (南京财经大学江苏省电子商务重点实验室 江苏·南京 210003) 摘 要：提出一种针对中文分词系统中存在的交集型歧义消解算法。首先，对给定的待处理文本进行预处理，获 取歧义字段集合；然后，根据歧义消解规则消除一部分歧义字段；最后，基于交集型真歧义字段库及其蕴含在上 下文中的语义信息构建概率模型，消除剩余的交集型歧义字段。实验表明该方法在处理交集型真歧义方面的有 效性。 关键词：交集型歧义 规则 真歧义 上下文语境 歧义字段消解 中图分类号：TP301．6 文献标识码：A 文章编号：1007-3973(2012)006一l12-O3 1引言 标志(主要是标点符号、空格等)切分成独立的可被切分程序直 随着互联网技术的飞速发展，信息处理被越来越多的人 接处理的字符串序列，即句子。处理之后每个句子作为一个 重视和研究。作为中文信息处理基础，分词技术已经被广泛 独立的记录存放(源输入文本的分割标志应保留，以便切分完 应用于中文领域的信息检索