针对最大熵模型特征选择算法的中文分词增量学习分析研究.pdfVIP

摘要 随着信息化社会的发展，网络的不断瞥及，中文信息处理技术的应用越来越广泛。中文分词技 术作为中文信息处理技术的基础，已经成为制约中文信息处理技术发展的一项关键和核心技术。目 前，中文分词方法主要有两大类，一类是基于规则的方法．另一类是基于统计的方法，此外还有一 些综合方法和其它方法。虽然这些方法大大推动了中文分词研究的发展，但在实际应用中，仍然面 临着以下三个常见问题：分词规范问题、歧义问题、未登录词问题。 目前，已经应用于中文分词技术的机器学习算法有简单贝叶斯、最大熵、神经网络、支持向量 机、遗传算法等，这些算法在中文分词的应用中都有非常好的效果。但是，这些算法仍然难以应对 与日俱增的数据规模。当出现新增的训练数据样本时，算法为了适应新的数据样本，必须将所有的 数据重新学习一遍，以建立新的计算模型。这样．算法浪费了大量的时问和空间。因此，本文将最 大熵模型特征选择算法引入到中文分词技术的研究中，以应对训练语料库规模的日益增大，适应增 量学习的要求． 本文所作的主要工作如下： (1)研究增量学习的基本理论和基本算法。 (2)研究信息论中条件最大熵的理论，改进最大熵模型的特征选择算法以适应增量学习的要求． (3)研究交集型歧义和组合型歧义的特征模板的构建，并且利用构建的特征模板进行特征选择， 选出有代表性的、不冗余的有效特征． (4)利用模型进行交集型和组合型歧义字段消歧处理。 (5)基于最大熵模型特征选择算法构建一个中文分词系统，使用不断增大的语料库进行训练， 避免重训练，提高分词系统的适应性． 关键词=中文分词：增量学习；特征选择；最大熵；歧义消解 Abstract Withthe ofthe informationandthe of of development society net．the popularizing application Chineseinformation is moreandmore thebasisofChinese processingtechnologybecoming widely．As information word hasb．,omea andcore processingtechnology,Chinesesegmentationtechnique key the of Chineseinformation technology,constrainingdevelopment processingtechnology．Atpresent,the Chineseword methodsare two isrule-based the segmentationmainlycategories，one otheris approach,and basedon a糟stillsome methodsother methods statistical，inaddition，there integratedand methods．These tothe face contributed ofChineseword in significantly