融合字特征的平滑最大熵模型消解交集型歧义.pdfVIP

第24卷第4期 中文信息学报 V01．24，No．4 2010年7月 Jul．，2010 JoURNALOFCHINESEINF()RMATIONPRoCESSING 文章编号：1003—0077(2010)04—0018—07 融合字特征的平滑最大熵模型消解交集型歧义 任惠，林鸿飞，杨志豪 (大连理工大学计算机科学与技术学院。辽宁大连116024) 摘要：交集型歧义的切分问题是分词阶段需要解决难点之一。该文将交集型歧义的消解问题转化为分类问题， 并利用融合丰富字特征的最大熵模型解决该问题，为了克服最大熵建模时的数据稀疏问题，该文；l入了不等式平 滑技术和高斯平滑技术。我们在第二届国际分词竞赛的四个数据集上比较了高斯平滑技术、不等式平滑技术和频 度折扣平滑技术，测试结果表明：不等式平滑技术和高斯平滑技术比频度折扣技术有显著提高，而它们之间不分伯 仲，但是不等式平滑技术能使特征选择无缝嵌入到参数估计过程中，显著压缩模型规模。该方法在四个测试集上 最终获得了96．27％、96．83％、96．56％、96．52％的消歧正确率，对比实验表明：丰富的特征使消歧性能分别提高 使分类模型分别压缩了38．7、19．9、44．6、9．7。 关键词：计算机应用；中文信息处理；分词；交集型歧义；融合丰富字特征；最大熵模型；平滑技术 中图分类号：TP391 文献标识码：A Resolutionof BasedonSmoothed AmbiguityStrings Overlapping MaximumModelwithCharacterFeature Entropy RENHui。LIN Zhihao Hongfei，YANG (Schoolof Scienceand of 116024，China) Computer Technology，DalianUniversityTechnology，Dalian．Liaoning onethe inautomaticChineseword Abstract：The of difficulties overlappingambiguitystrings(oAS)is segmenta— treatsthe ofOASasaclassification maximum tion，This resolution character paper task，using entropyintegrating featurestosolvethe tO the inmaximum orderovercomedatasparseness problem．In entropymodeling，thispaper introducesthe