基于SVM和k2NN结合的汉语交集型歧义切分方法①.PDFVIP

中　文 　信 　息 　学 　报 第 15 卷 第 6 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol . 15 No. 6 基于 SV M 和 kNN 结合的汉语 交集型歧义切分方法① 1 2 1 2 李 　蓉 　刘少辉 　叶世伟 　史忠植 ( ( ) 1. 中国科技大学研究生院 北京 计算机教学部 　北京 　100039 ; 2 . 中国科学院计算技术研究所智能开放实验室 　北京 　100080) ( ) ( ) 摘要 :本文提出了基于支持向量机 SV M 和 k近邻 kNN 相结合的一种分类方法 ,用于 解决交集型伪歧义字段 。首先将交集型伪歧义字段的歧义切分过程形式化为一个分类过程并 给出一种歧义字段的表示方法 。求解过程是一个有教师学习过程 ,从歧义字段中挑选出一些 高频伪歧义字段 ,人工将其正确切分并代入 SV M 训练 。对于待识别歧义字段通过使用 SV M 和 kNN 相结合的分类算法即可得到切分结果 。实验结果显示使用此方法可以正确处理 9 1. 6 %的交集歧义字段 ,而且该算法具有一定的稳定性 。 关键词 :支持向量 ;类代表点;交集型歧义 ;汉语自动分词 中图分类号 : TP39 1. 1 A Method of Crossing Ambiguities in Chinese Word Segmentation Based on SVM and kNN 1 2 1 2 L I Rong 　L IU Shaohui 　YE Shiwei 　SH I Zhongzhi ( 1. Dep art ment of Comp uter , Graduate School ,Science and Technology U niver sity of China 　Beij ing 　100039 ; 2 . Instit ute of Comp uting Technlolgy ,Chinese Academy of Sciences 　Beij ing 　100080) Abstract :This p aper p resent s an algorit hm based on t he combination of Support Vector Maching ( SV M) and k Nearest neighbor (kNN) ,to deal wit h ambiguities in Chinese wor d segment ation . We regar d t he ambiguities segment ation as a classified p roblem and p ropo se a vector rep resent ation of t hem . The met hod to find t he solutions is supervised learning . After t he ambiguities being se lected and classified by handwork ,t he ambiguities wit h high frequency are t rained by SV M . For t he test hing ambiguities ,we classify it