基于双字耦合度的中文分词交叉歧义处理方法-中文信息学报.pdfVIP

第 2 1 卷 　第 5 期 中文信息学报 Vol . 2 1 , No . 5 2007 年 9 月 J OU RN AL O F C H IN ESE IN FO RMA T ION PROCESSIN G Sep . , 2007 文章编号 : (2007) 0500 1404 基于双字耦合度的中文分词交叉歧义处理方法 王思力1 ,2 ,王 斌1 ( 1. 中国科学院 计算技术研究所 ,北京 100080 ; 2 . 中国科学院 研究生院 ,北京 100039) 摘 　要 : 本文提出了一种利用双字耦合度和 t测试差解决中文分词中交叉歧义的方法 : 首先利用词典找出所有的 交叉歧义 ,然后用双字耦合度和 t测试差的线性叠加值来判断各歧义位置是否该切分 。实验结果表明 ,双字耦合 度和 t测试差的结合要优于互信息和 t测试差的结合 ,因此 ,用双字耦合度和 t测试差的线性叠加值来消除交叉歧 义是一种简单有效的方法 。 关键词 : 计算机应用 ; 中文信息处理 ; 中文分词 ;双字耦合度 ;t测试差 中图分类号 : TP39 1 　　　　文献标识码 : A A Chinese Overlapping Ambiguity Resolution Method Based on Coupl ing Degree of Double Characters WAN G Sili 1 ,2 , WAN G Bin 1 ( 1. In stit ut e of Comp uting Technolo gy , Chinese Academy of Sciences , Beij ing 100080 , China ; 2 . Graduat e School of t he Chinese Academy of Sciences , Beij ing 100039 , China) Abstract : In t hi s p ap er , two st ati stical measuresCoup ling Degree of Double Charact er s (CDDC) and Difference of t t est ( D T) , are app lied for overlapping ambiguit y resolution in Chinese wor d segment ation . Fir st , all po ssible overlapping ambiguities are found out by u sing t he segment ation dictionary , and t hen a simp le linear combination of CDDC and D T i s u sed for ambiguit y resolution . The exp eriment al result s show t hat our met hod p erformed bett er t han t he combination of Mut ual Information of Double Charact er s and D T , which was p roved to be a very effective met hod for overlapping ambiguit y resolution in p reviou s work . Key words : comp ut er app lication ; Chinese