基于词语搭配关系的一种中文分词歧义性消除方法.PDFVIP

第３３卷第１０期　　　 计算机应用与软件 Ｖｏｌ３３Ｎｏ．１０ ２０１６年１０月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｏｃｔ．２０１６ 基于词语搭配关系的一种中文分词歧义性消除方法 １ １ ２ 郭丙华 　俞亚 　李中华 １（肇庆学院电子信息工程系　广东肇庆５２６０６１） ２（中山大学信息科学与技术学院　广东广州５１０００６） 摘　要　　汉语中词与词之间存在固定的搭配关系，基于词语搭配关系提出一种分词歧义性消除方法。该方法先利用正向和逆向 最大匹配方法进行句子预切分，并对词的歧义性进行检测和词性标注，再对歧义词与词语搭配词典进行匹配或者动宾搭配判断，实 现了较为准确的文档词语歧义性消除。通过词的歧义性检测实验和词语搭配检测对比实验，该方法取得了较好的效果。 关键词　　词语搭配　最大匹配　中文分词　歧义性　动宾搭配 中图分类号　ＴＰ３９１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１６．１０．０２１ ＡＣＨＩＮＥＳＥＳＥＧＭＥＮＴＡＴＩＯＮＤＩＳＡＭＢＩＧＵＡＴＩＯＮＭＥＴＨＯＤ ＢＡＳＥＤＯＮＷＯＲＤＣＯＬＬＯＣＡＴＩＯＮＲＥＬＡＴＩＯＮＳＨＩＰ １ １ ２ ＧｕｏＢｉｎｇｈｕａ　ＹｕＹａｋｕｎ　ＬｉＺｈｏｎｇｈｕａ １（ＤｅｐａｒｔｍｅｎｔｏｆＥｌｅｃｔｒｏｎｉｃｓａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＺｈａｏｑｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｚｈａｏｑｉｎｇ５２６０６１，Ｇｕａｎｇｄｏｎｇ，Ｃｈｉｎａ） ２（ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＳｕｎＹａｔｓｅｎＵｎｉｖｅｒｓｉｔｙ，Ｇｕａｎｇｚｈｏｕ５１０００６，Ｇｕａｎｇｄｏｎｇ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　ＩｎＣｈｉｎｅｓｅｔｈｅｒｅａｒｅｔｈｅｆｉｘｃｏｌｌｏｃａｔｉｏｎｒｅｌａｔｉｏｎｓｈｉｐｓｂｅｔｗｅｅｎｗｏｒｄｓ．ＴｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｓａｄｉｓａｍｂｉｇｕａｔｉｏｎｍｅｔｈｏｄｆｏｒＣｈｉｎｅｓｅ ｓｅｇｍｅｎｔａｔｉｏｎｂａｓｅｄｏｎｗｏｒｄｃｏｌｌｏｃａｔｉｏｎ．Ｉｔｆｉｒｓｔｌｙｐｒｅｓｅｇｍｅｎｔｓｔｈｅｓｅｎｔｅｎｃｅｓｂｙｕｓｉｎｇｔｈｅｆｏｒｗａｒｄｍａｘｉｍｕｍｍａｔｃｈｉｎｇｍｅｔｈｏｄａｎｄｂａｃｋｗａｒｄ ｍａｘｉｍｕｍｍａｔｃｈｉｎｇｍｅｔｈｏｄ，ａｎｄｃａｒｒｉｅｓｏｕｔｔｈｅｗｏｒｄａｍｂｉｇｕｉｔｙｄｅｔｅｃｔｉｏｎａｎｄｔａｇｓｔｈｅｐａｒｔｏｆｓｐｅｅｃｈ，ａｎｄｔｈｅｎｉｔｍａｔｃｈｅｓｔｈｅａｍｂｉｇｕｏｕｓｗｏｒｄｓ ｗｉｔｈｗｏｒｄｃｏｌｌｏｃａｔｉｏｎｄｉｃｔｉｏｎａｒｙｏｒｍａｋｅｓｄｉｓｔｉｎｇｕｉｓｈｍｅｎｔｏｎｖｅｒｂｏｂｊｅｃｔｃｏｌｌｏｃａｔｉｏｎｓ，ｔｈｕｓａｃｈｉｅｖｅｓｔｈｅｍｏｒｅａｃｃｕｒａｔｅｒｅｓｕｌｔｓｏｆｄｏｃｕｍｅｎｔ ｗｏｒｄｓｄｉｓａｍｂｉｇｕａｔｉｏｎ．Ｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｒｅａｃｈｅｓｇｏｏｄｒｅｓｕｌｔｓａｓｓｈｏｗｎｉｎｃｏｎｔｒａｓｔｅｘｐｅｒｉｍｅｎｔｓｏｆｗｏｒｄａｍｂｉｇｕｉｔｙｄｅｔｅｃｔｉｏｎａｎｄｗｏｒｄｃｏｌｌｏ ｃａｔｉｏｎｄｅｔｅｃｔｉｏｎ． Ｋｅｙｗｏｒｄｓ　　Ｗｏｒｄｃｏｌｌｏｃａｔｉｏｎ　Ｍａｘｉｍｕｍｍａｔｃｈ　Ｃｈｉｎｅｓｅｓｅｇｍｅｎｔａｔｉｏｎ　Ｗｏｒｄａｍｂｉｇｕｉｔｙ　Ｖｅｒｂｏｂｊｅｃｔｃｏｌｌｏｃａｔｉｏｎｓ 的统计规律，即相邻的字出现的频率越高，构成词的可能性就越 ０　引　言 大，这类算法的优点