基于统计规则中国人名识别研究.pdfVIP

第１８卷　第１期 云南民族大学学报（自然科学版） Ｖｏｌ．１８　Ｎｏ．１ ２００９年１月 　　 ＪｏｕｒｎａｌｏｆＹｕｎｎａｎＮａｔｉｏｎａｌｉｔｉｅｓＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅｓＥｄｉｔｉｏｎ） Ｊａｎ．２００９ 基于统计和规则混合策略的中国人名识别研究 和雪娟　陈玉华　高丽金　夏幼明 （云南师范大学 计算机科学与信息技术学院，云南 昆明６５００９２） 摘　要　采用统计与规则相结合的混合策略，提出一种中国人名的自动识别方法．该方法利用知识库中的统计信息，对 中国人名作初步的提取，分析中国人名构成的内部特征和外部特征，提取出特征集，并总结出相应的识别规则，对候选人名进 行识别．在此基础上构建了一个中国人名识别系统，并对系统进行了测试，实验表明了算法的可行性和有效性． 关键词　中国人名识别；统计；规则；候选人名；特征 【中图分类号】ＴＰ１８ 【文献标识码】Ａ 【文章编号】１６７２—８５１３（２００９）０１－００７０－０３ ＯｎｔｈｅＩｄｅｎｔｉｆｙｉｎｇＳｙｓｔｅｍｆｏｒＣｈｉｎｅｓｅＮａｍｅｓＢａｓｅｄｏｎ ａＣｏｍｂｉｎａｔｉｏｎｏｆＳｔａｔｉｓｔｉｃＡｎａｌｙｓｉｓａｎｄＲｕｌｅｓ ＨｅＸｕｅｊｕａｎ　ＣｈｅｎＹｕｈｕａ　ＧａｏＬｉｊｉｎ　ＸｉａＹｏｕｍｉｎｇ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ，ＹｕｎｎａｎＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｋｕｎｍｉｎｇ６５００９２，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｓｔｒａｔｅｇｙｏｆｃｏｍｂｉｎｉｎｇｓｔａｔｉｓｔｉｃａｎａｌｙｓｅｓａｎｄｒｕｌｅｓｉｓａｄｏｐｔｅｄ，ａｎｄａｎａｕｔｏｍａｔｉｃｉｄｅｎｔｉｆｙｉｎｇｍｅｔｈｏｄ ｆｏｒＣｈｉｎｅｓｅｎａｍｅｓｉｓｐｒｏｐｏｓｅｄ．Ｕｓｉｎｇｔｈｅｓｔａｔｉｓｔｉｃｄａｔａｉｎｔｈｅｄａｔａｂａｎｋ，ｔｈｅｐａｐｅｒｓｅｌｅｃｔｓｓｏｍｅＣｈｉｎｅｓｅｎａｍｅｓａｎｄ ａｎａｌｙｚｅｓｔｈｅｉｒｉｎｔｅｒｎａｌａｎｄｅｘｔｅｒｎａｌｆｅａｔｕｒｅｓｂｅｆｏｒｅａｓｕｍｍａｒｙｏｆｔｈｅｃｏｒｒｅｓｐｏｎｄｉｎｇｉｄｅｎｔｉｆｙｉｎｇｒｕｌｅｓ．Ｔｈｅｅｓｔａｂ ｌｉｓｈｅｄｓｙｓｔｅｍｈａｓｐｒｏｖｅｄｔｏｂｅｆｅａｓｉｂｌｅａｎｄｅｆｆｅｃｔｉｖｅ． Ｋｅｙｗｏｒｄｓ：ｉｄｅｎｔｉｆｙＣｈｉｎｅｓｅｎａｍｅｓ；ｓｔａｔｉｓｔｉｃａｎａｌｙｓｉｓ；ｒｕｌｅ；ｃａｎｄｉｄａｔｅｓｎａｍｅ；ｆｅａｔｕｒｅ 算来减少规则方法的复杂性和盲目性，另一方面通 ０　引言 过规则的使用，来降低统计方法对语料库规模的要 在汉语自然语言处理领域，处理好中文文本中 求［５］．本文采用统计与规则相结合的混合策略，提 的大量中文姓名，势必会有效地提高整个分词系统 出了一种中国人名的自动识别方法． 的切分精度，从而推动其他研究的发展．对于未登录 １　知识库及前期准备工作 词识别目前采用的技术路线大体可以分为３类：基 于统计的方法、基于规则的方法以及规则与统计相 中文分词是进行中文信息处理的基础，本文对 ［１］ 中文分词不做深入的研究，初分词的工作借鉴他人， 结合的方法 ．基于统计的方法是以经验主义为基 础，此方法识别的结果很大程度上依赖于统计信息 使用中国科学院计算所软件室张华平、刘群等开发 ［１］ 的值，统计信息的获得依赖于训练语料的选取，系统 的汉语词法分析系统ＩＣＴＣＬＡＳ ． 开销比较大，学习的参数需要进一步调整，识别精度 在系统设计之前，需要构建必