基于条件随机场的中文人名性别识别研究..docVIP

基于条件随机场的中文人名性别识别研究* 赵晓凡1，牛承志2，刘永革1 （1.安阳师范学院计算机与信息工程学院，河南 安阳 455002; 2.郑州大学第一附属医院信息科，河南 郑州 455000） E-mail：zxfanfan922@ 摘 要：中国人名性别的自动识别可以应用在自然语言处理领域，是命名实体识别的一个具体应用。文章根据人名的结构和用字信息，构建人名标注集，选择6组特征模板集，利用条件随机场进行模型训练，在231337个人名数据库中经过封闭测试，正确率可以达到90%以上。实验证明：在人名库中识别性别，名字用字的作用要高于姓氏用字，且从机器学习的角度来说性别差异可以体现在人名用字中。 关键字：性别识别；中文人名要素；命名实体识别；特征选择；条件随机场 中图分类号：TP391 文献标识码：A CRFs-based approach to gender recognition of Chinese name ZHAO Xiao-fan1, NIU Cheng-zhi2, LIU Yong-ge1 (1.School of Computer and Information Engineering, Anyang Normal University, Anyang Henan 455002; 2.The Information Department of the First Affiliated Hospital of Zhengzhou University,Zhengzhou 455000) E-mail：zxfanfan922@ Abstract: Gender recognition of person name can be used in natural language processing which is a specific application of Named Entity Recognition. Gender recognition method makes use of the structure and vocabulary information of Chinese personal name. The experiment on the basis of CRFs is designed by constructing person name annotation set and selecting suitable feature model using NLP technology. Through the closed test on 231337 person names 90.08% accuracy is got. The experiment proves that the effect of the lastname in gender recognition is higher to the role of the firstname and gender differences can be found from the names based on machine learning Key words: gender recognition; Chinese name element; Named Entity Recognition; feature selection; conditional random fields 引言 目前命名实体识别（Named Entity Recognition，NER）仍然是中文信息处理的难点和热点，对未登录词的处理,其结果往往很难满足需求。人名的出现是影响未登录词识别正确率的关键。在《人民日报》1998年1月的语料库(共计2 305 896字)中,平均每100个字包含未登录词1.192个(不计数词、时间词),其中61.34%的未登录词是人名。 人名作为一个符号，对单个的个体应该具有很高的辨识度。按照日常生活的经验和人们的习惯，起名用字往往与性别相关。文献[5]对 7 万中国人名的 90 个常用尾字进行非参数检验后认为：男女人名用字有显著性别差异。本文是命名实体识别的一个应用，尝试用条件随机场（Conditional Random Fields）模型对人名用字的男女性别差异按照机器学习的方法进行训练，分析由人名自动识别性别的可能性与可行性。 Conditional Random Fields(CRF) CRF is an undirected graph model or a Markov random field, which uses a f