基于统计方法的中文姓名识别Ξ-中文信息学报.PDFVIP

中　文 　信 　息 　学 　报 第 14 卷 第 3 期 JOURNAL OF CHINESE INFORMATION PROCESSING Vol . 14 No. 3 基于统计方法的中文姓名识别 刘秉伟 　黄萱菁 　郭以昆　吴立德 复旦大学计算机科学系 　上海 　200433 摘要 　本文介绍一个中文姓名的自动识别系统 ,该系统使用从姓名样本库和真实文本语 料库中得到的大量统计数据 , 以提高系统识别性能 。我们从 1994 年人民日报中随机抽取 100 篇文章作为测试样本 ,实验结果表明 ,准确率和召回率可同时达到 90 %以上 。 关键词 　自动分词 　未登录词 　中文姓名识别 Statistical Chinese Person Na mes Identif ication Liu Bingwei 　Huang Xuanj ing 　Guo Yikun 　Wu Lide Dept . of Comp uter Science ,Fudan U niver sit y 　Shanghai 　200433 Abstract 　This p aper p resent s an automatic identifying system of Chinese names. The system makes use of a large amount of st atistical dat a ,which are ext racted from real name library and real text corp us ,to enhance it s identif ying performance . The testing sample ,including 100 articles ,are ext racted from t he People ’s Daily 1994 New s Corp us. The experiment show s t hat t he recall and t he p recision can bot h reach above 90 %. Key words 　Automatic wor d segment ation 　Outofdictionary wor d 　Chinese per son names iden tification 一 、引言 歧义切分和未登录词识别是困扰汉语自动分词研究的两个主要问题[ 1 ,2 ] 。前一问题已有 比较透彻的研究 ,而后一问题的相关文献还不是很多 。我们用一个 40 000 余词条的分词词典 ( ) 对 1994 年人民日报全年的 32 000 多篇文章 容量 4 1. 6MB 进行了分词统计 ,结果表明 ,在总 ( 计约一千万个汉语词中 ,共有歧义字段约 135 000 个 ,而未登录词 人名 、地名 、机构名 、术语 、 ) 新词 、数词词组等等 则大约有 1 000 000 个 ,其中约有中文姓名 150 000 个 , 占未登录词总数 的 15 % 。由此可见中文姓名识别对于未登录词识别乃至整个自动分词技术的重要性 。 由于中文姓名不像印欧语言那样可以通过大写字母来辨识 ,其中不少姓氏和名字用字同 时又可以作为普通词或普通词的一部分 ,如果不予处理 ,将导致为数可观的分词错误 。中文姓 本项研究受上海市教委重点学科基金 、国家自然科学基金 、日本富士通公司资助 本文于 1999 年 7 月 16 日收到 16 名大多具有随意性 ,除少数著名人物的姓名可以收录到分词用