中文信息学报边界模板和局部统计相结合的中国人名识别.PDFVIP

中　文 　信 　息　学 　报 第 20卷 第 5期 　 JO URNAL O F CH INESE INFO RM A T IO N PROCESS ING Vol20 No5 文章编号 : 1003 - 0077 (2006) 05 - 0044 - 07 边界模板和局部统计相结合的中国人名识别 李中国 ,刘 　颖 (清华大学 中文系 计算语言学研究室 ,北京 　100084 ) 摘要 :本文提出了一种基于篇章信息的中国人名识别算法 。我们从标注语料中提取人名左右边界词语及 人名用字频度作为系统知识源 。识别过程是 :首先利用带有频度的边界模板识别出可能的人名 ,并把识别结 果扩散到整篇文章以召回数据稀疏导致的遗漏人名 。然后应用上下文局部统计量及几条启发式规则对识别 ( 结果进行边界校正 。该算法具有线性时间复杂度 ,大规模开放测试 针对 1354 篇新闻报道约 304 万字 ,含人 名 37 万个 ) 的正确率为 94 52 % ,召回率为 9897% ,效果非常令人满意 。 关键词 :计算机应用 ; 中文信息处理 ;人名识别 ;命名实体识别 ;边界模板 ;局部统计量 ;词法分析 中图分类号 : TP39 112　　　　文献标识码 : A C h in ese Nam e Recogn ition Ba sed on Boun dary Tem pla tes and L oca l Frequen cy L I Zhongguo, L IU Ying (L ab of Compu tational L ingu istic s, D ep artm ent of Ch inese L anguage and L iteratu re, Tsinghua Un iversity, B eij ing 100084 , Ch ina) A b stract: In th is p ap er an effective algorithm for Ch inese p erson nam e recogn ition is p ropo sed. Person nam es left and righ t boundary word s and p erson nam es character frequency are extracted from tagged corp u s, wh ich w ill be u sed a s the know ledge for recogn ition. F irst we u se these boundary temp lates to find po ssib le p erson nam es. Then the se rec ogn ized p erson nam e s are u sed to m atch the m issed occurrence in the text. A t last, the local frequency obtained from the who le text is u sed to check and correct the nam e boundaries. The tim e comp lexity of th is algorithm is linear, and the te st re su lt on 1, 354 new s article s (w ith 3. 04 m illion Ch ine se characters and 37 , 014 Ch inese nam e s in all) give s the p recision of 94. 52% and the recall of 98. 97% , wh ich is fairly satisfying in comp arison w ith ot