基于统计的中文地名识别.pdfVIP

中　文 　信 　息 　学 　报 第 17 卷 第 2 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol 17 No2 ( ) 文章编号 :1003 - 0077 2003 02 - 0036 - 06 基于统计的中文地名识别 黄德根 ,岳广玲 ,杨元生 (大连理工大学计算机科学与工程系 ,大连 　116024) 摘要 :本文针对有特征词的中文地名识别进行了研究 。该系统使用从大规模地名词典和真实文本语料库 得到的统计信息以及针对地名特点总结出来的规则 ,通过计算地名的构词可信度和接续可信度从而识别中 文地名 。该模型对 自动分词的切分作了有效的调整 ,系统闭式召回率和精确率分别为 9024 %和 9314 % ,开 式召回率和精确率分别达 8686 %和 9148 % 。 关键词 :计算机应用 ; 中文信息处理 ; 中文地名识别 ;构词可信度 ;接续可信度 ; 自动分词 中图分类号 : TP3914 　　　文献标识码 :A Identif ication of Chinese Place Names Based on Statistics HUAN G Degen 　YU E Guangling 　YAN G Yuansheng (Department of Computer Science and Engineering ,Dalian University of Technology ,DaLian 　116024 ,China) Abstract :Unknown word recognition is one of the challenging tasks in natural language processing research. This pa per proposes a place name identification model in dictionarybased Chinese word segmentation ,in which we used sta tistical information drawn from a training corpus to calculate lexical reliability and contextual reliability. The rules of Chinese place names are also used in the model. We applied this approach to a Chinese morphological analysis system , and achieved 90. 24 % recall and 9314 % precision in close test ,while the recall and precision also reach 8686 % and 9148 % in open test. Key words :computer application ;Chinese information processing ;Chinese Place Name Identification ,Lexical Relia bilit y ,Contextual Reliability ,Automatic word segmentation 一 、引言 专有名词识别是汉语自动分词中的难题之一 。目前 , 国内有关中文姓名识别的研究较多 , 提出了基于统计[1～3 ] 和基于语料库[4 ] 的中文姓名识别方法 ,达到了很好的识别效果 。而中文 地名识别相对比较少 。主要有 :文献[5 ]采用统计模型 ,利用属性矩阵和频级进行筛选 ,达到了 较高的召回