基于互信息的中文姓名识别方法_黄德根.pdfVIP

第44卷第5期 Vol. 44, No. 5 2 0 04 年9 月 Jour nal of Dalian University of Technology Sept. 2 0 0 4 : 1000-8608(2004) 05-0744-05 基 互信息的中文姓名识别方法 * , , ( 大连理工大学 计算机科学与工程系, 辽宁 大连　116024 ) : 提出并实现了一个基于互信息的中文 名识别方法. 该方法充分挖掘 名和其上下 文信息的关联程度以及 名用字之间关联程度的信息, 引入互信息对其进行定量的描述; 提 出中文 名的上下文互信息 内、部互信息等概念, 并对其建立了动态评价函数. 开放测试结 果表明, 该方法有效地提高了中文 名识别的效果, 保证了较高的精确率和召回率. : 中文 名识别; 互信息; 上下文互信息; 内部互信息 : TP391. 12; H087 : A [4、5] 0　 引　言 姓名识别起到校正或过滤筛选的作用 ; 在统计 意义上对其进行分级, 从而影响到过滤阈值的确 在汉语自动分词研究领域中, 未登录词的自 [3] 定 ; 采用姓名的接续可信度定量描述. 动识别是主要难点之一. 目前有关中文姓名识别 本文在对真实文本统计分析的基础上, 给出 问题的研究已经比较深入, 其中比较典型的算法 中文姓名的上下文互信息、内部互信息等概念, 定 有: ( 1) 基 规则的方法. 它对中文姓名的构成特 量描述姓名和其上下文信息的关联程度以及姓名 征及其上下文信息特征进行分析归纳, 建立起规 用字之间的关联程度, 同时建立相应的评价函数 则集. 纯粹采用规则机制的模型比较少, 一般要 和交叉姓名评价函数, 并在识别算法中引入动态 结合统计方法来进行识别. (2) 基 统计的方法. 过滤阈值. 该方法使用从姓名样本库或真实文本语料库中得 到的关 姓氏用字概率与名字用字概率等大量的 1　互信息的引入 [ 1～3] 统计数据信息进行识别 . (3) 混合策略. 它采 互信息在信息论中是作为衡量两个信号关联 用统计方法对姓名进行初次识别, 利用规则机制 [4、5] 程度的一种尺度, 后来引申为对两个随机变量间 对其进行校正过滤 . 还有其他一些方法, 如利 [6] 的关联程度进行统计描述, 可表示成这两个随机 用结合性识别姓名 . 变量的概率的函数. 设I (x , y ) 为随机变量x 和y 中文姓名的姓氏用字相对比较集中, 名字