基于最大熵汉语人名识别方法研究.PDFVIP

、 72 福建电脑 2008年第4期 基于最大熵的汉语人名识别方法研究 牛晓妍 (长治医学院计算机中心山西长治046000) 【摘要】：本文针对人名的特点，建立了特征模板，并在此基础上提取了特征集，利用特征选择算法提取了有效特征， 并建立了一个基于最大熵的人名识别模型。基于最大熵模型，探索性地构建了一个人名识别的系统，取得了较好的效果。该系 统将潜在人名发现和使用最大熵模型进行标注两个阶段的工作有机地结合到一起，较好地解决了人名竞争问题；并对重点 模块的算法进行了详细描述。 【关键词】：最大熵模型；专有名词识别；特征 1．简介 其中=纠是归一因子 国内对于专有名词识别的研究大多是刚刚起步。由于汉语 是非形态语言．在文本中没有词的间隔标记。词类和语法成分的 z。(x)=∑na≯力 ‘ 对应关系十分复杂．因而汉语专名识别中不可能使用句法分析 ， (2) 和词形变化作为专名识别的手段。目前采用的技术路线有两类。 一类方法整体解决方案，它是在确定要处理的语料库的情况下。 x条件下，词Wo是per(人名)或ot(其他)。 直接用统计方法从语料库获取词汇．在经过处理阶段后，通过从 特征函数fi(x，y)是二进制函数，也是对所获取的特征的一种 词的上下文和用字。确定专有名词的类别。另一种方法是个别解 表示方法。参数五是6(x，y)的权重，可以用GIS算法求出。 决方案．集中于某一类专有名词的辨识，通过收集大量的某类专 3．基于最大熵的汉语人名识别 有名词信息，建立语料库。从中发现专有名词用字的统计规律。 对于汉语人名识别。也可将其视为一个分类问题。即针对语 再利用统计规律来辨识任意句子中的专名。 句中的每个后选词。根据上下文标注其类别。 目前．有关专有名词识别的方法主要有三类： 3．1特征描述及提取 (1)基于规则一其基本思想就是将人类用于识别专有名词3．1．1特征描述 的语言学知识编写成若干条规则．利用这些规则对文本中的专 (1)简单上下文特征集 有名词进行自动识别。人工规则对识别结果精确度有较大贡献． 在训练语料中中心词wo的外部．并且词频大于一定阈值 然而规则可能过于烦琐复杂．对不同语言需编写不同规则，也是 (这里闽值取3)的词(不包括数字、英文以及标点符号)，均可作 基于规则识别方法需要面对的问题。 为简单上下文特征。如： (2)基于统计一其基本思想就是利用训练语料中的信息作 ifWt=“宣布”andy=person 为先验概率．来对测试语料的标注概率作估计。由于统计方法与 ft(x，y)= 具体语言之间的相对独立性．是目前较受关注的方法。统计模型 多种多样．其中最大熵模型以其能够较好地包容各种约束信息 else 以及与自然语言模型相适应等诸多优点。在许多自然语言处理 这些特征并非手工选取的．而是通过规则实现机器自动选 问题研究中取得良好效果。 取。 (3)混合模型一基于统计的方法适合于大规模文本处理，但 (2)特殊上下文特征集 精确性可能较为逊色。同时也存在如特征选取等一系列问题。因