基于规则库的地名识别研究.docxVIP

基于规则库的地名识别研究 登录语言识别在提高汉语自动分词精度方面发挥着重要作用。本文就未登录词中地名的识别进行了探讨,采用两级处理策略:第1级处理利用从大规模真实文本中统计获得的地名上下文信息形成地名识别规则库,并对规则库中规则的量化处理来体现规则在识别地名中的可信程度的不同,不同可信程度的规则产生的候选地名将作不同的后续处理,采用此方法,可以减少正确地名因为可信度低而被过滤掉的可能性,被识别的地名主要是其前词、后词在真实文本中作为地名的上下文共现频度高的一部分地名;为了提高识别的召回率,引入了第2级处理,第2级处理根据地名前词补召未能在第1级处理中识别出来的地名。 文献对带特征词的地名的识别进行了研究。本文采用上述方法不仅实现了对不带特征词的中文地名的识别,而且有效地提高了识别的召回率。 1 生成地名识别规则库 本文从人工标注过的1998年《人民日报》语料中抽取出地名的上下文信息,生成地名识别规则库,以此规则库去识别2000年《人民日报》语料中的地名,并采用错误驱动的方式,对规则库进行完善;对最终形成的规则库进行简单的聚类,计算规则的频度,根据规则频度对规则进行量化处理。 1.1 定义带特征词地名 在真实文本中,某些词具有相同的属性,作为地名的前词(后词)出现时对地名识别的作用是一样的,本文将这样的词合并为一类,识别过程中,将这一类词当作一个特定的词来处理。 设人工标注正确的句