基于多特征的自适应新词识别.PDFVIP

第33卷第7期 北京工业大学学报 V01．33No．7 0F UNIVERSITYoFTECHNOLOGY 2007年7月 JOURNALBEIJING Jul．2007 基于多特征的自适应新词识别 罗智勇1一，宋 柔2 (1．北京工业大学计算机学院，北京100022；2．北京语言大学语言信息处理研究所，北京100083) 摘要：为提高自动分词系统对未登录词的识别性能，提出和实现了一种基于多特征的自适应新词识别方法， 综合考虑了被处理文本中重复字符串的上下文统计特征(上下文熵)、内部耦合特征(似然比)、背景语料库对比 特征(相关频率比值)以及自动分词系统辅助的边界确认信息等，并直接从被抽取文本中自动训练识别模型．同 时，新词识别过程在字串PAT—Array数据结构上进行，可以抽取任意长度的新词语．实验结果表明，该方法新词 发现速度快、节省存储空间． 关键词：自然语言处理系统；计算语言学；词语处理；新词识别；多特征；自适应；自动分词 中图分类号：TP391．12 文献标识码：A 汉语自动分词是中文信息处理的基础环节…．目前，大多数分词系统仅仅针对新闻语料进行训练和 测试，、处理性能表现突出，但在其他特定专业领域、小说等白话文中的切分性能却大幅下降．大量的专业 术语、缩略语以及作者生造的词语等[2】给目前的分词系统带来了很大困难，极大地影响了自动分词系统 的性能和可移植性．新词发现和关键词抽取(tem 度[4_5】、信息检索等领域【6。7】得到了广泛应用，给出了很多有效的策略和方法．这些方法可以粗略地分成2 of 类：1)基于语言学知识的规则方法，如新词语构词和相关的过滤规则【8|、基于P()S(partspeech)的构成 规则[9]等；2)基于统计的方法，如单字成词概率(in—word J in (in-wordprobilityposition，简称1wP(pos))011J、频率、互信息(MI)、似然比(1ikelihoodratio，简称I。R)【12 等．本质上，上述统计特征是对汉语构词规则的量化，它们克服了人工构词规则的限制，可以在一个带有 切分标记的语料库中统计每个汉字的构词能力．因此，获得足够大的、与目标抽取文本构词特征一致的标 记语料库是统计方法的前提和关键．作者提出了一种多特征集成和模型自适应训练方法． 1 基于PAT．Array的候选重复字符串抽取 1．1 PAT-Array PAT—Array(又称suffix 域已经被成功使用．为行文方便，定义如下： 定义1 设S=sosl 串S中起始位置为i的左右后缀字符串(SuffixString)． 定义2 PAT—Array，使得L。[川L。[，]，R口[i]R口[j]，若i歹，i，J=0，…，行一1． common Array最长共有前缀(10ngest R口[i+1】的最大共有前缀的长度，其中扣0，…，”一2． 收稿日期：2I)()5—12—2()． 技术研究重点项目(()()128，1()7()17)． 作者简介：罗智勇(1975一)，男，湖南望城人，博士研究生． 万方数据 第7期 罗智勇等：基于多特征的自适应新词识别 719 左右后缀字符串的排序处理，在字符串的两端分别加入字符串中止标记($，其值为0)．图2给出了一个 实际文本PAT—Array的可视化表示，左右2边分别表示文本的左右PAT—Array 字符串“tobeOmottobe” #||||}鏊滋愁目1 2 3 4 5 6 7 8 9