基于Bootstrapping的交通工具名识别.pdfVIP

计算机科学2008V01．35№．4B 基于Bootstrapping的交通工具名识别*) 王振宇u谭红叶1．2．3郑家恒1-3 (山西大学计算机与信息技术学院 太原030006)1 (哈尔滨工业大学计算机科学与技术学院 哈尔滨150001)2 (计算智能与中文信息处理省部共建教育部重点实验室 太原030006)3 摘要交通工具名的正确识别对信息抽取、自动问答等信息处理任务意义重大。为了解决获取标注语料困难这个 问题，本文实现了一种基于Bootstrapping的交通工具名识别方法，其特点是：(1)通过手工标记小部分语料逐渐学习 得到大量标注信息，(2)其中评价模式和样例时采用了计算信息熵增益的方法，以便更加精确地得到它们的度量方法。 在ACE语料上进行测试，实验表明该方法在交通工具名识别中是有效的。 关键词 交通工具名识别，Bootstrapping，信息熵增益，相似度计算 P2(patternl，pattern2,…，patterni，…) 1 引言 其中，patterni表示根据特征模板抽取的第i个模式。 随着互联网的不断发展，信息呈爆炸式增长，如何从非结 2)模式匹配 构化的普通文本中自动抽取信息构建知识库是必须解决的问 题。命名实体识另1](NamedEntityRecognition)是信息抽取的进行匹配，根据匹配成功的模式，得到相应的解释。 主要任务，实体识别是五个ACE识别任务中的重要一个，其 如：对于当前模式“TLUnigram乘坐”，分别考虑语料中 中，交通工具名属于ACE实体类别的一类，因此交通工具名 每个句子，若有一句话为： 识别是ACE项目中重要的组成部分。 乘坐／大客车／的／警察／强行／进入／这个／地方／以 交通工具名的正确识别对信息抽取、自动问答等信息处 后{，| 理任务意义重大。例如，在某些新闻事件中，交通工具名是其 则匹配成功，且抽取出词语“大客车”。 重要特征；在一些问答系统如旅游问答系统中，交通工具名对 3)种子，样例，实例 人们有一定的指导作用。 目前专门针对交通工具名识别的方法还不多，已有方法 标注少量的交通工具名作为种子。 大部分是对语料中多种扩展类别的名实体进行识别，刘非凡、 赵军等人采用有监督的学习方法进行产品名的识别[13，但是 式，然后再与原文模式匹配后，抽取出的词语。 有监督学习需要足够的训练语料。为了克服获取熟语料的困 实例是在测试语料中要进行类别判断的词语。 难，RomanYangarber，WinstonLin等人采用Bootstrpping算4)特征向量 法进行基于模式的实体类别研究[2’3]，但是这些方法使用的 特征向量是表示一类实体或者一个实例所有特征的向 模式单一，在模式匹配的时候要求精确匹配，所以取得的性能 量，在交通工具名识别系统中涉及到两种特征向量，分别为类 比较有限。 特征向量和实例特征向量。 本文致力于研究采用[k)otstrapping方法进行交通工具5)归一化频数 名识别，通过相似度计算来识别交通工具名，避免了模式的精 归一化频数是用来表示特征向量中各项的权重的。 确匹配，而且可以根据交通工具名自身的特点添加一些规则， 类特征项的归一化频数等于该特征项在训练语料中的出 大大提高了性能，在ACE语料上进行测试取得了不错的效 现次数与该类特征向量中特征项的总个数的比值。 果。 实例特征项的归一化频数等于该特征项在待测实例所在 当前句中的出现次数与当前句中特征项总个数的比值。 2相关概念 2．2信息熵增益 2．1相关定义 设