特征否定不确定.pptVIP

基于条件随机场的否定与不确定信息检测研究 陈站成 邹博伟 朱巧明 李培峰 研究背景 研究现状 模型介绍 实验及分析 总结及展望 报 告 内 容 * 背景 目前信息抽取都不鉴定信息的真伪或可靠性，而在实际语言或文本中，却存在大量否定或不确定信息。 为了保证通过信息抽取技术所获取知识的准确性，应将此类信息与事实信息分开处理。 研 究 背 景 * * 否定信息 对某种现象或事件存在或发生的否认。 不确定信息 事物的类属边界或性质状态不明确，是人们对事物性质状态的模糊认识的反映。不确定是自然语言语义的一个基本属性。 研 究 背 景 eg1，巴塞罗那主席罗塞尔表示不会在今年夏天之前签下内马尔。 eg2，国际金价持续下跌的原因可能是周五塞浦路斯央行卖出黄金储备。 * 研 究 背 景 否定与不确定信息检测 CoNLL’2010首次组织了不确定信息评测任务：表达不确定含义的词或短语称为触发词。 本文以汉语科技文献为基础，基于CRF模型，通过识别表示不确定含义的词或短语来检测否定与不确定信息。 eg. It suggested that increase of ER levels play an important role in the pathogenesis of gynecomastia. * 研 究 现 状 英语研究现状 基于规则的方法 Chapman等（2001）提出正则表达式的匹配算法，判断医学术语是否包含在否定信息之内。 基于机器学习的方法 Morante等（2009）使用三个浅层句法特征分类器进行否定与不确定信息序列标注。 Agarwal等（2010）基于CRF模型在平衡数据下识别否定与不确定信息。 * 汉语研究现状 语言学角度 孙也平（1978）根据词性将否定词分为否定动词和否定副词，探讨了否定词的用法。 张红梅（2006）对现代汉语否定句在语义上表现出的不确定倾向进行了分析、探讨。 崔晓菊等（2013）对模糊语言中模糊词语的意义表征作以探讨。 自动识别 计峰等（2010）在新闻语料上标注了不确定信息，并利用触发词的信息构建了句子的评分模型，来识别不确定性信息。 研 究 现 状 * 条件随机场模型通常被用来进行序列数据识别，在自然语言处理中已被用于分词、词性标注、命名实体识别及相关研究。 计算公式如下： X为观察序列集，Y为标记序列集，e为随机场对应无向图中节点集，v为无向图中节点间的边集。 模 型 介 绍 * 标注集：CueType = { BCue, ICue ,OCue} 当基本单位是触发词第一个词时，用BCue标识； 当基本单位是触发词内非第一个词时，用ICue标识； 其它情况下，用OCue标识。 特征集 基于字和基于词是两种基本方法 以“查询时间基本不受M值的影响”为例。 分词后：查询时间 基本 不 受 M 值 的 影响 字边界特征：B M M E B E S S S S S B E 字的词性特征取所在词的词性。 模 型 介 绍 字框架特征 词框架特征 模板窗口 词性 词性组合 字本身 词 字组合 词组合 字边界 N/A 字边界组合 N/A * 特征模板 本文选择了当前字或词以及上下 文各字、词、词性组成特征模板集。 窗口长度的不同也影响系统性能， 把窗口长度作为特征之一。 模 型 介 绍 词性特征 词性特征说明 U00:%x[0,0] 当前词 U01:%x[-1,0] 前一个词 U02:%x[1,0] 后一个词 U03:%x[-1,0]%x[0,0] 前一个词与当前词组合 U04:%x[0,0]%x[1,0] 当前词与后一个词组合 U05:%x[-1,0]%x[0,0]%x[1,0] 前一个词、当前词、后一个词组合 * 实验语料：将语料（Chen et al，2013） 按论文篇数均分成两部分，训练语料共2421 句，测试语料共2421句。 工具：采用中科院分词系统ICTCLAS对语 料进行分词以及词性标注，选取CRF++0.58 训练模型。 评价指标 实 验 否定信息 触发词数 941 触发词集大小 42 句子数占比 15.78% 模糊信息 触发词数 812 触发词集大小 59 句子数占比 13.88% * 实验包括三个内容： 针对本文上述提及的特征进行实验，在特征模板窗口分别为1、3、5的条件下对所有特征及其组合进行实验验证。 本文实现了Agarwal等（2010）提出的系统，将该系统作为基准系统与本文系统进行比较。 构建平衡语料来评估原始数据的不平衡性给系统带来的影响。 实 验 * 结 果 分 析 在特征模板窗口分别为1、3、5时，对所有特征及其组合进行实验验证。 各类特征均在特征模板窗口 为3时达