自然语言文本中不确定性信息的自动识别① - 计算机系统应用.pdf

2015 年 第 24 卷 第 2 期 计 算 机 系 统 应 用 ① 自然语言文本中不确定性信息的自动识别 杨文敏, 李保利 (河南工业大学 信息科学与工程学院, 郑州 450001) 摘 要: 自然语言中存在大量不确定的表述, 针对此类信息的检测任务是信息抽取领域的研究热点之一, 然而, 面向中文的不确定信息检测研究仍然比较匮乏, 利用支持向量机(Support Vector Machine, SVM)能够很好的解决 非线性、高维数、局部小样本等实际问题的优势, 将中文不确定性信息识别问题转化为分类问题, 通过在复旦大 学发布的中文不确定性检测数据集语料上的实验, 验证了本文提出的基于 SVM 的中文不确性信息检测方法的有 效性, 相比于句子评分模型, 我们的系统取得了更好的召回率. 关键词: 不确定性信息检测; 支持向量机; 语料; 分类 Automatic Identification of Uncertainty Information in Natural Language YANG Wen-Min, LI Bao-Li (Henan University of Technology, College of Information Science and Engineering, Zhengzhou 450001, China) Abstract: There are a lot of uncertainty information in natural Language. It is becoming a focus of researches in NLP recently. However, the research on Chinese is still scarce. In this paper, we use SVM, which is a good solution to the high dimension, nonlinear and local small sample, to identify Chinese uncertainty information recognition as a question of classification. We carry experiment on Chinese uncertainty corpus published by Fudan University, which confirms the availability exposed by our paper based on SVM. Compared to the sentence scoring model, our system has better recall rate. Key words: uncertainty information detection; SVM; corpus; classification 1 引言 信息指事物类属边界或性质状态不明确, 是对事物性 信息抽取是直接从自然语言文本中抽取事实信息, [1] 质状态模糊认识的反映 . 然而在自然语言中常常混杂有猜测性的、不确定性的 例句 1: 明天可能会下雨. 信息. 如果不加甄别或者不能准确识别一个自然语言 例句2: 如果发现问题比较严重和复杂, 时间会相 句子表达的是不确定性的信息还是确定无疑的事实, 应延长. 那么由于抽取出的信息的不确定性而导致的误报率的 例句 3: 珠穆朗玛峰是世界最高峰. 上升, 必然会使信息抽取系统的准确率大大降低. 然