公安领域案件文本信息抽取研究综述.docVIP

公安领域案件文本信息抽取研究综述 　　摘 要: 公安领域存在大量非结构化案件文本,使人工查询与整理存有困难。信息抽取作为应对海量信息的一门技术,能够有效处理案件信息的结构化问题。本文总结了目前信息抽取的方法技术,在实体识别、触发词获取和事件抽取等子任务方面所达到的水平,以及信息抽取在公安领域案件文本中的应用情况,并提出了未来的研究趋势 关键词: 信息抽取 实体识别 事件抽取 案件文本 1.引言 在信息爆炸的今天,如何从海量的电子文档中快速有效地获得所需要的信息,成为了信息化时代亟待解决的问题,信息抽取便是在这种需求下应运而生的,以期把人们从大量、低效的文本阅读劳动中解放出来 信息抽取是指从一段文本中抽取指定的一类信息并将其形成结构化的数据,填入一个数据库中供用户查询使用的过程。信息抽取已经成为自然语言处理研究中的一个热点,近年来在许多应用领域得以成功应用 公安领域的文本信息主要有业务人员日常工作中记录下来的已经入库的半结构化案件信息,和一些没有入库的文档中的非结构化信息。面对日益增长的大量案件、涉案人员等信息数据,目前公安部门面临的问题是:侦查人员需要花费很多时间在阅读案件笔录上,如何将各类案件文本中的信息点分析出来,对涉案人员、案情信息等进行电子化管理,便于日后的查询与单位之间的信息共享;如何利用过往案件的信息,分析当前案情,挖掘线索,串并案件。信息抽取技术是解决这些问题的基础工作 2.信息抽取的方法与技术概述 信息抽取系统的设计主要有知识工程方法和机器学习方法 早期的信息抽取系统都是基于知识工程方法建立的,依靠人工编写抽取模式,使系统能处理特定知识领域的信息抽取问题。如CIRCUS系统、LIEP系统、PALKA系统、RAPIER系统等。规则本身的学习和提取成为信息抽取的关键,而信息抽取则退居为次要过程。这种方法要求编写抽取模式的知识工程师对该知识领域有深入的了解。而由人建立的规则很难保证具有整体的系统性和逻辑性,并且这些规则一般具有高度的领域相关性和较差的可移植性。因此,迫切需要寻找更加有效的方法来自动学习信息抽取的规则,这种形势使得机器学习在信息抽取系统中的应用研究显得尤为重要和迫切 机器学习方法是利用机器学习技术让信息抽取系统通过训练文本来获得抽取模式,实现特定领域的信息抽取功能。任何对该知识领域比较熟悉的人都可以根据事先约定的规则来标记训练文本。利用这些训练文本训练后,系统能够处理没有标记的新的文本。BBN公司的SIFT系统,完全采用统计的方法,代表了在这个发展方向上跨出的重要一步。典型的机器学习方法有基于特征向量的机器学习方法,如支持向量机(SVM);有基于统计模型的机器学习方法,如隐马尔科夫模型(HMM)、最大熵模型(ME)和条件随机场模型(CRF);有基于核函数的机器学习方法,以及多种机器学习方法的集成等。现有研究成果表明,当多学习模型集成中的个体学习模型差异较大时,集成的效果会较好 知识工程方法的设计初始阶段较容易,但是要实现较完善的规则库的过程往往比较耗时耗力。机器学习方法抽取规则的获取是通过学习自动获得的,但是该方法需要足够数量的训练数据,才能保证系统的抽取质量。所以,采取何种方法要视任务和资源而定,若训练语料容易获得,则倾向于机器学习的方法;若语言资源如词表等容易获得,则倾向于手工编写规则 3.实体识别研究 命名实体识别的任务被定义为识别出文本中出现的专有名称和有意义的数量短语并加以归类。命名实体是文本中基本的信息元素,是正确理解文本的基础。狭义地讲,命名实体是指现实世界中的具体的或抽象的实体,如人、组织、公司、地点等,通常用唯一的标志符(专有名称)表示,如人名、组织名、公司名、地名等。广义地讲,命名实体还可以包含时间、数量表达式等。至于命名实体的确切含义,只能根据具体应用来确定。命名实体识别是信息抽取系统的一个基本而又重要的任务 命名实体识别发展至今已经取得了很多成果。1987年开始由DARPA资助举办的MUC-6和MUC-7会议设立的命名实体专项评测大大推动了英语命名实体识别技术的发展,到1998年MUC最后一届会议时,不少系统都已经具备相当程度的大规模真实文本的处理能力,最好的成绩准确率和召回率达到了95%和92%。中文NE识别的难处在于其缺乏形式标志、分词错误会对其造成影响、内部常包含有常用字词以及词义模糊,需要更大量的研究工作 命名实体识别任务要完成两个事情:一是找到文本中表达命名实体的词语,二是准确给出该命名实体的分类,其技术大多依赖于命名实体的类别。不同的类别所采用的识别技术也不一样。研究较多的几种类别是人名、地名、组织机构名、时间、数字。研究表明(张素香,2007),不是一个模型能够完全解决所有的实体识别任务的,需要结合实体