互联网命名实体抽取及关联关系挖掘研究.docVIP

PAGE PAGE 1 互联网命名实体抽取及关联关系挖掘研究 　　摘要：首先分析了互联网文本中命名实体分布特征；然后使用UIMASDK构建一个文本分析引擎在文档中寻找命名实体，将结果写入抽取信息数据库EIDB中；最后对文本中包含的命名实体的强关联关系进行了关联分析。实验证明该框架非常有效。 　　关键词：UIMA；命名实体；抽取；强关联关系；IMDB 　　中图分类号：TP391文献标识码：A文章编号2013）003013202 　　基金项目：湖北省教育厅科学技术研究项目（；武汉东湖学院大学生科研重点项目（2012） 　　作者简介：彭庆喜（1974-），男，硕士，武汉东湖学院计算机学院工程师，研究方向为数据挖掘与机器学习。 　　0引言 　　随着互联网的发展，Web上数据的价值越来越受到研究人员的重视。从Web上获取信息成为深入研究的一个非常重要的基础手段。然而互联网上的信息基本上是非结构化信息。如何从这些非结构化的文本中获取我们需要的信息，是非常重要的工作。文章基于UIMA构建了一个互联网命名实体的抽取与分析系统。先使用UIMASDK建立了一个文本分析引擎，然后将结果写入抽取信息数据库EIDB中，最后使用DB2IntelligentMiner分析了互联网人名之间的强关联关系。实验证明该解决方案得到了满意的抽取和分析结果。 　　1UIMA架构 　　UIMA（全称“UnstructuredInformationManagementArchitecture”，即“非结构化信息管理架构”）于2009年3月作为OASIS标准发布，它是一个组件化的软件架构，用于分析同终端用户相关联的大容量非结构化信息。这个框架的目的是为非结构化分析提供一个通用的平台，从而提供能够减少重复开发的可重用分析组件。UIMA架构允许插入定制的分析组件，并将它们与其它组件合并。UIMA应用程序不需要知道分析组件共同合作生成结果的细节，集成和组织多个分析组件是UIMA框架的工作。 　　UIMA应用程序可能分析纯文本并识别人员、位置和组织；它也可能识别关系，比如为谁工作或在什么地方工作。应用程序通常可以拆分成组件，例如“语言识别”=“特定于语言的部分”=“句子范围检测”=“实体检测”。这些组件之间存在依赖性，例如，“句子范围检测”必须先于“特定于语言的部分”。每个组件都是自含的并且可以与其它组件组合。每个组件实现由其它框架定义的接口，并通过XML描述符文件提供自我描述元数据。UIMA框架管理组件和在它们之间流动的数据。分析引擎、标注器和CommonAnalysisStructure分析引擎是UIMA中的中央构建块。分析引擎包含一个或多个标注器或其它分析引擎。每个标注器实现一个特定的文本分析功能。这种递归式打包允许通过简单的分析引擎构建复杂的分析引擎。每个标注器将其结果储存在具有类型的特征结构中，该结构仅是包含类型和一组属性/值对的数据结构。图1是包含用于命名实体识别、语法分析和关系探测的标注器文本分析引擎。 　　目前UIMA的实现主要有ApacheUIMA和IBMUIMA。其中IBMUIMA是商业软件，而ApacheUIMA是开源软件。本文为了利用DB2的智能挖掘软件，所以使用的是IBMUIMA，当然也可以迁移到ApacheUIMA环境。 　　2基于UIMA的文本分析 　　首先将Web数据存入数据库作为源数据，然后UIMA组件从源数据中的非结构化数据字段中提取出结构化的数据。不同的组件从源数据库中读取文档、分析文档来寻找提到的人名以及将结果保存到一个数据库中。文档是由SQLReader从源数据库中读取的，这个组件实现了UIMA的CollectionReader接口，是使用SDK开发的。当UIMA框架调用SQLReader的初始化方法时，它使用JDBC连接到数据库并发出一个SQLSELECT语句，这个语句在SQLReader存储的ResultSet对象中返回需要的数据，比如文本字符串。然后，这个框架使用CollectionReader接口的迭代器类方法（比如getNext（））实际地获取每个文档的文本和元数据。这些数据在一个UIMA定义的数据对象中返回给框架，这个对象称为CommonAnalysisStructure（CAS）。实际上，因为正在分析文本文档，所以这个数据对象是文本CAS（TCAS）。当框架调用getNext时，它提供一个空的CAS。SQLReader用来自ResultSet中当前行的数据填充CAS。SQLReader还实现hasNext（）方法（这里未显示）以便完成迭代器接口。使用一个XML描述符文件让UIMA框架接收SQLReader。每个UIMA组件都有这样的文件，可以使用SDK中的工具或手工创建该文件。描