基于中间释义库的数据集成技巧研究.docVIP

基于中间释义库的数据集成方法研究-工程论文 基于中间释义库的数据集成方法研究 池斌 CHI Bin；李军生 LI Jun-sheng；邸凯 DI Kai；王海涛 WANG Hai-tao （长春市长沈路9599号，长春 130103） （Changchun Changshen Road No.9599，Changchun 130103，China） 摘要： 现有的数据集成方法，多是面向英文语言，对于中文管理系统，很多方法并不适用。本文提出一种嵌有中间释义库的数据集成系统，利用本体语言具有通用性的特点，解决中文语义变化造成的集成困难，并在设备信息管理系统做了简单验证。 Abstract： Normal data integration method usually directed towards English, but to the Chinese MIS, it couldnacute;t work. So this paper puts forward the data integration system with a mid meaning explanation warehouse, utilizes the ontology language to deal with the problem of meaning change in the integration, and validates it in the equipment information manage system. 关键词 ： 中间释义库；数据集成；本体论 Key words： mid meaning explanation warehouse；data integration；ontology theory 中图分类号：TP311.1 文献标识码：A 文章编号：1006-4311（2014）34-0211-03 作者简介：池斌（1982-），男，黑龙江富裕人，助理工程师，硕士。 0 引言 随着信息技术在各个领域的广泛应用，信息量呈爆炸式增长，然而由于这些信息的存储环境、采集系统以及软硬件实施平台的差异，造成数据难以在各个平台间交流共享，给数据的有效利用造成很大的障碍，信息系统中因数据格式差异造成数据使用困难的问题被称为异构问题。[3]现有情况是人们常常抱怨“数据丰富、信息贫乏”，究其原因，一方面是数据分析技术不足，另一方面是信息系统运行中出现了“脏数据（Dirty Data）”，其主要表现为拼写错误、数据值缺失、格式不一致、不规范简写、定义重复、噪声数据等，含有脏数据的数据集不能直接用来决策，必须经过一定的清洗、集成处理才能使用。 数据集成方法的研究在国外开展较早，形成的工具较多，如匹配算法中的Smith Water man 算法、Consine相似函数法等，[2-4]但是很多方法并不适合中文信息的集成处理。 因此，本文提出一种基于中间释义库的数据集成系统，通过中间释义库的转换作用来实现中文问题的数据集成。 1 数据集成存在问题 1.1 中文信息集成存在主要问题 ①中文语义变化较大。中文词语的语义在不同环境下变化较大，如设备信息管理系统中的“单位”字段，本意是指计量单位，而录入人员却填上了工作单位，由于表达习惯的不同所造成的差别则更加明显。②元数据缺少。多数中文管理信息系统开发只是在小范围内使用，且很多各自为战，致使缺少可共享的元数据，造成数据集成处理非常困难。 1.2 本体论方法 本体原是哲学上的概念，原意是指世界各类具体事务具有的一般规定、一般本质、一般规律，是普遍存在于各种各类具体事务之中不可被感知但是可被人知道的相对抽象事物。[5]在信息科学领域，本体被广泛接受的定义为“本体（Ontology）是共享概念模型的明确的形式化规范说明”，[6]其定义包含四层含义：共享（Share）是指本体体现共同的知识基础，即使对不同的参考者其表述也不会产生误解歧义；概念模型（Conceptualization）是指通过抽象出客观世界中一些现象的相关概念而得到的模型；明确（Explicit）是指所使用的概念及使用这些概念的约束都有明确的定义；形式化（Formal）是指本体的语言是计算机可读的。 基于上述分析，借鉴ETL的方法，本文提出一种利用本体构建中间释义库，处理中文数据集成的成系统——基于中间释义库的数据集成系统（Data Integration system based on the Mid-Meaning Explanation Warehouse, DIME）。 2 设计思想 首先构建元数据管理模块，参考OMG（Object Management Group）