BS模式下各种数据资源共享和整合研究.docVIP

BS模式下各种数据资源共享和整合研究 　　摘要：随着社会信息化的大力推进和发展，全社会积累和存储了海量的数字信息资源，特别是很多大企业和政府部门在信息化过程中积累了大量的异构型数据源，随着web技术的不断发展，如何充分利用计算机网络技术和信息技术的优势和特点将这些异构的数据整合起来，已成为当前十分热门的话题，也是值得深入研究和探讨的问题。本文提供了一种数据资源共享整合的方法，同时在这个方法的基础上实现了一整套解决方案。 　　关键词：B/S 资源共享 数据整合 　　中图分类号：TP311.52 文献标识码：A 文章编号：1007-9416（2014）12-0095-02 　　1 引言 　　随着信息化的推进，像企业和政府部门在报告撰写和数据决策分析的需求中，需要集成远程的一些异构数据作为分析的基础。然而需要整合的这些数据库系统各不相同，在存储方式上存在大量的数据错误；存储信息的数据结构上存在很大的差异；缺乏统一的数据描述标准，阻碍了单位主体信息化和数字化的进程。因此如何整合这些数据，提供一个统一的数据访问接口，为管理决策参考和分析报告撰写提供服务成为迫切要求。 　　在目前的方法和实现方案中主要是基于C/S结构的数据整合方式，这种方式下需要在用户机器上安装客户端，对用户机器的要求很高同时客户端软件维护难度大；缺乏对工作流程的支持；在特殊背景需要大系统整合的情况下不支持，导致整合数据和数据使用分离在不同的系统中。针对这些问题，本文阐述了一种数据资源整合的方法，同时在这个方法的基础上实现了一整套解决方案。在B/S构架的基础上把数据源的定义，数据集的提取，映射关系定义、目的数据源定义和数据加载的流程通过工作流的方式进行耦合处理，灵活的解决了资源整合的问题，使用证明在电力行业的报告撰写中提供了很好的支撑，在其它领域也具有很好的推广性。[1][2] 　　2 系统架构 　　基于J2EE标准规范和B/S模式建设，充分利用电力企业已有的网络硬件支持环境，以Oracle网络数据库管理系统为核心，客户端采用了通用的微软平台与IE浏览器。基于异构数据整合技术，实现异构资源的统一管理，结构化数据和非结构化数据的统一搜索。 　　数据存储实现海量数据资源的存储管理，在自建资源库、互联网采集资源库、外购资源库，以及其它交换数据的基础上，构建出索引库和平台基础库，通过全文检索适配器网关，实现索引库和基础库的同步更新，从而实现对各类资源进行有效整合和管理。 　　系统框架是系统的核心部分，系统架构层负责与数据库的交互，平台业务支撑层就负责协调和指挥处理多个应用的运行。 　　（1）数据源。从数据的来源来分，数据分为自产资源、外购资源和互联网数据资源三种。其数据源是通过各种途径获得的数据源，为数据的加工、处理提供源数据。也为系统中所涉及的跨库检索、异构数据整合提供了必要的基础。[3] 　　自产资源即为企业内部的各类简报、简讯、报告、各类文档、汇编专辑、交换资源和内参、视频文件、技术论坛数据等。外购资源为通过有偿的方式从各资源商手中购置的数据资源，主要有：成果库、中文论文库、标准库、外文论文库、机构库、专利库、图书等数据。互联网数据资源是通过网络爬虫从互联网上定点采集的信息资源。 　　（2）数据存储。数据存储分为数据库数据存储和原文等文件存储。数据库数据存储是将从多种途径获得而来的源数据，通过排重、分类等多种形式加工处理，然后存储到数据中。其文件存储是将系统中的所有资源文件通过一定的分类规则统一存放到存储中。即为后面所提到的海量信息存储提供元数据。 　　（3）平台框架。系统的技术平台是采用面向服务（SOA）和组件化体系架构，兼容J2EE技术路线，可与业界主流的基础平台无缝对接。平台在开发的过程中，采用的MVC（（Model View Controller）模型（model）-视图（view）-控制器（controller））模式，它强制性的使应用程序的输入、处理和输出分开。使用MVC应用程序被分成三个核心部件：模型、视图、控制器。它们各自处理自己的任务。其优点是耦合性低、重用性高、生命周期成本低、部署快、可维护性高、有利软件工程化管理。[4] 　　平台框架提供的接口服务、组件服务、检索服务、身份验证和集成技术，为平台的服务提供可靠的保障，也为平台的扩展提供了便捷的接口。 　　3 整合实现方法 　　异构数据资源是相关的多个数据库、数据仓库、数据集的集合，通过对异构数据资源的整合，可以实现数据之间的共享和透明访问，每个数据库、数据仓库、数据集在整合入异构数据库系统之前本身就已经是单独存在的，各自拥有自己的DBMS。异构数据库的各个组成部分都具有自身的自治性，在实现数据共享和互访的同时，每个数据库系统仍将保有自己的完整性、安全性和应用特性。