第03章 数据集成.pptVIP

系统集成与项目管理 周 苏 教授 Zs@ QQ:第3章 数据集成 数据集成的目的是运用一定的技术手段将系统中的数据按一定的规则组织成为一个整体，使得用户能有效地对数据进行操作 数据集成处理的主要对象是系统中各种异构数据库中的数据，而数据仓库技术则是数据集成的关键 5.1 数据集成的概念 数据集成有多种涵义 可以是指使用一套工具，将数据从多个数据库抽取到一个数据仓库或数据中心 可以指一个企业应用集成项目，在平台和集中数据之间进行交互 可以指一个Web服务项目，通过它一个应用可以去抓取和操作另一个应用的数据 有多种方法来集中、共享和分发数据，问题在于如何根据企业的实际需求去选择集成方式 数据库技术的发展 数据库系统是数据库和数据库管理系统 (DBMS) 等的总称，是适合于大量数据的存储和管理的有效方法。作为数据处理的核心，DBMS是与应用密切相关的支撑软件 由于集成平台的出现，人们已经习惯于把DBMS纳入平台范畴，并称之为数据平台。C/S分布模式的流行，迫使传统的基于集中模式的DBMS正逐步调整技术方向 数据库技术的发展 1968年，IBM 研制的信息管理系统是层次型数据库系统的典型代表 1968年10月，美国CODASYL数据库任务组提出网络数据库模型规范，1971年4月发表DBTG报告，确定了数据库设计的网络方法 (DBTG方法) ，从而把数据库和文件系统区分开来，为数据库技术奠定了基础 1970年6月E.F.Godd提出了数据库关系模型，开创了数据库的关系方法和数据库规范化理论研究 数据库技术的发展 20世纪80年代以来，关系模型数据库理论日益成熟并得到广泛应用，数据库理论和技术主要发展 采用新数据模型 (如面向对象、对象-关系) 构造数据库，将数据库系统从传统事务处理领域扩展到更广泛的领域，如应用在CAD/ CAM、CASE 和地理信息系统 (GIS) 等领域中，满足对复杂对象的存储和处理要求 数据库技术与其他学科的发展高度结合，例如与分布处理技术结合导出的分布式数据库，与人工智能技术结合导出的演绎数据库、智能数据库和主动数据库，与多媒体技术结合导出的多媒体数据库等 数据库技术的发展 数据库市场的主要产品有 Oracle，SQL Server、Sybase，Informix，DB2 xBASE 如 FoxPro ACCESS 传统数据库应用的局限 在数据库应用方面存在的普遍性问题包括 数据太多而信息不足。随着数据库技术的发展，各企业积累并存放了大量业务数据，但能够为企业提供辅助决策的信息太少 异构环境数据源。由于市场竞争激烈，新产品周期缩短，如何综合利用分散的异构环境数据源，及时得到准确的信息是取得成功的关键 事务处理环境不适宜 DSS 应用 传统数据库应用的局限 事务处理和分析处理的性能特性不同 事务处理环境中，数据存取操作频率高而每次操作处理的时间短；而在分析处理环境中，某个DSS应用程序可能需要连续使用几个小时，从而消耗大量的系统资源 数据集成问题：DSS需要集成的数据，全面而正确的数据是有效地分析和决策的首要前提，相关数据收集得越完整,得到的结果就越可靠。但是，大多数企业内的数据是分散的，主要是因为事务处理应用分散，数据不一致问题，外部数据和非结构化数据问题等 传统数据库应用的局限 数据动态集成问题：静态集成的最大缺点在于，如果在数据集成后数据源中数据发生了变化，这些变化将不能反映给决策者，导致决策者使用的是过时的数据。集成数据必须以一定的周期（例如 24h）进行刷新，即动态集成。显然，事务处理系统不具备动态集成的能力 历史数据问题：事务处理一般只需要当前数据，在数据库中一般也是存储短期数据，而且不同数据的保存期限也不一样。但对于决策分析而言，历史数据相当重要，许多分析方法必须以大量的历史数据为依托。DSS对数据在空间和时间的广度上都有了更高的要求，而事务处理环境难以满足这些要求 传统数据库应用的局限 数据的综合问题：在事务处理系统中积累了大量的细节数据，一般而言，DSS并不对这些细节数据进行分析。在分析前，往往需要对细节数据进行不同程度的综合，而事务处理系统不具备这种综合能力，根据规范化理论，这种综合还往往因为是一种数据冗余而被加以限制 要提高分析和决策的效率和有效性，分析型处理及其数据必须与操作型处理及其数据相分离，必须把分析型数据从事务处理环境中提取出来，按照DSS处理的需要进行重新组织，建立单独的分析处理环境。数据仓库正是为了构建这种新的分析处理环境而出现的一种数据存储和组织技术 数据仓库技术 20世纪80年代中期开始，社会的信息化进程使信息量急剧增长，对数据库系统只停留在查询、检索、统计等几个方面的应用，已经远远不能满足信息系统用户的要求，他们更需要的是从这些数据中得到有用的