山东省应急平台三期工程建设方案--数据仓库.doc

应急系统数据仓库建设 一、应急数据仓库建设的必要性 山东省应急系统的建设已全面开展，省直专业部门和地市级的的应急系统建设多数已完成。这些系统的运行为应急业务提供了极大的帮助，同时也生产出大量的业务数据。当前的和历史的业务数据是我们的宝贵财富，分析处理这些数据，可为管理层提供辅助决策支持，如何存储和使用这些数据是面临的基本要问题。同时，我们也看到，由于各应急系统的建设时期不同、技术手段各异、数据格式多样和数据标准不统一等原因，形成了无数的“信息孤岛”，给应急数据的管理管理工作带来极大的不便，也难以为管理层提供辅助决策支持。因此，如何实现集成大量的应急业务数据，实现数据资源的有效整合，对于实现应急数据资源共享、辅助决策等具有重要意义。而这些数据管理工作，就是应急系统的数据环境建设，数据仓库的建设是其中的重中之重。 提高应急的分析和决策的效率和有效性，分析型处理及其数据必须与操作型处理及其数据相分离。必须把应急的分析型数据从事务处理环境中提取出来，按照DSS处理的需要进行重新组织，建立单独的分析处理环境，数据仓库正是为了构建这种新的分析处理环境而出现的一种数据存储和组织技术。1、操作型数据 2、数据仓库 数据仓库可采用如下的双粒度设计。 3、部门数据 OLAP或多维DBMS）包含某个部门的有用信息。它们是从数据仓库中提取的、汇总和反规范化的，并且根据一个部门的操作需求形成的。如相关综合数据。 4、个体数据 P C和工作站的，信息系统( EIS )处理主要运行在个体层上。整理规范现有操作环境下的数据数据仓库的建模建立 “细节数据仓库”针对一个或多个部门，以数据仓库为源数据，建立相应的部门数据，在此基础上建立相应的信息系统。通过数据抽取、转换和加载，将异构(Extraction，Transformation and Loading，ETL)，即将数据从各数据源抽取出来，经过3个方面的内 源数据通常不能满足数据仓库的要求，抽取的数据还需要进行一系列转换将其变为与数据仓库的目标数据一致，这个过程即为数据转换，主要包括类型转换、字段运算、信息合并等过程。通常，在数据转换前首先需要对不完整、错误、不一致的数据进行规范处理或剔除，以免影响数据的质量。 从操作型环境到数据仓库有三种装载工作要做：装载档案数据；装载在操作型系统中目前已有的数据；将自数据库上次刷新以来在操作型环境中不断发生的变化(更新)从操作型环境中装载到数据仓库中。 1）装载档案数据 （2）现有的操作型系统中数据的装载 （3）实时的情况下装载数据 第一种技术是扫描那些被打上时戳的数据。当一个应用对记录的最近一次变化或更改打上时戳时，数据仓库扫描就能够很有效地进行，因为日期不相符的数据就接触不到。然而，目前的数据被打上时戳的很少。 数据仓库抽取中限制数据扫描量的第二种技术是扫描增量文件。增量文件由应用程序生成，仅仅记录应用中所发生的改变。有了增量文件，扫描的过程就会变得高效，因为不在候选扫描集中的数据永远不会涉及到。但是，许多应用程序并没有创建增量文件。 第三种技术是扫描日志文件。日志文件记录的内容，本质上同增量文件一样。不过，这里还是有一些重要的区别。由于恢复过程需要日志文件，所以各种操作都要保护日志文件。利用日志文件的困难是它内部格式是针对系统的用途而构造的，而不是针对应用程序的。这就需要一种技术手段作为日志文件内容的接口。日志文件的另一个缺点是其中所包含的内容超出了数据仓库开发人员所需要的。 数据仓库系统的开发与传统的系统开发不同，传统系统的开发是以需求为驱动的，而在数据仓库系统的开发中，将所有需求考虑在内是完全不可能的。有了结果后，系统需求才得到了解，才能知道想要什么。因此，数据仓库系统的开发只能从某个局部点开始，抽取数据，编写程序，分析程序的执行结果，此时对需求有了进一步的理解，可能有了新的想法，然后再修改程序，得到新的结果。此过程反复进行，直到得到满意的需求。这种开发方法称为启发式或螺旋式。 四、前景与展望----建立应急决策支持系统 应急数据规模日益, 复杂程度不断增长, 从大量数据中及时地获取制定随着数据库技术的发展计算机网络技术的迅速普及及数据仓库和数据挖, 给决策支, 为决策支持系统开辟了一 数据仓库与数据挖掘技术为决策支持系统的研制与开发提供了一种有效、可行的体系化解决方案。在建立了山东省应急数据仓库系统基础上，建立山东省应急决策支持 部门数据 数据仓库 操作型数据 早期细节级 操作型数据转换 高度综合级 轻度综合级 轻度综合级 当前细节级 细节数据（真实档案） 轻度综合 操作型数据