机房动力环境自动化监控系统v1.0教程.doc

PAGE II 机房动力环境自动化监控系统  目 录  TOC \o 1-3 1 综述  PAGEREF _Toc447632914 \h 1 1.1 源系统层  PAGEREF _Toc447632915 \h 1 1.2 数据仓库层  PAGEREF _Toc447632916 \h 1 1.3 展示层  PAGEREF _Toc447632917 \h 1 2 ETL数据集成  PAGEREF _Toc447632918 \h 2 2.1 数据获取  PAGEREF _Toc447632919 \h 2 2.1.1 全量抽取  PAGEREF _Toc447632920 \h 2 2.1.2 增量抽取  PAGEREF _Toc447632921 \h 2 2.2 数据转换  PAGEREF _Toc447632922 \h 3 3 数据展示  PAGEREF _Toc447632923 \h 3 3.1 系统管理子系统  PAGEREF _Toc447632924 \h 3 3.2 用户及权限管理  PAGEREF _Toc447632925 \h 3 3.3 系统日志管理  PAGEREF _Toc447632926 \h 3 3.4 统计查询子系统  PAGEREF _Toc447632927 \h 3 3.5 监控报警  PAGEREF _Toc447632928 \h 4 3.6 系统界面风格展示  PAGEREF _Toc447632929 \h 4 4 源系统技术要求  PAGEREF _Toc447632930 \h 5 5 系统采用技术  PAGEREF _Toc447632931 \h 5 6 硬件平台和操作系统  PAGEREF _Toc447632932 \h 6 服务器  PAGEREF _Toc447632933 \h 6   机房动力环境自动化监控系统 PAGE 6 综述 结合电力企业业务特点， 从技术的角度可以将系统的总体技术架构 划分为 三部分：源系统层、数据仓库层、展示层。下图是系统总体技术架构。 展示层 数据仓库层 源系统层 源系统层 源系统层包括已建成的三套动力环境监控系统。 数据仓库层 数据仓库是统一数据平台，对来自不同源系统的数 据按照一定的逻辑关系和抽取原则进行整合，将这些业务数据转换、清洗、筛选、合 并成为支持企业管理层进行决策的关键数据，存储在数据仓库中的各类数据模 型中。解决了跨系统、跨部门进行查询统计分析的需要。 采用Kettle开源的ETL工具完成此部分。 展示层 实时监控状态量变化，对于超出规程规定阀值范围的状态量指标，根据不同的类别和等级及时向各级设备管理人员发布报警信息。 报警信息的发布查询，和统计 实时监控数据 报警数据展示 1，设定报警阈值，级别机制。 2，阈值比较。 报警阈值数据 ETL数据集成 数据集成是把不同来源、 格式和特点的数据在逻辑上或物理上有机地集中， 从而提全 面的数据共享，是企业商务智能、数据仓库系统的重要组成部分。ETL 是企业数据集成的 主要解决方案。 源系统数据库 目标数据库 加载 获取 转换 其他 临时数据 数据获取 通过有效数据源获取反映设备健康状态指标的各类设备基础数据、实时数据等。数据源可以为生产管理系统、在线监测系统等。按照数据来源和数据特性不同可分为台帐信息、运行信息、监控信息等。 全量抽取 全量抽取类似于数据迁移或数据复制， 它将数据源中的表或视图的数据原封不动的从数 据库中抽取出来，并转换成自己的 ETL 工具可以识别的格式。基础数据和台账数据采用全量抽取的方式。 增量抽取 增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。 1，触发器方式 在要抽取的表上建立需要的触发器，建立插入、修改、删除三个触发器，每当源 表中的数据发生变化， 就被相应的触发器将变化的数据写入一个临时表， 抽取线程从临时表中抽取数据，临时表中抽取过的数据被标记或删除。 2，时间戳方式 是一种基于快照比较的变化数据捕获方式， 在源表上增加一个时间戳字段， 系统中更 新修改表数据的时候，同时修改时间戳字段的值。当进行数据抽取时，通过比较系统时间与 时间戳字段的值来决定抽取哪些数据。 注：第一种方式，由于需要对业务系统的数据库进行改造，提供的 接口抽取用户需要具有一定的权限， 源系统需要提供创建表和触发器的权限。 第二种方式，性能也比较好，ETL 系统设计清晰，源数据抽取相对清楚简单，可以实现数据的递增加载