机房动力环境自动化监控系统v1.0选读.doc

机房动力环境自动化监控系统  目 录 1 综述 1 1.1 源系统层 1 1.2 数据仓库层 1 1.3 展示层 1 2 ETL数据集成 2 2.1 数据获取 2 2.1.1 全量抽取 2 2.1.2 增量抽取 2 2.2 数据转换 3 3 数据展示 3 3.1 系统管理子系统 3 3.2 用户及权限管理 3 3.3 系统日志管理 3 3.4 统计查询子系统 3 3.5 监控报警 4 3.6 系统界面风格展示 4 4 源系统技术要求 5 5 系统采用技术 5 6 硬件平台和操作系统 6 服务器 6  综述 结合电力企业业务特点， 从技术的角度可以将系统的总体技术架构 划分为 三部分：源系统层、数据仓库层、展示层。下图是系统总体技术架构。 源系统层 源系统层包括已建成的三套动力环境监控系统。 数据仓库层 数据仓库是统一数据平台，对来自不同源系统的数 据按照一定的逻辑关系和抽取原则进行整合，将这些业务数据转换、清洗、筛选、合 并成为支持企业管理层进行决策的关键数据，存储在数据仓库中的各类数据模 型中。解决了跨系统、跨部门进行查询统计分析的需要。 采用Kettle开源的ETL工具 数据获取 通过有效数据源获取反映设备健康状态指标的各类设备基础数据、实时数据等。数据源可以为生产管理系统、在线监测系统等。按照数据来源和数据特性不同可分为台帐信息、运行信息、监控信息等。 全量抽取 全量抽取类似于数据迁移或数据复制， 它将数据源中的表或视图的数据原封不动的从数 据库中抽取出来，并转换成自己的 ETL 工具可以识别的格式。基础数据和台账数据采用全量抽取的方式。 增量抽取 增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。 1，触发器方式 在要抽取的表上建立需要的触发器，建立插入、修改、删除三个触发器，每当源 表中的数据发生变化， 就被相应的触发器将变化的数据写入一个临时表， 抽取线程从临时表中抽取数据，临时表中抽取过的数据被标记或删除。 2，时间戳方式 是一种基于快照比较的变化数据捕获方式， 在源表上增加一个时间戳字段， 系统中更 新修改表数据的时候，同时修改时间戳字段的值。当进行数据抽取时，通过比较系统时间与 时间戳字段的值来决定抽取哪些数据。 注：第一种方式，由于需要对业务系统的数据库进行改造，提供的 接口抽取用户需要具有一定的权限， 源系统需要提供创建表和触发器的权限。 第二种方式，性能也比较好，ETL 系统设计清晰，源数据抽取相对清楚简单，可以实现数据的递增加载。 如果源系统数据已经有时间戳的话，最好采用此种方法。 数据转换 对数据进行过滤、换算、组合等加工处理，使其成为反映设备健康状态的状态参量。并对错误、不一致的数据进行清洗和加工。 数据展示 数据展示系统主要分为 系统管理，统计查询，监控报警3个模块。 后期根据具体的业务需求增加或修改模块功能。 系统管理子系统 实现用户及权限管理系统日志管理部分。 用户及权限管理 实现用户及权限管理。系统日志管理 系统日志。 系统主菜单界面 系统子菜单界面 源系统技术要求 提供最新的详细数据库文档。 系统相关模块的前台访问权限。 后台数据库的访问权限。 第二，本系统抽取数据时要求外部系统要能够区分哪些数据已经被上传过，并 将针对这些数据的修改或删除传递给本系统。 如果源系统数据已有修改更新时间戳则只需提供数据库访问权限即可。 如果没有则需要根据具体的数据结构重新制定数据获取方案。 第三，需要源系统的维护开发人员或者比较熟悉源系统的人员提供支持，以便尽快熟悉数据结构，业务流程完成开发。 系统采用技术 抽取层，将采用kettle,数据抽取工具。 WEB展现层，easyui，ext，spring，hibernate等。 数据库，mysql，oracle。 硬件平台和操作系统 服务器 系统部署 序号 服务器名称 配置情况 数量 1 数据库服务器，应用服务器， 双CPU 4核，主频2.0 GHz以上，2G内存，200 GB以上RAID 1 SCSI硬盘，千兆以太网口2个 2 （数据库服务器和应用服务器各一台） II 机房动力环境自动化监控系统 6 源系统层 加载 转换 获取 临时数据 其他 源系统数据库 权限管理 监控报警 统计查询 系统管理 报警信息的发布查询，和统计 报警阈值数据 实时监控数据 报警数据展示 1，设定报警阈值，级别机制。 2，阈值比较。 展示层 数据仓库层 目标数据库 阈值设置 根据设备属性制定的多维度统计查询 设备实时报警数据的状态查询 数据字典