机房动力环境自动化监控系统v1.0解读.docVIP

机房动力环境自动化监控系统  目 录 1 综述 1 1.1 源系统层 1 1.2 数据仓库层 1 1.3 展示层 1 2 ETL数据集成 2 2.1 数据获取 2 2.1.1 全量抽取 2 2.1.2 增量抽取 2 2.2 数据转换 3 3 数据展示 3 3.1 系统管理子系统 3 3.2 用户及权限管理 3 3.3 系统日志管理 3 3.4 统计查询子系统 3 3.5 监控报警 4 3.6 系统界面风格展示 4 4 源系统技术要求 5 5 系统采用技术 5 6 硬件平台和操作系统 6 服务器 6  综述 结合电力企业业务特点， 从技术的角度可以将系统的总体技术架构 划分为 三部分：源系统层、数据仓库层、展示层。下图是系统总体技术架构。 源系统层 源系统层包括已建成的三套动力环境监控系统。 数据仓库层 数据仓库是统一数据平台，对来自不同源系统的数 据按照一定的逻辑关系和抽取原则进行整合，将这些业务数据转换、清洗、筛选、合 并成为支持企业管理层进行决策的关键数据，存储在数据仓库中的各类数据模 型中。解决了跨系统、跨部门进行查询统计分析的需要。 采用Kettle开源的ETL工具完成此部分。 展示层 实时监控状态量变化，对于超出规程规定阀值范围的状态量指标，根据不同的类别和等级及时向各级设备管理人员发布报警信息。 ETL数据集成 数据集成是把不同来源、 格式和特点的数据在逻辑上或物理上有机地集中， 从而提全 面的数据共享，是企业商务智能、数据仓库系统的重要组成部分。ETL 是企业数据集成的 主要解决方案。 数据获取 通过有效数据源获取反映设备健康状态指标的各类设备基础数据、实时数据等。数据源可以为生产管理系统、在线监测系统等。按照数据来源和数据特性不同可分为台帐信息、运行信息、监控信息等。 全量抽取 全量抽取类似于数据迁移或数据复制， 它将数据源中的表或视图的数据原封不动的从数 据库中抽取出来，并转换成自己的 ETL 工具可以识别的格式。基础数据和台账数据采用全量抽取的方式。 增量抽取 增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。 1，触发器方式 在要抽取的表上建立需要的触发器，建立插入、修改、删除三个触发器，每当源 表中的数据发生变化， 就被相应的触发器将变化的数据写入一个临时表， 抽取线程从临时表中抽取数据，临时表中抽取过的数据被标记或删除。 2，时间戳方式 是一种基于快照比较的变化数据捕获方式， 在源表上增加一个时间戳字段， 系统中更 新修改表数据的时候，同时修改时间戳字段的值。当进行数据抽取时，通过比较系统时间与 时间戳字段的值来决定抽取哪些数据。 注：第一种方式，由于需要对业务系统的数据库进行改造，提供的 接口抽取用户需要具有一定的权限， 源系统需要提供创建表和触发器的权限。 第二种方式，性能也比较好，ETL 系统设计清晰，源数据抽取相对清楚简单，可以实现数据的递增加载。 如果源系统数据已经有时间戳的话，最好采用此种方法。 数据转换 对数据进行过滤、换算、组合等加工处理，使其成为反映设备健康状态的状态参量。并对错误、不一致的数据进行清洗和加工。 数据展示 数据展示系统主要分为 系统管理，统计查询，监控报警3个模块。 后期根据具体的业务需求增加或修改模块功能。 系统管理子系统 实现用户及权限管理，数据字典维护、系统日志管理、系统运行监控四部分功能。 设备某个状态量的阈值设置。 用户及权限管理 实现用户及权限管理功能。 权限分为以下类别： 系统操作权限：即系统的使用权限，区分用户对系统的操作级别及操作范围。 系统日志管理 对系统运行日志、故障日志进行管理，并提供对日志查功能。 统计查询子系统 通过设备属性如设备类型、设备名称、生产厂家等，以及断面时间对设备的运行状况进行查询。 并对单个设备展示历史数据的运行曲线。 监控报警 对设备的当前最新状态可以进行查询。 对告警设备进行置顶显示。并通过短信或者其他方式对负责人进行提醒等。 系统界面风格展示 系统主菜单界面 系统子菜单界面 源系统技术要求 提供最新的详细数据库文档。 系统相关模块的前台访问权限。 后台数据库的访问权限。 第二，本系统抽取数据时要求外部系统要能够区分哪些数据已经被上传过，并 将针对这些数据的修改或删除传递给本系统。 如果源系统数据已有修改更新时间戳则只需提供数据库访问权限即可。 如果没有则需要根据具体的数据结构重新制定数据获取方案。 第三，需要源系统的维护开发人员或者比