信息整合与数据挖掘技术培训资料.ppt

* * 利用元数据的功能实现数据交互标准 * * 元数据交互基础上的信息整合系统 在各个业务系统之间建立统一的交互标准，利用交互标准实现数据集中 目的是集中关键性数据，而对非关键性数据依然分散存放在各个业务系统中 重点在怎样设计合理的数据交互标准 交互标准 * * 元数据的四种架构 分 散 式 集 中 式 混 合 式 分 布 式 * * 简单的元数据模型 物理环境 数据元素 组织 使用者 所有者 设计者 表 事件 关系 数据值域 转换规则 程序 触发器 触发 时间 触发 事件 位置 集成规则 * * 内 容 介 绍 建立信息整合系统的目标及核心内容 通用企业信息模型的内容、技术分类、特点与应用限制 业务驱动的数据整合与数据驱动的数据整合 信息整合中的数据质量管理 信息整合中的元数据管理 信息资源管理职能设计及其组织架构 * * 信息整合系统管理机构的职能 维护和完善信息整合系统的日常工作 依赖相关管理技术和工具，分析监控信息整合系统的数据质量 建立、监督和维护企业信息规范 对数据分析工作提供符合其要求的数据集 * * 信息整合系统管理组织架构常规组织 信息架构师 数据架构师 元数据架构师 信息模型专家 技术专家 信 息 架 构 组 数据管理员/数据分析专家 数据库管理员 业务数据库管理员 ETL专家 数据质量专家 数 据 管 理 中 心 总部企业信息服务部门 CIO * * 信息架构组与数据资源管理中心的职能分配 信息架构组担负着信息整合系统数据模型的开发和维护工作 负责信息整合系统数据模型的设计和实施 提供对信息整合系统数据标准的解释工作 参与与企业IT系统建设相关的系统架构设计 协调各个业务系统的软硬件技术架构冲突 数据管理中心则在信息整合系统数据模型的基础上，对各种形式的业务应用提供数据方面支持工作 在信息整合系统数据模型及其数据子集的基础上，支持面向业务应用的数据定义、数据操作和数据应用 参与与企业IT系统建设相关的系统架构设计 协助信息整合系统数据架构的应用实施 * * 信息架构组成员及其工作职责 成员名称 工作职责 信息架构师 为每一个项目提供信息标准及其相应的管理建议，以协助项目组成员遵守和使用信息标准 评估项目计划中每一个实施阶段对企业信息架构的影响程度 提供技术架构相关建议，确保其符合业务需求的需要和企业整体建设的发展要求 领导软件和硬件评估工作，确保软硬件平台之间的兼容性和完整性 数据架构师 负责设计、定义和生成数据结构和数据库 与数据设计者一起，保证所有的数据结构和数据库符合企业对数据元素的要求 元数据资源管理师 建立和维护元数据环境 制定元数据捕获和存储方式 和业务用户一起，确定获取和存储数据及其相关信息，以及呈现这些数据的方法 信息架构分析师 执行数据源分析，确定数据源中数据的运行状态 建立和维护数据转化规则，负责完善数据采集日志 监督和修补数据质量问题 软件技术专家 评估、安装和实施与数据资源管理相关的软件工具 优化与数据资源管理相关的技术组件 搭建合理的数据应用开发环境 * * 数据资源管理中心成员及其工作职责 成员名称 工作职责 数据架构师/ 数据分析专家 将业务需求转换为具有实际意义的概念模型 设计所有不同种类的逻辑数据模型，提供其业务应用的建议，确保这些模型的简洁、灵活、稳定，能够符合数据资源管理的要求 与数据库管理员一起，确保物理模型符合业务应用的要求 解决与数据库设计有关的各种问题，如索引设计、CPU性能、RAID等 数据库管理员 监控数据库性能和权限控制 执行数据库备份恢复操作 制定数据库管理计划 安装数据库升级套件 业务系统 数据库管理员 与数据库管理员的工作职责相同，只是管理的对象是各个业务系统中的数据库 ETL专家 针对历史数据库，编写数据和相关元数据的采集计划 设计和开发数据采集程序所需各个组件 开发和维护手工数据装载流程 数据质量专家 制定和维护数据质量提升流程 发现和解决数据质量问题 建立数据质量等级制度 评估和应用数据质量管理工具 * * 案例：信息整合系统管理组织的岗位与工作职责 成员名称 工作职责 软件技术专家 评估、安装和实施与数据资源管理相关的软件工具 优化与数据资源管理相关的技术组件 搭建合理的数据环境 数据库管理员 监控数据库性能和权限控制 执行数据库备份恢复操作 制定数据库管理计划 安装数据库升级套件 业务系统 数据库管理员 与数据库管理员的工作职责相同，只是管理的对象是各个业务系统中的数据库 ETL专家 针对历史数据库，编写数据和相关元数据的采集计划 设计和开发数据采集程序所需各个组件 开发和维护手工数据装载流程 数据质量