数据仓库体系架构教案分析.pptVIP

湖南电信EDW体系架构 黄晓波 NCR (中国) 有限公司数据仓库事业部 议题 数据集市 vs 企业级数据仓库 EDW vs 集线器 辐条 企业级数据仓库的拓扑结构 EDW体系架构概要 建立数据仓库系统过程的首要环节 针对系统较高层次的描述与整体规划 满足业务需求对技术实现的要求 定义各模块的功能、设计原则与接口 数据仓库的可管理、可扩展与可访问 企业级数据仓库 Teradata数据仓库 – 数据源 Teradata数据仓库 – ETL工具 Teradata数据仓库 – ETL合作伙伴 Teradata数据仓库 – 数据库 Teradata数据仓库 – 数据库管理工具 Teradata数据仓库 – 硬件平台 Teradata数据仓库 – 数据挖掘工具 Teradata数据仓库 – OLAP Server Teradata数据仓库 – 商业智能工具 Teradata数据仓库 – WEB工具 Teradata数据仓库 – 用户 Teradata数据仓库体系结构示例 EDW 结构框架 议题 EDW体系架构设计原则 经典的数据仓库体系结构理论依据 合理的层次划分与模块接口 考虑系统的稳定性、安全性与可扩展性 持续的业务支持能力 必要的安全策略与控制 EDW体系架构要素 从不同的数据中心获取数据 需要清楚的定义数据接口和数据交换协议 确保数据被及时传送 数据质量 数据标准化确保从所有数据源得到的数据具有一致性含义 数据质量检查确保数据从无规则形态转变到标准化的形态。所有脏数据都被侦测并清除 数据错误的追踪和重新处理系统确保所有的错误被跟踪，校正和重新处理 数据潜伏期 ETL流程必须提供高性能并使生产能力最大化 数据可用性 确保数据安全可用； 安全，备份和恢复； 机器容量和性能 应归于大容量数据存储和高端配置 系统的可扩展性与可管理性 适应系统将来数据量和用户量的增长 性能管理和自动化数据仓库流程 确定体系架构的过程 议题 湖南电信事实 基于本地网的运营模式 源系统分散、多数据库平台并存 业务源数据量大且不断增长 潜在的数据质量问题 网络结构拓扑 业务系统改造与更新 数据仓库核心 ETL过程与管理体系 Teradata数据库 – PDM 数据仓库应用及多维分析 数据挖掘及应用服务 应用访问的统一门户 ETL逻辑体系结构 数据ETL 分布式结构 – 接口机 – 前置机 – 数据库 ：任务与资源的平衡 　 接口机：从本地网各业务系统中抽取源数据，形成接口文件，大数据压缩　　　　　 前置机：通过自动化ETL流程从接口机获取数据、解压缩、并按照ETL任务 定义进行数据加载，必要时作数据清洗和部分转换　 数据库：根据SDM进行转换 ELT的总体加载策略 文件接口协议 － 数据文件与标志文件　 多点采集、单点控制 　 考虑业务系统与数据操作安全 时间窗口与性能影响 性能影响分析 自动化流程控制 数据质量 DW Automation ETL作业调度 事件触发和时间触发 完善的日志 简单易用的监控和管理 快速实施，灵活高效 TWM逻辑体系结构 统计函数可作为 C++ APIs 统计 分析功能可作为 Microsoft COM 接口 公用的元数据模型 　可用作评分与运用 运行在Windows 平台 (98, 2000 2003) 支持各种操作环境 (Windows或Ｕnix)下的Teradata 前端应用逻辑体系结构 数据仓库管理 主机、存储硬件监控及管理 数据仓库运行管理与监控 数据仓库工作负载管理 备份与恢复 系统安全 管理工作站AWS 集中管理 单一的图形化操作界面 可管理 Cabinets Power Nodes BYNET Disk Storage Teradata Administrator Manage the database Perform typical database operations with a click of the mouse History of SQL operations Teradata Manager 为DBA操作命令和控制函数提供单一的接口 动态性能分析工具 一个DBA可以访问多个Teradata系统 丰富的工具集 Teradata Manager - Teradata Dashboard Teradata Manager - Workload Analysis 管理混合的工作负载 TDQM 自动管理Teradata工作负载 为Teradata提供查询管理的机制，确保正确的时间 完成正确的工作 TDQM评估提交的请求并能够： 实时运行任务 延期运行任务 定时运行任