ETLDataService探析.pptx

议程 理解Data Service结构和安装 数据仓库概念 定义源数据库和目标数据库 创建批作业(Batch Job) 使用内置的Transforms 使用内置函数(Functions) 变化数据获取(Change Data Capture) 管理工具(Web Administration) 练习(Exercises) QA 环境准备 DS的使用经验 项目中承担的角色 是否有DS环境和客户端 拷贝安装介质 Data Service 安装 硬件 CPU Pentium processor 1024M RAM 2G free DSsk space (or above) 软件 Windows XP/WIN7/2003/2008 Database oracle/db2/sqlserver/mysql DataService ETL 架构ETL = Extract, Transform and Load 商务智能系统逻辑架构 数据整合 SAP Data Service 报表管理员 浏览用户 前端展现 SAP BIP平台 SAP BIP资料库 分析 数据库 业务数据库 管理者 数据仓库构成 关系型数据库 数据库设计规范化－－ 范式（3NF) OLTP OLAP 数据仓库 数据集市 星型结构（多星型模型） 事实表 维表 雪花型结构 SCD 数据整合良好的数据基础提升BI应用价值 优秀的工具 单一的环境下实现萃取, 转换和加载 (ETL) 易于使用, 拖拽式界面 内到数据预览,数据描绘(profiling), 和排错(debugging) 丰富的转换函数 基于Web的管理，方便部署 强大的ETL引擎 高性能的并行架构 实时处理和批处理 端到端的BI应用 易于管理 影响分析 从数据源到报表的数据体系 Data Service 构成 Data Service 构成 Web Admin Profile Server Adapters Data Service管理工具 DS 管理工具(management tools) 资料库管理(Repository Manager) 创建, 升级, 检查资料库版本 服务器管理(Server Manager) 添加, 删除, 或者编辑作业服务器的属性(properties of Job Servers) 将作业服务器和资料库关联起来(Link between Job Server and repositories) Web administrator(Web admin) 添加, 删除, 或者编辑作业，高级管理 Data Service 原理 Repository Manager资源库管理 DS Repository支持: SQL Server; DB2 Oracle My SQL Sybase ASE Repository种类： Local； Central； Profiler 练习： 创建资料库 Server Manager服务器管理 Job Server： 将Job Server与 Local Repository关联起来 练习：建立一个Server 问题 Job Server应与哪一种资料库关联： Local Repository Central Repository Profiler Repository Question 哪种说法正确： 每个开发人员均需建立一个Local Repository 一个Job Server可关联多个Local Repository 一个Local Repository可与多个Job Server关联 DS Designer Data Service Objects Projects Jobs Work flows Data Flows Scripts Transforms Job由什么组成？ Job中可以包含： Script； WorkFlow； DataFlow Job是DS的可执行对象 WorkFlow Workflow中包含： Script； Dataflow； Workflow WorkFlow 这样的Workflow执行 时有什么特点？ JOB——可否这样？ 如果我需要执行逻辑，怎么办？ DataFlow Dataflow中包含： Source；Target； Transforms Sub Dataflow 不能包含：Workflow； Script Source和Target 代表源和目标 Transforms 转换 ETL1： 数据迁移 细节数据 代码转换 数据拆分、合并 ETL2： 数据汇总 数据关联 星型模型 数据质量控制 定义源与目标数据库 Datastores 什么是Datastore: Datastore是DS到数据库、applicati