ETL培训FirstDay内容.ppt

对数据源的支持 对广泛数据源的支持和通用的数据连通性。 关系型和平面文件 ?? Oracle ?? DB2 ?? SQL Server ?? Teradata ?? Sybase ?? Informix ?? Flat File ?? Web Logs 运行环境 安装Informatica PowerCenter 安装存储资料库的数据库 安装PowerCenter服务端 安装PowerCenter客户端 参考安装文档 Informatica公司简介 公司 成立于1993年 Nasdaq: INFA (1999) 全球职工1200+ 产品 世界级数据集成工具平台 数据质量管理 元数据管理工具平台 第一天内容结束 演示简单开发流程 检查开发环境安装情况 人有了知识，就会具备各种分析能力， 明辨是非的能力。 所以我们要勤恳读书，广泛阅读， 古人说“书中自有黄金屋。 ”通过阅读科技书籍，我们能丰富知识， 培养逻辑思维能力； 通过阅读文学作品，我们能提高文学鉴赏水平， 培养文学情趣； 通过阅读报刊，我们能增长见识，扩大自己的知识面。 有许多书籍还能培养我们的道德情操， 给我们巨大的精神力量， 鼓舞我们前进。 * ETL抽取工具Informatica之产品篇 2010年6月 Informatica产品介绍 PowerCenter：Informatica PowerCenter是世界级的企业数据集成平台，它在ETL领域中无论是执行能力还是战略远见方面都是佼佼者，是Informatica的核心产品 。 Informatica公司其他产品 PowerAnalyzer：BI前端工具，用于数据展现，内置了170多种分析报表，用于元数据的浏览和分析 PowerExchange：适用于连接主机数据，实时数据和CDC数据处理 SuperGlue：元数据管理工具，管理系统所有的元数据，包括BI、OLAP、Data Model、ETL工具产生的元数据。 主流的ETL厂商和产品 专业ETL厂商和产品包括Ascential公司的DataStageXE、Sagent公司的Solution和Informatica公司的产品 Informatica产品体系结构 名次解释 ETL：Extract-Transform-Load 的缩写，数据抽取（Extract）、转换（Transform）、装载（Load）的过程。 DW：Data Warehousing，根据Bill.Inmon 的定义，“数据仓库是面向主题的、集成的、稳定的、随时间变化的，主要用于决策支持的数据库系统”。 Metadata：元数据。描述数据的数据，指在数据仓库建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。 解析什么是ETL？ Extract: 通过接口提取源数据，例如:ODBC、专用数据库接口和平面文件提取器。参照元数据来决定提取何处的数据和怎样提取。 Transform: 开发者将提取的数据，按照业务需要转换为目标数据结构，并实现汇总。 Load: 加载经转换和汇总的数据到目标数据仓库中，可实现SQL 或批量加载 ETL环节中哪个才是最重要的？ 大家猜下哪个环节是最重要的环节？ 最重要的环节 大家可能大部分会认为转换才是最重要的环节，但事实上是加载环节。 按重要程度递减排序，分别是load（装载）、clean（清洗）、transfer（转换）、extract（抽取） 主要应用领域 Informatica PowerCenter的应用领域集中以下五个方面： 1、数据平台 2、数据迁移 3、数据仓库 4、数据同步 5、商业活动监控 什么是数据仓库？ 数据仓库是一个环境，而不是一件产品，提供用户用于决策支持的当前和历史数据，这些数据在传统的操作型数据库中很难或不能得到。数据仓库技术是为了有效的把操作形数据集成到统一的环境中以提供决策型数据访问，的各种技术和模块的总称 数据仓库体系结构 PowerCenter在数据仓库的应用 1) 商业智能 （BI） business intelligence 2) 数据集市 数据集市（Data Marts）：为了特定的应用目的或应用范围，而从数据仓库中独立出来的一部分数据，也可称为部门数据或主题数据（subject area）。在数据仓库的实施过程中往往可以从一个部门的数据集市着手，以后再用几个数据集市组成一个完整的数据仓库。需要注意的就是再实施不同的数据集市时，同一含