智慧方案之数据仓库建模与ETL的实践技巧.pptVIP

主要主要内容(一) 一、什么是BI（Business Intelligence） (一)、什么是BI的定义？ (二)、BI的诞生？ (三)、基本相关技术 (四)、数据处理 (五)、数据展现 (六)、常用的BI 厂商和产品 一、什么是BI（Business Intelligence） 上图流程，简单的说就是把交易system已经发生过的数据，通过ETL工具抽取到主题确定的数据仓库中，OLAP后生成Cube或报表，透过Portal展现给用户，用户利用这些经过分类（Classification）、聚集（Clustering）、描述和可视化（Description and Visualization）的数据，支持业务决策。 DB2、Informix Oracle Sysbase 其他数据结构类型 一、什么是BI（Business Intelligence） (四)、数据处理 (1)、 ODS 层的作用？ 1)、在业务system和数据仓库之间的数据过渡离层。 如果业务数据来源比较复杂，一般采用构造ODS的方法来实现收集当前需要处理的数据。如下述数据来源： a、业务数据库种类繁多。业务交易system使用了不同种的数据库， 如DB2、Informix、Oracle、SQL server、文本等。 b、不同的相关应用system、不同的地理位置。 c、订阅数据源。 d、批量还原非传统数据库数据。 ... ...等等。用于存放从业务system直接抽取出来的数据，这些数据从数据结构、数据之间的逻辑关系上都与业务system基本保持一致。 2)、保存当前或接近当前的细节数据，以供查询或ETL检错使用。 3)、数据存储周期性。ODS中存储的数据都是临时的，每次ETL之前都要清空ODS中存储的数据。 (2)、ETL(Extract Transform Load)操作型业务数据库（DB）到数据仓库（DW）的过程称之为ETL，它实现数据的抽取，转换及装载工作。 抽取：将数据从各种原始的业务system中读取出来。 转换：按照预先设计好的规则将抽取得数据进行转换、清洗，以及处理一些冗余、歧义的数据，使本来异构的数据格式能统一起来。 装载：将转换完的数据按计划增量或全部的导入到数据仓库中。 在相关技术上主要涉及增量、转换、调度和监控等几个方面的处理。 (3)、DW,(Data Warehouse) 数据仓库的官方定义是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合，用于支持管控决策。 (4)、OLAP（On-Line Analytical Processing）即联机分析处理，是BI的一种全新的数据封装方式方法，直接产物是报表或Cube，是使分析人员、管控人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件相关技术。 主要主要内容(一) 一、什么是BI（Business Intelligence） (一)、什么是BI的定义？ (二)、BI的诞生？ (三)、基本相关技术 (四)、数据处理 (五)、数据展现 (六)、常用的BI 厂商和产品 一、什么是BI（Business Intelligence） 上图流程，简单的说就是把交易system已经发生过的数据，通过ETL工具抽取到主题确定的数据仓库中，OLAP后生成Cube或报表，透过Portal展现给用户，用户利用这些经过分类（Classification）、聚集（Clustering）、描述和可视化（Description and Visualization）的数据，支持业务决策。 DB2、Informix Oracle Sysbase 其他数据结构类型 一、什么是BI（Business Intelligence） (五)、数据展现 数据查询是最简单的 BI 相关应用，输出报表是BI最直接的产物，根据数据连接，加工过程及用途，相关应用模式大致可以分为四种：格式报表；在线分析；数据可视化；数据挖掘。 1、格式报表：带格式的数据集合，如：交叉表等。 2、在线分析：多维数据集合，如：Cube等。 3、数据可视化：信息以尽可能多的形式展现出来，目标方向是使决策者通过图形这种直观的表现方式方法迅速获得信息中蕴藏的知识，如柱图，仪表盘等。 4、数据挖掘：从大量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程。 (六)、常