BI的价值.ppt

* ETL：数据转换(2) 转换到统一的数据名称和定义（CodeString） CodeString为全辖统一的标准代码，所有源系统的代码字段在此统一 删除对决策应用没有意义的数据段 计算统计和衍生数据 给缺值数据赋给缺省值 把不同的数据定义方式统一 * ETL：装载 装载主要是将经过转换的数据装载到数据仓库里面，可以通过数据文件直接装载或直连数据库的方式来进行数据装载，可以充分体现高效性。在应用的时候可以随时调整数据抽取工作的运行方式，可以灵活的集成到其他管理系统中。 * ETL系统架构概述 调度模块 ：负责任务的管理、调度和分发，作业依赖关系的管理； 作业主控(JCI) ：负责计算资源的分配、作业的执行，控制作业执行的流程、跟踪作业执 行的结果、记录作业的日志。 数据库模块： 管理类数据库：用于调度和作业主控，保存任务和作业的相关配置信息和运行信息。 应用类数据库：用于具体应用的业务数据库。 ETL域： ETL架构中基本的计算资源组合，是一个计算机群，由JCI统一管理和控制，一个ETL域由一个ETL Server和多个ETL Client组成。 ETL应用：应用部署和配置管理的基本单位，一个ETL应用包含一组相关的作业单元、作业配置参数和应用环境参数。 物理作业：具体负责数据加工的程序执行单元，DS作业或者非DS作业(SHELL脚本、用C/C++/PROC等开发的可执行程序）。 * ETL系统架构2 参看《ETL架构培训》 * DM (Data Mining) 数据挖掘 “挖掘”出数据中隐藏的模式，趋势，关系的过程（Groth） 通过自动或半自动的方式在海量数据中发现有用的模式，规则的过程（Beryy＆Linoff） 分析普通的数据（通常是海量的）来发现数据之间比较稳定地关系，以易于理解的方式将数据总结出来向数据所有者提供有价值的决策支持。（Hand,MannilaSmyth） 在不需要人或很少地手工干预下通过可行地计算机技术来挖掘开采数据，对数据进行分析（Wegman） 从大量的数据库中抽取出此前还没发现的有效实用地的信息，并且此后使用此信息来帮助制定关键的商业决策的过程（Cabena etal） * DM分析方法 关联分析 聚类分析 局外者分析 演变分析 其他 * 关联分析举例说明： 总交易笔数（事务数）：1000 “锤子”：50 “钉子”：80 “钳子”：20 “锤子”和“钉子”：15 “钳子”和“钉子”：10 “锤子”和“钳子”：10 “锤子”和“钳子”和“钉子”：5 “锤子和钉子”的支持度：1.5%(15/1000) “锤子=钉子”的可信度：30%(15/50) “钉子=锤子”的可信度：19％ “锤子、钉子和钳子”的支持度：0.5%(5/1000) “锤子和钉子=钳子”的可信度：33%(5/15) “钳子=锤子和钉子”的可信度：25%(5/20) * 谢 谢！ * 四海皆融通 * * 商 务 智 能(BI) 概 述 Business Intelligence * 培训主要内容 名词解释 商业智能BI 数据仓库DW 联机事务处理OLTP 联机分析处理OLAP 操作数据存储ODS ETL 数据挖掘DM * 名词解释一 BI (Business Intelligence)商务智能 DW (Data Warehouse) 数据仓库 DM (Data Mining) 数据挖掘 ODS (Operational Data Store) 操作数据存储 ETL (Extraction-Transformation-Loading) 抽取-转换-加载 * 名词解释二 OLTP (on-line transaction processing) 联机事务处理 OLAP (Online Analytical Processing) 联机分析处理 CDC (Change Data Catching) 变化数据捕捉 CRM (Customer Relationship Management)客户关系管理 ERP (Enterprise Resource Planning ) 企业资源计划 * 什么是 BI（商务智能） 商务智能就好比“数据加工厂”，即把商业活动中累积的数据加工成可用于支持商业决策的信息。BI的范围很广，在实际商务中我们往往只需运用其中的某个部分就可以暂时满足企业的需求，如数据仓库，联机事务分析(OLAP)，数据挖掘，决策支持系统(DDS)等。 商业智能是企业利用现代信息技术收集、管理和分析结构化和非结构化的商务数据和信息，创造和累计商务知识和见解，改善商务决策水平，采取有效的商务行动，完善各种商务流程，提升各方面商务绩效，增强综合竞争