2010年商业智能研究分析报告m.pdf

2010 年商业智能研究分析报告 作者 周倚平 商业智能通常被理解为将企业中现有的数据 （业务，财务，研发等）转化为知识，帮助企业 做出明智的业务经营决策的系统架构。为了将数据转化为知识，需要利用数据仓库、联机分 析处理（OLAP ）工具和数据挖掘（DM）等技术。因此，从技术层面上讲，商业智能不是 什么新技术，它只是数据仓库、OLAP 和数据挖掘等技术的综合运用。 商业智能的形成过程： 采集（业务系统ERP）→ 织存储（数据仓库）→ 分析预测（数据挖掘）→ 实时报表（OLAP ） 相对来说做商务智能和 ERP 最大的区别在于 ERP 是流程驱动，商务智能是目标驱动。看 企业究竟想做什么。 主流产品： Cognos （IBM），SPSS （IBM），Hyperion （Oracle），BO （SAP，Crystal ），Excel+SQL Server （Microsoft ），Informatica，SAS 主要厂商 ETL ：Informatica, SQL Server Analysis Server DW：IBM DB2，Oracle，Sybase IQ ，NCR Teradata OLAP ：Cognos，Business Objects ，MicroStrategy，Hyperion，IBM Data Mining：IBM，SAS，SPSS 1 页 共 31 页 Copyright Zhou Yi-ping Mail: zyp2671@ 1. 关键 术 1.1. ETL 过程 不同数据源 （Oracle，DB2，SQLServer ） ETL 数据仓库 不同的数据（关系型数据，文档，图片，音视频） 商业智能的核心内容是从许多来自企业不同的业务处理系统的数据（分布的，异构的源数据） 中，提取出有用的数据，进行清理以保证数据的正确性，然后经过抽取 （Extraction ）、转 换 （Transformation ）和装载 （Load ），即ETL过程（本质上是样本提取的过程），整合到 一个企业级的数据仓库里，从而得到企业信息的一个全局视图，在此基础上利用合适的查询 和分析工具、数据挖掘工具等对数据仓库里的数据进行分析和处理，形成信息，甚至进一步 把信息提炼出 助决策的知识，最后把知识呈现给管理者，为管理者的决策过程提供支持。 ETL 特征： l 以串行/并行方式，从不同异构数据源流向统一的目标数据，核心在于转换过程（关联， 聚集），而抽取和装载一般可以作为转换的输入和输出。 l ETL 元数据主要包括每次转换前后的数据结构和转换的规则。 l 数据同步，数据ETL 是经常性的活动，按照固定周期运行，甚至实时运行。 l 庞大的数据量，需要ETL 工具有良好的伸缩性。 l 流程控制和数据验证机制。 下图是数据仓库/商业智能的完整的体系结构图，根据数据的不同形态，整个体系被划分为 四个大的层面，并根据数据的处理和应用过程再细分成七个环节。从数据源经过抽取(Extra ， E)、转换 （Transform，T ）、装载 （Load，L）过程加载到中央数据仓库, 再从数据仓库经 过分类加工放到数据集市(DM, Data Market)，或者将数据集市中的数据进一步存放到多维 数据库(MDD, Multi-dimension Database)，这都属于数据组织的问题，从中间层到终端用 户或从多维数据库到终端用户可将其划归为前端应用实现的问题。而贯穿整个体系数据处理 环节的，是系统的流程调度控制和元数据管理。 2 页 共 31 页 Copyright Zhou Yi-ping Mail: zyp2671@ 1.2. 数据仓库（DW） 按照W .H.Inmon 这位数据仓库权威的说法，“数据仓库（Data Warehouse）是一个面向主 题的、集成的、时变的、非易失的数据集合，支持管理部门的决