商务智能技术及项目总结.docVIP

商务智能技术及项目总结 撰稿人：张伟 随着郑州地税BI项目接近尾声，本月郑州BI项目组也针对BI的整体概念以及BI的各个方面进行总体的讲解一般说来，商业智能的首要目的就是在针对产品、销售和客户等数据分析的基础上，为企业的决策和信息应用提供数据的分类和管理。随着近年来数据仓库成熟，商业智能已经开始在许多大型机构拓展其成熟的应用。BI的三大技术：数据仓库（DW）、在线联机分析（OLAP）和数据挖掘（DM）。 数据仓库 数据仓库是数据信息的整合，它解决了从数据库中获取信息的问题。 你能从下图告诉我一共有多少根火柴吗？ 图1.1 如果我们利用数据仓库技术对数据进行整合，图1将变成如下图所示： 图1.2 呵呵，这样是不是就能轻易的说出火柴的数量了。 数据整合是将分布在企业中的各种各样的数据从各种不同的、分散的数据源、不同的应用中汇集，转变成结构化、可复用、准确可信的数据的过程。 你能从下图告诉我销售额最大的客户吗？ 图1.3 对上面的数据进行分析，得出如下图形：（前四条是一条数据） 图1.4 所以整合后的数据应该是如下图所示： 图1.5 所以如上所说，数据仓库解决了从数据库中获取信息的问题。 图1.6 图1.7 数据仓库为在线联机分析（OLAP）和数据挖掘（DM）提供了数据源的结构化的数据环境。 图1.7 在线联机分析 OLAP是一种方法 广义上定义：通过切片、旋转、钻取等方法对数据进行分析的方法。 狭义上定义：通过对事实和维度表的存取分析，从多种角度对原始数据进行分析。 OLAP按照数据的存储方式可分为三种：MOLAP，ROLAP，HOLAP ROLAP 潜力：数据仓库未来的发展方向 优点：支持即席查询，支持TB级操作，使用灵活，汇总和明细可以无缝访问缺点：一般比MOLAP响应速度慢。但是随着技术的进步，差距在缩小。 代表产品：Sybase IQ/IBM DB2 UDB/BO/MSTR/BRIO/Cognosreportnet 下图就是我们常说的“星型模式” 图2.1 星型模式 我们可以这样理解： 事实表一般是存放各个维度的主键字段和度量（就是我们常说的指标） 维度表一般用来存放维的元数据,主要包括这个维度的层次以及描述字段。维度的层次也就是我们在OLAP进行钻取的层次，比如：时间维度的年 月 日，税务机关维度的省级 市级 县区级 科所级。 当然维度的主键一般为最小级别的字段，比如上述的“日”和“税管员”。 MOLAP 本质: 对那些因大批量查询无法及时响应而引进的汇总数据集。 优点：专为OLAP所设计，响应速度快，支持度量之间的复杂运算。 缺点：复杂度增加，占用大量空间，需要预处理时间，使用不灵活，难以支持TB级应用 代表产品：Hyperion Essbase/Oracle Express/MS Analysis Server/CognosPowerplay MOLAP中有一个非常重要的概念：CUBE，就是数据立方体，见下图 图2.2 数据CUBE（立方体） 对于MOLAP我们可以简单的理解为：后台需要将数据进行预计算，而前台只负责获取数据，而不进行任何的计算，其实就是“用空间换时间”的模式。 HOLAP：不再多说，就是以上ROLAP和MOLAP的结合。 这样我们可得出OLAP与我们传统的OLTP业务系统的关系和各自的工作原理。 图2.3 数据CUBE（立方体） 图2.4 ROLAP工作原理图 图2.5 MOLAP工作原理图 图2.6 HOLAP工作原理图 下面我们通过两个图形简单的了解一下OLAP的功能： 图2.7 OLAP钻取功能 在分析过程中，我们可能需要在现有数据基础上，将数据进一步细化，以获得更为精确的认识。这就是OLAP中数据钻取的概念。比如，在中，当我们以和为维、以为度量进行分析的时候，可能希望进一步观察的不同，这时我们就可以在这个数据维下，从而获得相应的信息既见一叶又见森林钻取包含向下钻取(Drill-down)和向上钻取(Drill-up)操作， 钻取的深度与维所划分的层次相对应　　在多维数据结构中按二维进行切片,按三维进行切块得到所需要的数据。对指定数据进行重点观察如在“城市、产品、时间”三维立方体中进行切块和切片,可得到各城市、各产品的销售情况 简单来说,Data?Mining就是在庞大的数据库中寻找出有价值的隐藏事件，由统计及人工智能的科学技术，将资料做深入分析，找出其中的知识，并根据企业的问题建立不同的模型，以提供企业进行决策时的参考依据。 近年来，数据挖掘已成为企业热门的话题。愈来愈多的企业想导入数据挖掘的技术，美国的一项研究报告更是将数据挖掘视为21世纪十大明星产业，可见它的重要性。一般数据挖掘较长被应用的领域包括金融业、保险业、零售