BI的体系架构及决策支持系统.doc

BI的体系架构及相关技术 　　一个BI系统为了满足企业管理者的要求，从浩如烟海的资料中找出其关心的数据，必须要做到以下几步：　　1)为了整合各种格式的数据，清除原有数据中的错误记录——数据预处理的要求。　　2)对预处理过数据，应该统一集中起来——元数据(Meta Data)、数据仓库(Data Warehouse)的要求；　　3)最后，对于集中起来的庞大的数据集，还应进行相应的专业统计，从中发掘出对企业决策有价值的新的机会——OLAP(联机事务分析)和数据挖掘(Data Mining)的要求。　　所以，一个典型的BI体系架构应该包含这3步所涉及的相关要求。 图 3 BI的体系架构 　　整个体系架构中包括：终端用户查询和报告工具、OLAP工具、数据挖掘（Data Mining）软件、数据仓库（Data Warehouse）和数据集市（Data Mart）产品、联机分析处理 (OLAP) 等工具。　　1）、终端用户查询和报告工具。　　专门用来支持初级用户的原始数据访问，不包括适应于专业人士的成品报告生成工具。 　　2）、数据预处理(STL-数据抽取、转换、装载)　　从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理，以保证数据的正确性，然后经过抽取（Extraction）、转换 （Transformation）和装载（Load），即ETL过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图。　　3）、OLAP工具。　　提供多维数据管理环境，其典型的应用是对商业问题的建模与商业数据分析。OLAP也被称为多维分析。 　　4）、数据挖掘（Data Mining）软件。　　使用诸如神经网络、规则归纳等技术，用来发现数据之间的关系，做出基于数据的推断。 　　5）、数据仓库（Data Warehouse）和数据集市（Data Mart）产品。　　包括数据转换、管理和存取等方面的预配置软件，通常还包括一些业务模型，如财务分析模型。 　　6）、联机分析处理 (OLAP) 。　　OLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。　　其中核心技术在于数据预处理、数据仓库的建立（DW）、数据挖掘（DM）和联机分析处理（OLAP）三个部分。接下来，我们对这几个核心部分进行详细说明：数据预处理：　　当早期大型的在线事务处理系统(OLTP)问世后不久，就出现了一种用于“抽取”处理的简单程序，其作用是搜索整个文件和数据库，使用某些标准选择合 乎要求的数据，将其复制拷贝出来，用于总体分析。因为这样做不会影响正在使用的在线事务处理系统，降低其性能，同时，用户可以自行控制抽取出来的数据。但 是，现在情况发生了巨大的变化，企业同时采用了多个在线事务处理系统，而这些系统之间的数据定义格式不尽相同，即使采用同一软件厂商提供的不同软件产品， 或者仅仅是产品版本不同，之间的数据定义格式也有少许差距。由此，我们必须先定义一个统一的数据格式，然后把各个来源的数据按新的统一的格式进行转换，然 后集中装载入数据仓库中。　　其中，尤其要注意的一点时，并不是各个来源的不同格式的所有数据都能被新的统一格式包容，我们也不应强求非要把所有数据源的数据全部集中起来。 Why?原因很多。有可能原来录入的数据中，少量的记录使用了错误的数据，这类数据如果无法校正，应该被舍去。某些数据记录是非结构化的，很难将其转化成 新定义的统一格式，而且从中抽取信息必须读取整个文件，效率极低，如大容量的二进制数据文件，多媒体文件等，这类数据如果对企业决策不大，可以舍去。　　目前已有一部分软件厂商开发出专门的ETL工具，其中包括：　　Ardent DataStage　　Evolutionary Technologies,Inc. (ETI) Extract　　　　Information Powermart　　　　Sagent Solution　　　　SAS Institute　　　　Oracle Warehouse Builder　　　　MSSQL Server2000 DTS数据仓库：　　数据仓库概念是由号称“数据仓库之父”William H.Inmon在上世纪80年代中期撰写的《建立数据仓库》一书中首次提出，“数据仓库是一个面向主题的、集成的、非易失性的，随时间变化的用来支持管理 人员决策的数据集合”。　　面向主题是数据仓库第一个显著特点，就是指在数据仓库中，数据按照不同的主题进行组织，每一个主题中的数据都是从各操作数据库中抽取出来汇集而成，这 些与该主题相关的所有历史数据就形成了相应的主题域。　　数据仓库的第二个显著特点是集成。数据来源于不同的