大数据时代的商务智能解构企业数据仓库架构.docxVIP

PAGE 1 PAGE 1 大数据时代的商务智能解构企业数据仓库架构  对于商务智能或数据仓库开发者来说，这是一个让人眼花缭乱的时代，各种新技术层出不穷。在种种技术创新解构现存架构、技术和传统的时候，数据仓库和商务智能也不能例外。  　　对于商务智能或数据仓库开发者来说，这是一个让人眼花缭乱的时代，各种新技术层出不穷。在种种技术创新解构现存架构、技术和传统的时候，数据仓库和商务智能也不能例外。  　　下一代数据仓库和BI架构呼之欲出，这种新型的架构模式包含： 先进的分析能力，比如统计和预估分析、针对实时数据的实时分析、以及成熟的数据虚拟化技术。通过采用非关系型或开源系统，加强对新的、不常见的数据源（即所谓的大数据）的管理。理解、融入新的概念，比如数据池应用数据虚拟化技术或数据混合工具进行数据的提取、转换和加载（即ETL），集成数据。顺应云计算和移动化的发展趋势，集成硬件和软件应用。 　　这些新技术可以帮助企业增加实施决策能力，同时降低扩展的成本。  　　其实，许多技术人员不清晰该如何在现存BI和数据仓库的基础上添加新的功能。数据仓库还有没有存在的必要？Hadoop技术该如何使用？如何满意业务日益增长的实时分析的需求？要回答这些问题，并不是件简单的事。  　　数据仓库仍旧是BI的工厂  　　让我们首先来回答第一个问题：企业数据仓库是否还有存在的必要？答案必定是确定的，至少在可预见的将来，数据仓库不会消逝。不过，它的角色会有所转变。它会成为产品报表、比较和分析的源头。数据仓库是数据集成和高质量数据的最好的来源。BI分析和BI仪表盘组件，包括市场、运营和销售部门使用的KPI和其他业务度量工具，都离不开企业数据仓库。没有什么能够转变数据仓库“BI工厂”的地位。  图1传统企业数据仓库  　　然而，传统企业数据仓库架构已经不能完全满意今日企业的需求。在处理新类型数据、进行深度分析和实时数据分析等方面，传统数据仓库架构存在着明显的不足。  图2：新数据仓库的组成  　　现在，来看一下第二个问题：Hadoop技术该如何应用？无论是关系型数据平台还是非关系型数据平台，都要求我们走出传统数据仓库架构，为BI增加新的组件。  　　图2已经显示了我们扩展数据仓库采用的主要的组件。第一个是调查计算平台，主要用到了关系型软件和Hadoop技术。这一平台主要用于挖掘数据、开发新的分析模型，比如数据挖掘、因果分析、条件分析、类型分析以及常规的无计划的数据调查。  　　一些组织可能只将调查计算平台用于简洁的试验沙箱，而一些组织会创建完整的分析平台，或将其用作数据加工。假如部署得当，这种新的平台能够帮助企业实现对大规模数据集的快速分析。  　　第二个新的组件就是数据加工。所谓数据加工，就是把来自于传感器、社交媒体、RFID等多种数据源的数据和实时数据提取进来，经过一定加工后将其加载到关系型或非关系型数据存储中。就像石油加工把原油变成石油产品一样，数据加工把未经处理的数据变成有用的信息，这些信息会为调查计算平台或数据仓库所用。数据加工通常要求在数据安全、隐私、质量、归档和销毁等数据治理层面能够更敏捷。  图3：数据仓库架构  　　对数据仓库扩展的第三个组件也恰好回答了我们的第三个问题：如何满意业务日益增长的实时分析的需求？这一组件包括运营环境中的实时分析平台，目的是要开发和部署实时分析应用，比如Web事件分析、跟踪流优化和风险分析。因为实时分析平台中的分析模型和规则很有可能会在企业数据仓库、调查计算组件和实时分析平台自身开发，所以一定要保证这三个平台的紧密集成。  　　图3把全部的元素都放入了数据仓库架构中。现存的和新得数据管理、BI和分析技术可以并存共生、彼此支持。在扩展的BI架构中，每一个组件都得到了优化，来满意特定的功能和能力需求。  　　这种架构总体上不会转变太多，这需要生产、调查和实时分析能力保持相对全都。