初建军：基于大数据的BI应用 .docVIP

初建军：基于大数据的BI应用 大家好！今天我讲的内容有点偏技术，我们主要是给用户提供工具，我们并不是做某一个行业。我先做一下自我介绍，我是国信达软BI技术顾问。主要基于开源平台上做BI，如果大家做过报表、做过EPR应该了解，在开源领域，开源BI产品是非常少的，只有两个：Pentaho；SPagoBI。 首先看一下我们大数据的整体方案，这是一个比较概念性的方案。这个方案最顶层是展现这层，这层包括报表。在展现层和数据存储层之间可以建立一个业务模型，包括如何做数据挖掘需要做分类的模型，如果做多维分析要建立多维分析模型，如果做报表要建立业务模型，这是模型层。我们的工作主要在ETL这一层还有展现这层的工作。至于其他层，如存储层可以用Hadoop等产品我们今天的交流主要集中在ETL这一层。 Pentaho中国社区创始人、国信达软BI专家 初建军 什么是ETL？我们主要面对的是企业的业务部门，企业的领导和决策层他们需要看到数据，他们只关心两个事情，他们只关心能不能在规定时间内看到数据；看到的数据是不是完全正确的。我们为了保障用户能看到数据，首先利用模型会建立这样一个模型，下面还有一个数据挖掘模型，预测分析模型。这是我们希望的数据模型，我们希望的数据是干净、经过处理的。我想大家很多是IT部门的CIO，我们面临的问题是数据是不干净的，存储在很多地方，比如说数据有格式化的、非格式化的，日志