BI架构设计与开发方法.pptx

BI系统架构设计及开发方法主要内容 第一部分 BI系统架构设计一 第二部分 BI系统开发方法 第三部分 BI系统权限控制传统BI和内存式BI：传统BI工具基于数据驱动，以瀑布开发模式建设BI系统。传统BI工具需要预先形成CUBE，交付时间在半年左右，如果需求发生变化，相关模块调整周期按月计算。通常传统BI工具模块较多，操作复杂，无法形成自服务BIIBM cognos、SAP BO、oracle BIEE、Microsoft BI内存式BI软件区别于传统BI软件，基于业务驱动，无需预生成Cube，交付周期按周、月计算，，能够形成自服务BI系统。对于需求变化，交付周期按天、周计算，相关模块调整不大。Yonghong Z-Suite、tableau、QlikViewQlikview介绍QlikView是QlikTech的旗舰产品，近7年成为全球增长率最快的BI产品。2010年7月在/doc/1338282.html纳斯达克上市。Gartner把它列在Leaders象限并称为Magic Product.2009年Aberdeen年把它作为BI市场唯一的Champion. 目前QlikView引领了内存型BI产品的方向，也代表着下一代BI产品的方向。BI系统架构设计第一部分ETL架构设计方法ETL（Extract-Transform-Load）：即数据抽取（清洗）、转换、装载。多用于数据仓库技术中，目的在于将海量数据进行逻辑性梳理，去除脏数据，将杂乱的数据用一定的逻辑串联起来，形成有价值的数据信息的过程。Qlikview的ETL整个过程是在自身的脚本里面实现的Tableau需要专门的ETL工具用作配合，在数据仓库中实现的Qlikview的三层结构：1.基础数据抽取：Qlikview几乎支持所有的数据库SQL的select语句例如：销售订单抬头：SQL selectVBELN as 订单号,VBTYP as 订单类型From sapsr3.VBAK where mandt=‘601’ ;STORE 销售订单抬头 into ..\销售订单抬头.qvd(qvd);Drop table 销售订单抬头;注意：UNION不适用于qlikview，可以用Add或者Concatnate代替2.基础数据的逻辑处理：建立正确的数据模型。常用的关键字有 join 、keep、concatnate、group by、exit script、resident、noconcatnate等特别注意：join和keep的区别，join是在两张表做连接后合并成一张表，Keep是在两张表做左联接之后还是保持两张表的结构另外，qlikview没有提供调试数据的工具，仅仅提供了调试代码是否有明显的语法错误的工具，因此，经常要借助Exit script的这个关键字给脚本打断点，来判断数据是否有误。3.界面设计：利用第二层处理好的事实数据，装载到第三层，然后利用集合分析，聚合等手段，将数据按照需求进行汇总，并通过提供的各种图标插件将数据展示出来。合理利用透视表，垂直表，网格，柱状图，条形图，组合图饼状图，仪表盘，散点图，雷达图等工具BI系统开发方法第二部分基础数据收集 业务部门提出需求后，需求分析人员根据需求，找到所需要的数据源，并且告知开发人员数据之间的逻辑关系，处理事项等维度数据整理 将可能用于业务分析的维度整理出来，与基础数据关联，形成能够多维划分的有效数据供业务部门决策一、ETL建模方法1.基础数据抽取2.数据逻辑处理3.数据展示层开发1.数据的抽取Qlikview可以使用多种数据库作为数据源，例如Orical，Sql server，my sql等，也可以用文件作为数据源，如Excel文件，TXT文本等，还可以用自身系统的数据源文件，如QVD文件，QVW文件等例如：以SAP的后台Orical作为数据源，连接数据库的语句为ODBC CONNECT TO [sapprd;DBQ=sapprd] (XUserId is HKSdAZVMBDZAHZRMAA, XPassword is cIKcKTBNQTcIWPVOTLZEXSA);（标红的地方是对用户名和密码加密） 将抽取的数据储存在自身的数据源文件中处理完后释放空间增量数据抽取let TODAY=date(Today(),YYYYMMDD);Let YESTERDAY=date(Today()-1,YYYYMMDD);物料凭证增量:SQL SELECT T1.MBLNR as 物料凭证,T1.MJAHR AS 会计年度,T1.ZEILE AS 物料凭证行,T1.BWART AS 移动类型,T1.XAUTO AS 自动标识,T1.MATNR AS 物料号,T1.WERKS AS 工厂,T1.LGORT AS