(BI数据仓库实现方法介绍.docVIP

安踏数据仓库实现方法介绍 目前我们在安踏项目上，为安踏提供了在线业务系统，在线查询系统以及BI报表三大块，这三大块的示意图如下： 从上图我们可以看到这个体系由如下部分构成： 生产系统 也就是目前我们为安踏提供的分销系统，里面既有分销数据又有全国各地专卖店上传得零售数据。 数据仓库 数据仓库里面的数据由生产系统定期导入，数据仓库可以从多种业务系统导入数据，如从我们的分销系统导入销售和零售数据，从生产控制系统导入生产数据，从财务系统导入财务数据等。目前在安踏dw仅仅是从 SSIS引擎 数据从生产系统转到数据仓库是通过微软的IS工具来实现的，IS实现包括数据清洗和抽取。 SSAS 我们通过微软的AS来建立多个数据方块对dw中的数据做预处理，通过对数据的预处理来为客户提供各种分析报表，从这里不难看出AS报表的即时性取决于dw中数据的抽取频率。 SSRS 微软reporting service 报表管理服务，目前在安踏暂没有用上。 应用程序展现 在我们的应用程序里面增加了34类型用于展现经过AS处理后的报表数据，也可以用其它应用程序展现如excel，普科等。 接下来重点对SSIS和SSAS的用法做详细的介绍. 第一部分 SSIS用法介绍 熟悉sql server 2000 的人都清楚，在sql server 2000 中有个很好用的DTS工具，这个工具可以实现数据导入导出，执行各种脚本等功能，在sql server 2005 里面这个工具被IS数据殷勤替代了，其使用方法也跟sql server2000 的DTS不太一样。 Step1：启动Sql Server Business Intelligence Development Studio Step2：新建一个IS项目 选择Integration Services 项目，输入名称，点确定。 左边是：工具栏，工具栏中提供了大量的工具控件，这里简单介绍几个常用，其他的请各位自行研究。 一个序列容器中可以有多个具体的任务。容易相当于是任务的组合。如： 这个容器就处理了一个sql任务和一个数据流任务，两个任务之间通过箭头连接起来表示先执行哪个任务后执行哪个任务。 用来对cube进行处理。 执行sql命令，在这里可以自己写sql语句或者写调用存储过程。如： 上图表示在192.168.10.45的antadw3 数据库中执行一条语句truncate table garea 执行IS包 执行ETL数据流处理 如下图所示： 数据流必须包括一个数据源和一个目标，中间可以做一些特殊的处理，如字符转换，字符查找（字符查找有两个作用，一个是用来判断维度信息在维度表中是否存在，一个是用来建立事实表跟维度表之间的关联，同时通过在维度表中用自增长类型的字段作为主键，通过查找将主键字段在事实表中同时维护，然后用自增长类型的主键来作为事实表与维度表的关联可以相应的提高cube的处理效率）。需要注意的是在IS中查找是严格区分大小写的。 OLEDB源的设计： 首先需要设置连接管理器，如果已经有建好的连接方式，则直接选择就可以了，没有的话需要新建一个连接。 数据访问模式有四种： 用的比较多的是“表或视图”以及“SQL命令”，如果考虑到增量抽取则建议采用SQL命令的模式。 这里用来设置需要抽取的字段清单。 OLEDB目标的设计 首先也是设置连接管理器，表明导入到哪个表里面。 接下来设置字段对应关系 错误输出栏用于对一些错误的数据进行处理。 多个系列容器测试没有问题后可以保存为一个包，包保存起来后可以在sql server 作业中调度。 需要注意地方：一、为了便于以后的维护尽量将ETL任务分散在多个包中进行，这样便于后续正式运行后出现了错误好及时排查，如果把所有的任务都放在一个包中，那只要其中一个任务错了，就要对所有的任务进行检查，无疑给排错带来了很大的困难。二、包调度没有问题后要把当前的环境和相关的参数保存起来，可以用 中的包配置来处理。 第二部分 SSAS用法介绍 SSAS由两个重要的概念：维度和度量值，我们可以理解成维度就是用来描述事物属性的，如商品资料的编号，颜色，色号，规格，单位等，而度量值是用来描述事物的数量的，如某个仓库有某个商品多少库存，这个库存就是度量值。整个AS结构都是基于维度和度量值来处理的。 下面简单介绍AS体系构建的过程： Step1：启动Sql Server Business Intelligence Development Studio 操作同IS step1。 Step2：创建一个AS项目 选择Analysis Services 项目，输入名称，保存。 从解决方案资源管理器