电子商务BI中的基础思考.ppt

1、《电子商务中的BI应用初探》 7月6日，来1号店前基于自己的BI经历和对电子商务的理解写的初步想法。 2、《电子商务BI中的基础思考》 7月31日，基于与同事对架构的讨论整理的材料。 Bobby Luo 罗如意189.cn） 2011年7月 /cquptvlry Bobby的Senior BIer之路之二 对于BI认识的两个误区 BI是一个完整的体系 架构规划的实例 如何分阶段实施 关于数据质量的思考 BI到底是什么？ BI已经是现在很流行的概念了（从数据获取信息，产生价值）。 但到底什么是BI？应该怎么样实施？ 误区一：BI就是报表和取数 1、在生产系统之外，建立单独的报表库及报表系统，需要时就开发一些特定的报表，或者手工提取数据，再做一些简单分析。 2、一般的需求由业务部门如市场部、产品部发起，BI部门沦为简单的数据提供部门。 带来问题：业务部门一般都是从自己部门角度考虑，同时缺乏对其他部门数据和BI技术的了解，分析一般比较狭窄。而BI部门疲于应付各种取数和开发需求，缺乏对高级BI应用的开发和对整个企业BI分析的规划。 误区二：数据挖掘等高级应用才是BI 1、很多人尤其是领导者一般很容易被现在流行的BI概念所影响，认为只有数据挖掘、精准营销这些相对高级一点的应用才是BI。 2、从而很关心每月做了多少个挖掘或分析，而不愿意做一些基础性的数据整合、模型规划等工作。 带来问题：应用很多，但都是浅尝则止，没有真正地给企业带来多大实际价值。同时应用开发的效率低下，很多数据每个人重复地计算来计算去，结果却各不一致。数据质量问题也影响了分析和挖掘的结果及应用价值。 对于BI认识的两个误区 BI是一个完整的体系 架构规划的实例 如何分阶段实施 关于数据质量的思考 BI是一个完整的体系 数据源 业务用户 ETL 数据集市 抽取 转换 清洗 加载 查询 报表 OLAP 数据 挖掘 数据仓库 信息访问 网络管理 数据库管理 系统管理 元数据 逻辑数据模型 物理数据模型 业务和技术咨询与培训服务 中间件/EAI 可选项 整合的数据基础 良好的层次体系 长远的应用规划 恰当的最终展现 + + + 一、要有整合的数据基础 二、要有良好的体系规划及运维机制 三、要结合业务需求做好应用规划 四、需求出发、各尽其用 对于BI认识的两个误区 BI是一个完整的体系 架构规划的实例 如何分阶段实施 关于数据质量的思考 公司的现状 需要考虑的几个关键问题（1/3) 1、是否需要将Oracle数据和应用全部迁移到Teradata？ 否。 Teradata是单节点，如果全部迁移到Teradata，随着数据和应用增加迟早也会遇到性能和存储瓶颈；而且现在ORACLE已经有大量的脚本和报表，如果全部迁移的话，需要花费大量精力，数据核对也很复杂。 2、哪是否形成两套独立的系统？老的保留，新的应用全部基于TD。 否。 这样仍存在Teradata瓶颈问题。同时需要维护两套不同的ETL系统，工作量增加，两套系统间的数据一致性也会存在很大问题。 因此最好的方法是充分利用现有Oracle的ETL和汇总数据，形成Oracle和Teradata整合的体系架构。 Teradata和Oracle结合的EDW体系 Oracle 生产库/备库 报表系统 Teradata Hadoop 分析与挖掘 轻度汇总表 明细数据 整合数据 应用层模型 明细数据 轻度汇总 1、Oracle作为Teradata的主要数据来源，负责对原始数据进行清洗整合，并生成轻度汇总表。之后将清洗整合后的数据送给TD做汇总处理。 2、报表分为两类，明细报表主要从Oracle产生，汇总报表则来源于TD数据仓库。 好处：1、综合利用Oracle的OLTP处理优势和TD的OLAP优势，分散处理，避免单一系统瓶颈。 2、可保证数据的一致性。 3、用Automation统一维护和监控ETL过程。 4、最大限度保留已有的脚本和程序，保护投资，减少重复工作量。 明细报表 汇总报表 * 参考了电信IT体系中的ODS系统 需要考虑的几个关键问题(2/2) 3、怎样保证基础建设和应用开发的平衡？ 分阶段实施，以应用触发，在开发的过程中逐步将数据仓库架构、模型体系、ETL开发和维护流程、MSTR开发流程等框架搭建起来，后续再通过新应用将数据不断完善起来。即不专门花时间做基础建设，而是在应用开发过程中将基础建设工作同步完成。 对于模型，想法是先将所有数据抽取到STG层，后续在根据需求逐步分主题设计实体模型和汇总表等。 需要考虑的几个关键问题(2/2) 4、模型该怎样设计？