大数据在本来生活的应用.pdf

小数据到大数据之路 范学蠡 本来生活 个人微信号 介绍本来生活网数据体系的演变：SQL Server到Hadoop生态 1 本来BI从这里开始 目录 2 数据仓库下的BI 3 Hadoop体系下的BI Part I 本来BI从这里开始 本来生活网从褚橙开始走上生鲜电商的舞台 BI报表系统1.0 BI报表系统 业务数据库 SSIS 数据集市 （读） /ETL SQL Server 遇到的问题 ① 集市数据粒度粗，导致报表的重用性差 ② 同样的统计时间段，在不同时间点跑出来的数据不一样 ③ 数据口径的统一很困难 CRM ？ 人工抽取用 绑券 ERP 户数据 短信 遇到的问题 ① 大量的人力花在了抽数、绑券这种价值感很低的事情上。 ② 出错率居高不下、业务抱怨不断。 ③ 人员流动率高。 流量分析1.0 ？（第三方统计） ① 只能看到概览性质的数据（PV、UV ）。 ② 很难把流量数据和业务系统内的数据关联。 ③ 关键路径的转化率很难统计。 ④ 微信的细分流量很难统计。 ⑤ …… Part 2 数据仓库时代的BI 越来越多的水果大品在本来生活网获得了非常好的销量和口碑 BI报表系统2.0(基于数据仓库） BI报表系统2.0 CRM 业务数据 数据预处理 数据处理 数据应用 （读库 ） ODS DW DM 第三方流 数据库 数据库 数据库 OLAP 量数据 数据调度SSIS/ETL 优势和解决的问题 ① 在一定数据量下Kimball 的维度建模表现优异。 ② 按不同层次的粒度对数据建模，拥有良好的重用性。 ③ 数据仓库层统一报表数据源，解决数据一致性问题。 新的问题 ① 流量数据接入后，SQL Server 数据仓库的硬盘空间不够用。 ② T+1的方式招到的业务的挑战越来越多。 ③ ETL的依赖越来越复杂，ETL的执行时间越来越久。 一些建议和推荐 CRM 2.0 （基于SQL Server ） CRM 运营管理平台 ETL CRM数据 Push 数据仓库 主数据 客户库