自下而上的数据仓库构建手册.pptVIP

自下而上的数据仓库构建方法 童小军（XiaoJun Tong）;童小军 （XiaoJun Tong）;[暴风搜索] 数据平台发展几个阶段;[思考]数据统计需求和本源?;[思考] 需求/本源 [举例:组织结构];[思考] 需求/本源 [举例: 质量优化];[思考] 需求/本源 [举例: 工业控制];[思考] 组织项目管理成熟度模型;[思考] 需求/本源 [简易的智能结构];[数据 构建方法 ] 什么是自下而上? ;[数据 构建思路 ] ;[构建策略] 自下而上,以不变应万变;[Log 构建方法] 四个 构建策略 ;1. Log 数据公式:[4w+r = 2h] ;2. 实时汇总:[js+nginx+syslog-ng+perl];3. 存储格式:[一日一表] ;4. 统计方法:[2sql 方法] ;4. 图表展现:[模板引擎];[发展经历] 暴风搜索数据两个阶段;数据集市[db] -- python -- data.file -- gnuplot + 绘图配置 -- img + data -- mail gnuplot 帮助: /dsectest/dsec_cn/gnuplot/ ;方案: sql + 配置 == 数据 + 曲线 集成环境: 桌面工具 + 方案存储 + 统计展现 ;修改决策 -- 研发测试 -- 上线 -- 数据 [单一决策,周期长,影响整体稳定性] 修改决策 -- 研发测试 -- 分流系统 -- 正式环境 -- 数据 [支持多路决策,周期端,影响小,心理成本低] -- 小版本1 -- 数据 -- 小版本2 -- 数据 ;思考那些指标影响了一个数据系统的性能? 以上思路在那些方面改善了这些指标。 反馈周期? 决策有效性? 反馈成本? ;总结,我们可以以什么应对变化?;题外话; QA 童小军（XiaoJun Tong） 微博:/tongxiaojun;招聘广告 - 暴风: 让享受电影更简单