开源大数据广告效益分析平台介绍.pptx

;摘要;背景 架构及技术演变 软件开发 经验总结;利用开源大数据技术构建WMX广告效益分析平台;对广告效益分析平台的需求;背景 架构及技术演变 软件开发 经验总结;Facebook广告案例 – 需求;Facebook广告案例 – 难点;Facebook广告案例 – 旧有解决方案;Facebook广告案例 – 新的解决方案：可动态扩展的模块化数据管道;Individualid Mapper;Facebook广告案例 – 技术选择;系统整体架构;广告效益分析系统架构：可动态扩展的模块化数据管道;;背景 架构及技术演变 软件开发 经验总结;软件开发管理的目标;用到的开源软件技术;Agile软件开发管理;代码开发流程;以代码审查为中心的代码开发 (1);软件复用 开源代码：Apache, Hadoop, Google Guava 已测试代码 抽取公共代码 持续集成 （CI）：Jenkin 持续集成服务器 代码提交时触发 Clean Build 代码合并的前提;代码提交: successful local build 通过单元测试 满足code coverage 百分比 代码审查 打分： 所有疑问 -1 回答所有疑问 代码合并 +4 成功持续集成;时间分配 代码开发 1 测试 2 代码审查 1;代码审查工具Gerrit;代码审查工具Gerrit;代码审查工具Gerrit;Jira项目管理工具;Jira项目管理工具;持续集成工具Jenkins;背景 架构及技术演变 软件开发 经验总结;成功经验 - 选取合适的大数据技术;成功经验 - 模块化的数据管道;成功经验 – 模块可扩充、可配置;软件质量控制 系统Bugs减少到 5% 在代码开发阶段发现并修复 提高软件可维护性、可读性 平均每个Bug的修复时间从3天减少到4小时 提高团队协作能力 多人维护代码 技术交流 引进新技术 减少开发和维护的总时间 50% ;有什么曲折、经验教训是什么;案例启示;展望;附录;Druid线上分析处理模块;Druid系统数据流程;Druid系统架构;谢谢聆听！