高并发环境下数据产品架构的设计.pdf

大数据产品架构设计 张茂森 Weibo:@maosen Email:xiaosen.zhang@ Agenda • 什么是大数据产品 • 数据产品的业务场景 • 技术架构 –高性能网站 –应用计算 –云计算 • 走过的一些弯路 • Q A 大数据时代的新命题 大数据时代的新命题 • 大规模数据处理能力更易获得 – 众多的海量数据处理工具、平台 – 云计算服务 大数据时代的新命题 • 大规模数据处理能力更易获得 – 众多的海量数据处理工具、平台 – 云计算服务 大数据时代的新命题 • 大规模数据处理能力更易获得 – 众多的海量数据处理工具、平台 – 云计算服务 • 用户数据在爆炸 – 行为数据 – UGC数据 大数据时代的新命题 • 大规模数据处理能力更易获得 – 众多的海量数据处理工具、平台 – 云计算服务 • 用户数据在爆炸 – 行为数据 – UGC数据 大数据时代的新命题 • 大规模数据处理能力更易获得 – 众多的海量数据处理工具、平台 – 云计算服务 • 用户数据在爆炸 – 行为数据 – UGC数据 • 数据间的关联性前所未有复杂 – 社交网络 – 购买关系 – 各个业务系统IT化整合 大数据时代的新命题 • 大规模数据处理能力更易获得 – 众多的海量数据处理工具、平台 – 云计算服务 • 用户数据在爆炸 – 行为数据 – UGC数据 • 数据间的关联性前所未有复杂 – 社交网络 – 购买关系 – 各个业务系统IT化整合 大数据时代的新命题 • 大规模数据处理能力更易获得 – 众多的海量数据处理工具、平台 – 云计算服务 • 用户数据在爆炸 – 行为数据 – UGC数据 • 数据间的关联性前所未有复杂 – 社交网络 – 购买关系 – 各个业务系统IT化整合 • 数字化营销大行其道 – RTB+DSP+DMP – SEO+SEM 大数据时代的新命题 • 大规模数据处理能力更易获得 – 众多的海量数据处理工具、平台 – 云计算服务 • 用户数据在爆炸 – 行为数据 – UGC数据 • 数据间的关联性前所未有复杂 – 社交网络 – 购买关系 – 各个业务系统IT化整合 • 数字化营销大行其道 – RTB+DSP+DMP – SEO+SEM 大数据产品 • 以海量数据为基础 • 以数据计算为核心 • 对N个数据源进行整合 • 通过复杂关联获取价值，面临维度爆炸的 挑战 • 通过分析界面、报表操作等完成人机交互 • 不其它在线生产系统进行数据对接 数据产品业务场景 • 产品场景 –百万级用户 –千万级页面访问 –亿级数据接口请求 –PB级后台数据处理吞吐 • 软实时计算的需求 –数据从产生到完成结果计算延迟要求到秒级 • 数据仸务依赖关系复杂 整体架构 用 分析类产品UX 报表类产品UX 推荐类产品UX 外部系 户 端 统