1_一：运用Hadoop开源技术推动大数据落地要点.ppt

社区Hadoop技术 电子出版物 天猫/淘宝 双十一191亿背后的开源技术? 思考-云计算技术有两极 Hadoop解决了什么难题? 思考-数据分析系统的基本指标 思考-数据分析系统的基本指标 大规模批量服务(服务 1.0) 大规模个性化服务(服务 2.0) 本质:智能组织-智能群体 思考-数据分析系统的基本指标 反馈决策周期！快 反馈决策粒度! 细 反馈决策准确性! 准 反馈总体成本! 廉价 Hadoop 前的数据仓库流程 Hadoop后的数据仓库流程 那些用户需要Hadoop （合）技术?案例解析 User Case 1 (网页游戏) 国内网页游戏厂商 百个服/网页游戏,30-50个库/服 10G用户数据/天/游戏 [十几款游戏] 场景: 游戏玩家行为分析 User Case 2(智慧交通) 用户:最大城市,交通领域(City traffic) 场景:车牌记录[Car Licence Plate],100亿[10 Billion]/年 需求:小时级别-优化到分钟级[Minute] -未来优化到秒级[Seconds]查询 场景: 车辆异常快速识别 Hadoop技术 其他应用领域 电信 医疗 交通 公安 基于hadoop的数据平台总体架构 Python 结合 Hadoop Streaming 原理解析 MapReduce基本流程 基于Python MapReduce