1_一：运用Hadoop开源技术推动大数据落地论述.ppt

中科普开HADOOP大数据课程;运用Hadoop开源技术推动大数据落地;EasyHadoop 简介;个人 介绍;社区Hadoop技术 电子出版物; EasyHadoop 社区技术聚会;培训目标;培训目录;阿里金融通过大数据整合掘金!;阿里金融的实时业务墙;阿里金融的数据模型任务（局部） 每个模型任务都是面向海量数据的大规模运算任务。;天猫/淘宝 双十一191亿背后的开源技术?;;思考-云计算技术有两极;Hadoop解决了什么难题?;思考-数据分析系统的基本指标;思考-数据分析系统的基本指标; 海量用户; 大数据仓库;本质:智能组织-智能群体;思考-数据分析系统的基本指标;Hadoop 前的数据仓库流程;Hadoop后的数据仓库流程;那些用户需要Hadoop （合）技术?案例解析;User Case 1 (网页游戏);场景: 游戏玩家行为分析;User Case 2(智慧交通) ;场景: 车辆异常快速识别;Hadoop技术 其他应用领域;基于hadoop的数据平台总体架构;Python 结合 Hadoop Streaming 原理解析;MapReduce基本流程;实现distinct;使用python实现 distinct/count; import sys for line in sys.stdin: try: flags = line[1:-2] str = flags+\t+1 print str except Exception,e: print e;#!/usr/bin/python import sys lastuid= num=1 for line in sys.stdin: uid,count=line[:-1].split(\t) if lastuid ==: lastuid=uid if lastuid != uid: num+=1 lastuid=uid print num ;基于Python MapReduce Streaming 快速并行编程;通过界面查看任务状态;Python快速构建 数据分析模块 ComETL;ComEtl配置样例;Pig内嵌JPython 实现PageRank算法;JPython+pig 代码实现演示;其他Python MapReduce框架;;;Page ? *;HAProxy+Hive 网络拓扑;HAProxy+Hive高可用集群;数据平台 技术路线发展;Python Hadoop最佳实践;Hadoop JAVA 数据最佳实践;基于云平台构建的集群性能?;HD Cluster: 80 Core,180GHZ,10TB ;Hadoop/Hive Cluster @ aliyun;用EasyHadoop 安装和管理节点;启动100个Map生成100亿数据;PhpHiveAdmin 界面查询;SELECT id FROM Table where id like %JA-sq%;(模糊匹配查询出ID 带 JA-sq 的车牌号);SELECT id,COUNT(*) FROM Table GROUP BY id(对每个车牌号分组归并,并求出现次数);Hadoop预算解析其他方案的成本对比!;投入成本 (10TB预算);实施周期;维护成本;Hadoop有所为,有所不为！;安全风险管控-完善点;技术,方案 完善点;大数据可视化技术;数据可视化;自主研发报表阶段; 效果;数据集市[db] -- python -- data.file -- gnuplot + 绘图配置 -- img + data -- mail gnuplot 帮助: /dsectest/dsec_cn/gnuplot/ ;实时数据分析展现模型;实时数据电视墙;数据仓库平台演化;数据系统的进化-一代;数据系统的进化-二代;数据系统的进化-三代;童小军 EMAIL：tongxiaojun@ Easyhaoop社区：