- 1、本文档共30页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
Hadoop与数据分析–北风网
* * * * * * * * * * * * * * * * * * * * * * Hadoop与数据分析 淘宝数据平台及产品部基础研发组 周敏 日期:2010-05-26 Outline Hadoop基本概念 Hadoop的应用范围 Hadoop底层实现原理 Hive与数据分析 Hadoop集群管理 典型的Hadoop离线分析系统架构 常见问题及解决方案 关于打扑克的哲学 打扑克与MapReduce Input split shuffle output 分牌 各自齐牌 交换 再次理牌 搞定 统计单词数 The weather is good This guy is a good man Today is good Good man is good the 1 weather 1 is 1 good 1 today 1 is 1 good 1 this 1 guy 1 is 1 a 1 good 1 man 1 good 1 man 1 is 1 good 1 a 1 good 1 good 1 good 1 good 1 good 1 man 1 man 1 the 1 weather 1 today 1 guy 1 is 1 is 1 is 1 is 1 this 1 a 1 good 5 guy 1 is 4 man 2 the 1 this 1 today 1 weather 1 流量计算 * 趋势分析 * /截图 用户推荐 * 分布式索引 * * Hadoop 核心 Hadoop Common 分布式文件系统HDFS MapReduce框架 并行数据分析语言Pig 列存储NoSQL数据库 Hbase 分布式协调器Zookeeper 数据仓库Hive(使用SQL) Hadoop日志分析工具Chukwa Hadoop生态系统 * Data Data data data data data Data data data data data Data data data data data Data data data data data Data data data data data Data data data data data Data data data data data Data data data data data Data data data data data Data data data data data Data data data data data Data data data data data Results Data data data data Data data data data Data data data data Data data data data Data data data data Data data data data Data data data data Data data data data Data data data data Hadoop Cluster DFS Block 1 DFS Block 1 DFS Block 2 DFS Block 2 DFS Block 2 DFS Block 1 DFS Block 3 DFS Block 3 DFS Block 3 MAP MAP MAP Reduce Hadoop实现 作业执行流程 // MapClass1中的map方法 public void map(LongWritable Key, Text value, OutputCollectorText, Text output, Reporter reporter) throws IOException { String strLine = value.toString(); String[] strList = strLine.split(\); String mid = strList[3]; String sid = strList[4]; String timestr = strList[0]; try{ timestr = timestr.substring(0,10); }catch(Exception e){return;} timestr += 0000; // 省略数十行 output.collect(new Text(mid + “\”” + “sid\”” + timestr , ...); } Hadoop案例(1) public static cl
您可能关注的文档
- EnglishMovies〔英语课演讲〕.ppt
- Endnote中科院精典的教程.ppt
- Englishunit2–歌谣学唱teching.ppt
- EngineeringVillageCompendex基本搜索功能.ppt
- Ecchan小学S版2年级语文〔上〕239色鹿.ppt
- E95产品知识点讲训资料.ppt
- EOU讲训文档设计.ppt
- ERP的开发和应用.ppt
- ESD测试与整改设计参考–MM.ppt
- EngVill–inspec的基本搜索功能.ppt
- 2024年中国钽材市场调查研究报告.docx
- 2024年中国不锈钢清洗车市场调查研究报告.docx
- 2024年中国分类垃圾箱市场调查研究报告.docx
- 2024年中国水气电磁阀市场调查研究报告.docx
- 2024年中国绿藻片市场调查研究报告.docx
- 2010-2023历年初中毕业升学考试(青海西宁卷)数学(带解析).docx
- 2010-2023历年福建厦门高一下学期质量检测地理卷.docx
- 2010-2023历年初中数学单元提优测试卷公式法(带解析).docx
- 2010-2023历年初中毕业升学考试(山东德州卷)化学(带解析).docx
- 2010-2023历年初中毕业升学考试(四川省泸州卷)化学(带解析).docx
最近下载
- 宜兴市各级文物保护单位一览表.docx
- 国学《千字文》之《渠荷的历》个人原创课件公开课课件.pptx VIP
- 老旧小区改造工程项目可行性研究报告.docx VIP
- 《GB∕T 45003-2024职业健康安全管理 工作中的心理健康安全:管理社会心理风险 指南》解读和应用指导材料(2024A0-雷泽佳).docx VIP
- 妙事多音乐--张老师 -培训讲解.ppt
- 基础化学高职高专第五版高琳第十章氧化还原平衡.pptx
- 在线网课学习课堂《英语视听说(西京学院 )》单元测试考核答案.docx
- 电子商务平台商家入驻协议书模板.doc
- 北京四中2023学年度上学期初中九年级期中考试物理试卷.docx
- 自然教育研学方案.pptx
文档评论(0)