2019年大数据技术概述.ppt

下载文档

16
0
约小于1千字
约 79页
2019-02-02 发布于天津
举报
版权申诉
保障服务

2019年大数据技术概述.ppt

1、本文档共79页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。

2019年大数据技术概述

大数据技术概述;大数据技术的概念与现状;;;池塘捕鱼（数据库）vs.大海捕鱼（大数据）;;;大数据处理的基本流程;数据处理方式;大数据处理要求;;;基本的大数据处理技术;Hadoop概述;;Hadoop的特点;Hadoop框架应用举例;Hadoop框架的体系结构;Hadoop的优势;MapReduce概述;;MapReduce的优点;;MapReduce 工作原理;;;;;;;MapReduce工作流程;map任务处理: 1.读取输入文件内容,解析成键值对(key/value).对输入文件的每一行,解析成键值对(key/value).每一个键值对调用一次map函数 2.写自己的逻辑,对输入的键值对(key/value)处理,转换成新的键值对 (key/value)输出 3.对输出的键值对(key/value)进行分区(partition) 4.对不同分区的数据,按照key进行排序,分组.相同的key/value放到一个集合中(shuffle) 5.分组后的数据进行规约(combiner,可选择的) ;Reduce;Shuffle;Combiners;;;Patitioner;MapReduce示例：单词计数;处理过程分析;单词统计的处理过程;MapReduce示例：单词计数;MapReduce示例：单词计数;MapReduce示例：单词计数;MapReduce示例：单词计数;MapReduce示例：单词计数;MapReduce示例：单词计数;流程总揽;;;;;;;;;;Google MapReduce执行流程;文件存储位置;MapReduce的用途;NoSQL;关系数据库暴露的问题;关系数据库暴露的问题;关系数据库暴露的问题;关系数据库无用武之地;关系数据库无用武之地;关系数据库无用武之地;关系数据库无用武之地;NoSQL;NoSQL与关系型数据库设计理念比较;NoSQL实例;;Membase;MongoDB;MongoDB;MongoDB;Hypertable;Hadoop ;Apache Cassandra