hadoop大数据处理讲义-c11. 整合-管理-未来.pdf

下载文档 降价啦

7
0
约4.6万字
约 69页
2016-01-29 发布于山西
举报
版权申诉
保障服务

hadoop大数据处理讲义-c11. 整合-管理-未来.pdf

1、本文档共69页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。

hadoop大数据处理讲义-c11. 整合-管理-未来

海量数据处理中的云计算 C11. 整合、管理与未来北京邮电大学信息与通信工程学院刘军（liujun@ ） 2014年春季学期新闻时事－锤子我们200人的团队，他们中的绝大多数来自知名的科技公司，但由于一不小心跟了一个相声演员做手机，在圈里忍受各种侮辱和嘲笑。而今天，我们打算一起给这个世界一点颜色看看第2页新闻时事－锤子我不是为了输赢，我就是认真第3页新闻时事－锤子第4页目录   Hadoop环境下的数据整合   Hadoop集群管理   面向未来的海量数据处理第5页目录   Hadoop环境下的数据整合   Hadoop集群管理   面向未来的海量数据处理第6页 Hadoop计算环境下的数据整合需求   外部整合需求 –  绝大多数已部署的数据分析系统都基于 RDBMS ，存储了大量有价值的数据 –  基于RDBMS构建的数据采集和分析系统，还在源源不断地向数据库中存入数据 –  数据处理后为管理人员和决策者呈现的系统，大多基于RDBMS开发 –  Sqoop （Sql to Hadoop ）   内部整合需求 –  多种数据处理工具，例如Pig、Hive、 HBase、MapReduce等 –  数据在经过这些工具导入和处理后数据存储的位置和格式都有可能不同 –  同一份数据可能要被不同的工具使用 –  HCatalog 第7页 Sqoop 外部数据整合第8页 Sqoop －实例   MySQL数据表： –  MySQL服务器：0 –  数据库：db –  数据表：log –  主键：序号（id ）记录号（id ）用户ID （userID ）网站