- 1、本文档共16页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
一、主流架构选用技术
二、Hadoop版本选型方案
三、选用的技术与其他工具的比照
四、大数据相关的技术选型版本确定
五、市场上的hadoop发行版厂商资料
六、具体操作
一、主流架构选用技术:
采集层:flume;sqoop
存储层:包括文件存储层和数据存储层
文件:采用hdfs存储
模型层:离线处理:实时流式处理(比的优势)
mr/yarn;sparkstreamingstorm
分析层:hive
管理层:〔调度;
zookeeperha]
二、Hadoop版本选型方案:
提供的经典方案〔
Hadoop:HDPHadoopDataPlatform]
管理一体化数据接入
FlumeScriptSQLNosqlStreamSearchIrrMemoryOthers
SqoopPigHiveHbaseStormSolrSparkYARN-ReadyApps
NFS
Falcon
HDFS
数据管理
三、选用的技术与其他工具的比照:
选用sqoop的好处:开源,抽取的数据可以直接传至hive,可操作性和可视性高
选用Flume的好处:纯Java开发,框架清楚,易于开发,可以直接写hdfs且支持对和
sequence压缩
选用Spark的好处:基于存,适合需要屡次迭代计算的算法,在迭代处理计算方
面比Hadoop快100倍以上,Spark采用一个统一的技术堆栈解决了云计算大数据
的所有核心问题
平安操作
认证,授权,审计,数据保护准备,管理,监控
Storage:HDFSAmbari
Resource:YARNZookeeper
Access:HiveOozie
Pipeline:Falcon
Cluster:Kno*
四、大数据相关的技术选型版本确定:
操作系统:Cent0S6*
各个技术版本:〔最新,最稳定,bug少〕
Hadoop版本:
此版本是一个相对最新且比拟稳定的版本,基数版本可能不稳定,最好选用偶数版本
Zookeeper版本:
此版本修复了此前的个问题,最明显的是在关闭时会产生的一个停
9zookeeper
顿问题。
Flume版本:
Kafka版本:
Spark版本:
此版本能支持以上的版本且相对稳定版
Sqoop版本:
Hive版本:
Mahout版本:
五、市场上的hadoop发行版厂商资料:
除了社区的ApacheHadoop夕卜,Cloudera,Hortonworks,MapR,EMC
版本:
IBM,Intel,华为等都提供了自己的商业版本。
版本容特点网址
,doudera/d
ocument
文档评论(0)