原创力文档- 1、本文档共16页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
一、主流架构选用技术
二、Hadoop版本选型方案
三、选用的技术与其他工具的比照
四、大数据相关的技术选型版本确定
五、市场上的hadoop发行版厂商资料
六、具体操作
一、主流架构选用技术：
采集层：flume；sqoop
存储层：包括文件存储层和数据存储层
文件：采用hdfs存储
模型层：离线处理：实时流式处理（比的优势）
mr/yarn;sparkstreamingstorm
分析层：hive
管理层:〔调度；
zookeeperha]
二、Hadoop版本选型方案：
提供的经典方案〔
Hadoop：HDPHadoopDataPlatform]
管理一体化数据接入
FlumeScriptSQLNosqlStreamSearchIrrMemoryOthers
SqoopPigHiveHbaseStormSolrSparkYARN-ReadyApps
NFS
Falcon
HDFS
数据管理
三、选用的技术与其他工具的比照：
选用sqoop的好处：开源，抽取的数据可以直接传至hive,可操作性和可视性高
选用Flume的好处：纯Java开发，框架清楚，易于开发，可以直接写hdfs且支持对和
sequence压缩
选用Spark的好处：基于存，适合需要屡次迭代计算的算法，在迭代处理计算方
面比Hadoop快100倍以上，Spark采用一个统一的技术堆栈解决了云计算大数据
的所有核心问题
平安操作
认证，授权，审计，数据保护准备，管理，监控
Storage：HDFSAmbari
Resource：YARNZookeeper
Access：HiveOozie
Pipeline:Falcon
Cluster:Kno*
四、大数据相关的技术选型版本确定:
操作系统：Cent0S6*
各个技术版本：〔最新，最稳定，bug少〕
Hadoop版本：
此版本是一个相对最新且比拟稳定的版本，基数版本可能不稳定，最好选用偶数版本
Zookeeper版本：
此版本修复了此前的个问题，最明显的是在关闭时会产生的一个停
9zookeeper
顿问题。
Flume版本：
Kafka版本：
Spark版本：
此版本能支持以上的版本且相对稳定版
Sqoop版本：
Hive版本：
Mahout版本：
五、市场上的hadoop发行版厂商资料：
除了社区的ApacheHadoop夕卜，Cloudera,Hortonworks,MapR,EMC
版本：
IBM,Intel,华为等都提供了自己的商业版本。
版本容特点网址
,doudera/d
ocument
文档评论（0）