大数据项目技术选型初稿.docVIP

. ..... 目录结构 主流架构选用技术 Hadoop版本选型方案 选用的技术与其他工具的对比 大数据相关的技术选型版本确定 市场上的hadoop发行版厂商资料 具体操作 一、主流架构选用技术： 采集层：flume；sqoop 存储层：包括文件存储层和数据存储层 文件：采用hdfs存储 数据：采用hbase，redis等 模型层：离线处理：mr/yarn;实时流式处理spark streaming(比storm的优势) 分析层：hive 管理层：zookeeper（调度；ha） Hadoop版本选型方案： Hadoop提供的经典方案：HDP（Hadoop Data Platform） 管理一体化 数据接入 Flume Script SQL Nosql Stream Search In-Memory Others Sqoop Pig Hive Hbase Storm Solr Spark YARN-Ready Apps NFS -------------------------------------------------------------------------------------------------------- WebHDFS YARN Falcon -------------------------------------------------------------------------------------------------------- HDFS --------------------------------------------------------------------------------------------------------- 数据管理 三、选用的技术与其他工具的对比： 选用sqoop的好处：开源，抽取的数据可以直接传至hive，可操作性和可视性高 选用Flume的好处：纯Java开发，框架分明，易于开发，可以直接写hdfs且支持对text和sequence压缩 选用Spark的好处：基于内存，适合需要多次迭代计算的算法，在迭代处理计算方面比Hadoop快100倍以上，Spark采用一个统一的技术堆栈解决了云计算大数据的所有核心问题 安全 操作 认证，授权，审计，数据保护 准备，管理，监控 Storage：HDFS Ambari Resource：YARN Zookeeper Access：Hive Oozie Pipeline:Falcon Cluster:Knox Hue的好处：多应用平台，便捷的操作流程；自动补全；查询结果表格化图像化 大数据相关的技术选型版本确定： 操作系统：CentOS6.X 各个技术版本：（最新，最稳定，bug少） Hadoop版本：hadoop-2.6.4.tar.gz 此版本是一个相对最新且比较稳定的版本，基数版本可能不稳定，最好选用偶数版本 Zookeeper版本：zookeeper-3.4.8.tar.gz 此版本修复了此前的9个问题，最明显的是在关闭zookeeper时会产生的一个停顿问题。 Flume 版本：apache-flume-1.6.0-bin.tar.gz Kafka版本：kafka_2.11-.tgz HYPERLINK /082/documentation.html /082/documentation.html Spark版本：spark-1.6.0-bin-hadoop2.6.tgz 此版本能支持Hadoop2.6.x以上的版本且相对稳定版 Sqoop版本：sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz Hive版本：apache-hive-1.2.1-bin.tar.gz Hbase版本：hbase-1.1.3-bin.tar.gz Mahout版本：apache-mahout-distribution-0.11.0.tar.gz 五、市场上的hado