大数据项目技术选型初稿.docxVIP

目录结构 主流架构选用技术 Hadoop版本选型方案 选用的技术与其他工具的对比 大数据相关的技术选型版本确定 市场上的hadoop发行版厂商资料 具体操作 一、主流架构选用技术： 采集层：flume；sqoop 存储层：包括文件存储层和数据存储层 文件：采用hdfs存储 数据：采用hbase，redis等 模型层：离线处理：mr/yarn;实时流式处理spark streaming(比storm的优势) 分析层：hive 管理层：zookeeper（调度；ha） Hadoop版本选型方案： Hadoop提供的经典方案：HDP（Hadoop Data Platform） 管理一体化 数据接入 Flume Script SQL Nosql Stream Search In-Memory Others Sqoop Pig Hive Hbase Storm Solr Spark YARN-Ready Apps NFS --------------------------------------------------------------------------------------------------