大数据项目技术选型初稿.docxVIP

目录结构 一、 主流架构选用技术 二、 Hadoop版本选型方案 三、 选用的技术与其他工具的对比 四、 大数据相关的技术选型版本确定 五、 市场上的hadoop发行版厂商资料 六、 具体操作 一、主流架构选用技术： 采集层：flume ; sqoop 存储层：包括文件存储层和数据存储层 文件：采用hdfs存储 数据：采用hbase , redis等 模型层：离线处理：mr/yarn;实时流式处理spark streaming（ 比storm 的优势） 分析层：hive 管理层：zookeeper （调度；ha ） 使用者 使用者 平台管理(zookeeper) 分析层(hive) 存储层(hbasej redb) 集成层(^9^ flumF ( ^ =j 做岸敬抿数据底日志其他教抿源 二、Hadoop 版本选型方案： Hadoop 提供的经典方案： HDP ( Hadoop Data Platform ) 管理一体化 数据接入 Flume Sqoop Apps NFS Script SQL Nosql Stream Search In-Memory Others Pig Hive Hbase Storm Solr Spark YARN-Ready YARNWebHDFS YARN Falcon HDFS 数据管理 Mahout Pig Hive 处逝滨 浏K和理带营 J [ St*仓座 MapReduce 分布式让鼻椎霞 dBase 褰时、分布式、龄缓?[抠阵 HDFS 分布式女耳系食 Cloudera Cloudera 方粢: 并发计算 SQL分 并发计算 SQL分析（并发） Mr、hive Ii^pala （快速） 搜索引擎 机器学习字壳式处理第三方 Cl oudera spark、 Spark partners Search MRa Mahout YARN HDFS （分 HDFS （分布武文件存储） HBase域上 蚣瞻4据库计算） 数据整合（跄迥FIuel NFS） 三、选用的技术与其他工具的对比: 选用sqoop的好处：开源，抽取的数据可以直接传至 hive ,可操作性和可视性高 Hadoop Sqoop与传统ETLI具的比较 ETUJI目L?* W将科】哭系里 置国中的岫0互（?做折源H R 司以倍—b ETUJI 目L?* W将科】哭系里 置国中的岫0互（?做折源H R 司以倍—b关系型SUR麻（例如： MySQL ,Cradr^ ）=的戴南等浏 HsdMpfiCHDFS中」访可待HDF翎 教辩导关理散 四gp主甄曲驾DBC和琳娜廊 噩行交更.津壬上支持」DBC的 d毗abmm邙可以使用EqoD p引H DFS进 行散毋变莉.是为Hadgp龄敬枷 篆握呻民的丁艮 :最至：B的独弛罚二.的拱川项晚 FTLii罚将分咕*,昇地数廓中的数 奉如美麻敬事.平面教拓口件菁在函引 蛔中蜿理行林版馈r 蜀后鹰哦要燃邮库或阿篥市中r成 为拿机分疵演.我寿咬的做.. EJJ^H多物发展.虽无成了 ?个根的成辎产昂伟亭，具贤芳[嘛 主姿是桁僦瞩》仓底怫系,ETLIft 堑茸朝牌有: nfbrmat3. 。袖祐t叫4 OAB KSEIDTS等 %qmp TM于胫口沱蟀中的― 了基巳ft-ftTHadoop的T】V￡和 柚瓠吟挫心有宜可好K拷勒E. HI7E中，朝做皿瞄开发端理理 TIT； 河子也有刁匕迸中产生方拦谡式者改 斌醐t ,可以疆M暗瞒保曰志来进行 隼割取一冶帝； 人M割 w面包成杓inm 可展 作怔和』禅性盘r需要技木人tfig 亢 帚开痴亩，亲矗却蹄可分用. ￡旧+1占血口口海察肆世,ETLI耳.屋于 外部工点如叫翌将麴曲睨至 H?to叩的HIVE中一 U蜻要渺丁电馈1 技底开蚯布，开发SHME的垠英接 口，以打逸寻伽聪湖敬物1：洋: i?布貌的WSfgJfc说.ETLLAS 汶蜜仔的发言已雄比供成1ft .人虱交口 , MTlKla 取过程中出响潴误矶此较面Efi的芒 苗.不暮塑太多的宇建升太, 仝业需要每年交娜丁萨闩卑泡怖r可 选用Flume的好处：纯Java开发，框架分明，易于开发，可以直接写 hdfs且支持对text 和sequence 压缩 对比厦 Flume 4M Scribe 」吕心 C/C + * Aqcntr[]Collec^Qr间,f§?fc+n日Ewrcl司参有容借性r且膏 醐J的司靠性保逐: AQcntrLCd-Cczpri^ Co lecto^Storc^ 间有酬性, 冬登演 Ag?ntfl]CullNtor 闻,Cblector4[|SbaH闾有 L匚暮dE 圳时隽勺 F』gj网际秘 无 rrsit SJ 虾 SAVKAgent r tdWawD/U t ft kh.IcK, t