分享一：分布式计算技术(一).pptxVIP

分享一：分布式计算技术（一）内容大数据技术架构分布式计算主要软件介绍Hadoop环境搭建流程大数据技术架构腾讯腾讯腾讯百度阿里巴巴分布式计算主要软件介绍分布式计算主要软件介绍分布式计算主要软件介绍分布式计算主要软件介绍分布式计算主要软件介绍分布式计算主要软件介绍这一切是如何开始的—Web上庞大的数据!使用Nutch抓取Web数据要保存Web上庞大的数据——HDFS应运而生如何使用这些庞大的数据?采用Java或任何的流/管道语言构建MapReduce框架用于编码并进行分析如何获取Web日志，点击流，Apache日志，服务器日志等非结构化数据——fuse,webdav, chukwa, flume, ScribeHiho和sqoop将数据加载到HDFS中，关系型数据库也能够加入到Hadoop队伍中MapReduce编程需要的高级接口——Pig, Hive, Jaql具有先进的UI报表功能的BI工具- IntellicusMap-Reduce处理过程使用的工作流工具及高级语言监控、管理hadoop，运行jobs/hive，查看HDFS的高级视图—Hue, karmasphere, eclipse plugin, cacti, ganglia支持框架—Avro 进行序列化, Zookeeper 用于协同更多高级接口——Mahout, Elastic map Reduce同样可以进行OLTP