Hadoop专题培训(1)：Hadoop技术与应用.pptxVIP

HBase技术研究与应用分析付仁杰 @ 研发中心 中国电信上海理想集团Hadoop系列专题实验1构建Hadoop集群Hadoop与分布式计算Hive与数据仓库Hbase与列数据库内容: 1、Hadoop是什么？2、分布式云存储：HDFS3、并行计算：MapReduce4、案例：全球眼中的应用5、Hadoop集群构建规划Hadoop是什么？分布式云存储：HDFS并行计算：MapReduce案例：全球眼中的应用Hadoop集群构建规划1、Hadoop是什么？1.1、Hadoop与云计算1.2、Apache Hadoop构成1.3、Hadoop的历史1.4、Hadoop在各大厂商中的支持1.5、 Hadoop的适用场景Hadoop是什么？分布式云存储：HDFS并行计算：MapReduce案例：全球眼中的应用Hadoop集群构建规划BAC云计算DE1.1、云计算？Hadoop？IAAS/虚拟化PAASSAAS分布式并行计算(实现大众化)云存储Hadoop是什么？分布式云存储：HDFS并行计算：MapReduce案例：全球眼中的应用Hadoop集群构建规划1.2、Hadoop是什么?一个分布式文件系统和并行执行环境让用户便捷地处理海量数据Apache软件基金会下面的一个开源项目目前Yahoo!是最主要的贡献者1.2、Apache Hadoop Hadoop CommonHadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。? HDFS分布式文件系统? MapReduce实现了MapReduce编程框架Hadoop是什么？分布式云存储：HDFS并行计算：MapReduce案例：全球眼中的应用Hadoop集群构建规划1.3 Hadoop的历史/news/view/a22597页面：/news/view/a22597/news/view/a22597Hadoop是什么？分布式云存储：HDFS并行计算：MapReduce案例：全球眼中的应用Hadoop集群构建规划1.4 Hadoop有前途吗？Apache Hadoop；Cloudera Hadoop ；Yahoo! Hadoop ? Hortonworks公司；Dell + Cloudera Hadoop 计划；HP的项目：收购的Vertica ；Oracle的NoSQL数据库； IBM的Hadoop项目研：研究基于Hadoop的并行计算解决方案；TaoBao的Hadoop应用：淘宝云研究院、TFS、1400个节点的Hadoop计算集群；微软宣布全面拥抱Hadoop，并宣称：预计在今年年底可推出基于Hadoop的Windows Azure预览版；基于Hadoop的Windows Server将在在2012年推出。EMC+ MapR: 提供基于Hadoop的硬件及数据分析平台……Hadoop是什么？分布式云存储：HDFS并行计算：MapReduce案例：全球眼中的应用Hadoop集群构建规划1.5 Hadoop能做什么？不能做什么？ 适用场景：大规模海量数据分析、适合并行处理、耗时很长的、计算分析任务：如：海量日志分析、海量视频处理、数据挖掘、海量话单分析、DPI数据分析、并行ETL等等。 不适合场景事务性问题？银行交易系统？挑战：海量管理、多类型、变化快、无中心节点模型…Hadoop是什么？分布式云存储：HDFS并行计算：MapReduce案例：全球眼中的应用Hadoop集群构建规划Hadoop的特点扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。高效率（Efficient）：通过分发数据，hadoop可以在数据所在的节点上并行地（parallel）处理它们，这使得处理非常的快速。可靠性（Reliable）：hadoop能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署（redeploy）计算任务。2、分布式云存储——HDFS 2.1、什么是HDFS？2.2、HDFS原理2.3、 HDFS如何写文件？2.4、HDFS网络及构成2.5、HDFS?分布式云存储Hadoop是什么？分布式云存储：HDFS并行计算：MapReduce案例：全球眼中的应用Hadoop集群构建规划2.1、什么是HDFS？HDFS: Hadoop 分布式文件系統 (Distributed File System) － HDFS (Hadoop Distributed File System)与MapReduce结合，实现“机架感知”机制；为Hbase、Hive等软件提供分布式文件并行存储机制。Hadoop系列软件的应用