一起认识Hadoop(cai)探讨.ppt

一起认识Hadoop Cai 目录 引言 Hadoop由来 Hadoop发展 Hadoop生态圈 引言 云计算的关键在于分布式计算和虚拟化。在虚拟化和云计算共同构成的架构里，虚拟化有效分离了硬件与软件，使人们将精力集中于软件提供的服务上，因此，虚拟化为云计算提供了坚定的基础。分布式计算则是云计算创造出的一种全新的计算模式，用作大规模数据处理，它是云计算的核心，也是云计算的发展趋势。 大数据（big data）（巨量资料）， 是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。 Volume大量：像百度，淘宝，腾讯，Facebook，Twitter等网站上的一些信息，这肯定算是大数据了，都要存储下来。 Variety多样：数据的多样性，是说数据可能是结构型的数据，也可能是非结构行的文本，图片，视频，语音，日志，邮件等。 Velocity实时：大数据需要快速的，实时的进行处理。如果说对时间要求低， 那弄几个机器，对小数据进行处理，等个十天半月的出来结果， 这样也没有什么意义了。 Veracity不确定： 数据是存在真伪的，各种各样的数据， 有的有用，有的没用。很难辨析。 引言 引言 Volume——数据体量巨大。从TB级别，增长到PB级别。截至目前，人类生产的所有印刷材料的数据量是200PB(1PB=1024TB)，而历史上全人类说过的所有的话的数据量大约是5EB(1EB=1024PB)。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级。 Velocity——处理速度快，1秒定律。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。 Variety——数据类型繁多，络日志、视频、图片、地理位置信息等等。类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，这些多类型的数据对数据的处理能力提出了更高要求。 Veracity——只有真实而准确的数据才能让对数据的管控和治理真正有意义。 引言 Hadoop作为分布式计算的一种开源软件解决方案，也是当今最热门的分布式框架，为个人和企业提供一个可靠、可伸缩、低成本的云计算模式。 Hadoop是适合大数据的分布式存储与计算平台。 Hadoop是开源云计算平台。 引言 Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。 用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。 它主要有以下几个优点： 高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。 高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。 高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。 高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。 低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。 Hadoop的由来 Hadoop是适合大数据的分布式存储与计算平台 作者：Doug Cutting 受google公司三篇论文的影响 Hadoop的由来 Hadoop这个名字不是一个缩写，而是一个虚构的名字。 创始人Doug Cutting解释Hadoop的得名 ：“这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短，容易发音和拼写，没有太多的意义，并且不会被用于别处。小孩子恰恰是这方面的高手。” 谷歌来自斯坦福BackRub项目，为了能够代表海量数据索引和巨大的信息量，安德森建议了“Googol”一词，指的是10的100次幂（方），代表互联网上的海量资源。但安德森在搜索该名字是否被注册时误打成了“google”。Googol是由美国数学家Edward Kasner9岁的侄子 Milton Sirotta 发明的。 Hadoop的由来 Doug Cutting被Yahoo！招安雇佣 Apache基金会（版本线0.X，1.X，2.X。0.X是最稳定的） Cloudera 使用下载最多的版本，稳定，有商业支持，在Apache的基础上打上了一些patch。 Yahoo 内部使用的版本，发布过两次，已有的版本都放在到了Apache上，后续不在继续发布，而是集中在Apache的版本上。 Hadoop发展大事 Hadoop生态圈发展路线 Hadoop生态圈发展路线 Hadoop生态圈发展路线 Hadoop生态圈发展路线 Hadoop生态圈 HDFS（Hadoop分布式文件系