hadoop培训去那家好.pdfVIP

精品课程 中国IT 职业教育领先品牌 全程面授 hadoop 培训去那家好？ Hadoop 原是 Hadoop 开发者的孩子给自己的大象玩具起的名字。因 为原有的数据存储和处理工具对于处理互联网泡沫之后开始出现的海量数据显 得力不从心, 所以开发了 Hadoop。首先，谷歌提出了 MapReduce 构架，它能 够应对来自整合全球信息任务所产生的数据流，并使这些数据变得具有很高的可 访问性。此后，在 2005 年雅虎开发了基于 MapReduce 构架的 Hadoop。它 作为 Apache 许可协议下的一个开源工具于 2007 年被正式发布。 几年来，Hadoop 已经变成了一个超大规模的操作系统，尤其是应用 于时下产生的海量数据所进行的分布式并行处理。像通常的操作系统一样， Hadoop 包括完整的文件系统，可编写程序，以及分布式管理这些程序并返回 计算结果。 Hadoop 支持能同时运行在低廉硬件设备构建的大型集群上的数据密 集型分布式应用程序。它是根据 Apache v2 的许可协议发布。Hadoop 网络可 靠稳定并且扩展度很高，它可以用来查询海量数据集。Hadoop 是用 Java 所编 千锋教育 精品课程 中国IT 职业教育领先品牌 全程面授 写的，这意味着它可以在任何平台上运行，并被全球性分销商和已经在 Hadoop 之上构建了其他软件层面的大数据技术供应商所使用。 Hadoop 分布式文件系统（HDFS ）这个功能使Hadoop 变得非常有 用。这是 Hadoop 的存储系统，它把数据分解处理成称之为”块”的较小部分。 这些块随后被分布于整个集群。这种数据分布允许映射(Map)和化简(Reduce) 后的功能被执行于更小的子集，而不是在一个大的数据集上。这提高了效率，节 约了处理时间, 提高了处理海量数据所需的可扩展性。 MapReduce 是一个软件框架和模型，可以处理和检索并行存储在 Hadoop 系统上的海量数据。MapReduce 的函数库已经被用多种编程语言所编 写，所以 Hadoop 能与他们配合工作。另外，MapReduce 可以处理结构化和 非结构化数据。 MapReduce 的工作分两个步骤。第一步骤是 “映射(Map)” ，其将数 据分割为更小的子集，并把这些子集分配到集群中的不同节点上。系统内的节点 可以再次执行这项操作，从而导致了一个多层次树结构，它将数据分割于越来越 小的子集中。在这些节点上对数据进行处理并把结果返回到 “主节点”。第二步 骤是 “化简(Reduce)”。主节点收集所有返回的数据，并把它们组合成某种可 重复使用的形式输出。MapReduce 框架可以管理所有的各种并行任务和整个系 统，并形成 Hadoop 的心脏。 通过融合多种技术，海量数据可以很容易地存储，并在几分之一秒内被 处理和分析。在过去几年中，对于大数据生态系统 Hadoop 已被证明非常成功， 并且看起来前途非常光明。随着 Hadoop2.0 的开发，它现在使用一种全新的作 业处理框架，称之为 YARN。YARN 是 Yet Another Resource Negotiator 的 千锋教育 精品课程