关于万兆位以太网Hadoop集群.PDFVIP

白皮书 英特尔® 万兆位以太网 融合网络适配器 Arista Networks 交换机 Hadoop* 基于万兆位以太网的 Hadoop* 集群 基于经济高效的10GBASE-T 基础构建均衡系统的通用指南 所有行业的IT 部门现在都需要处理、存储和分析超大型数据存储，操作PB 级数据正在 变得越来越普遍。与此同时，IDC 最近进行的一项研究显示，这些数据存储正在以40% 的年复合增长率增长。1 由于其中许多数据均为非结构化数据，不适用于预定义模型 （或关系型数据库表），处 理这些大规模的数据正变得日益复杂。此类数据通常还具有大量文本，例如由社交媒体 或搜索功能生成的数据等，传统的关系型数据库则无法满足管理和分析这些数据的需求。 用于处理大量非结构化数据的传统工具具有专有性特点、并且非常昂贵，同时需要专业 Hadoop* 的应用在处理大数据 化的技术去配合，这使得大多数企业难以负担。今天，Hadoop* 集群等常用解决方案为 在商用 （COTS ）服务器中处理大数据提供了卓越的支持。尽管构建Hadoop 环境可能存 方面变得日渐流行。主流计算 在一定的风险，但是这些风险可以被规避。 和存储资源的大幅改善使得 如果您或您周围的人接到构建Hadoop 集群的任务，那么无需担心。本白皮书致力于为 Hadoop 集群可以满足大部分 您提供背景信息与介绍，帮助您轻松开启构建第一步。 企业的需求。但是要提供一 减少处理大数据的挑战和成本 这一方法旨在使初始构建工作尽可能简 个均衡的系统，这些构建模块 企业常常在采集大量数据集方面有大笔支 单、经济且灵活，同时为验证和规划未来 必须与万兆位以太网 （10GbE） 出，但却止步于此、未能采取下一个步骤 投资奠定一个重要基础。Hadoop 是一个卓 配合使用，而不是传统的 从信息中提取价值。造成这种中断的原因 越的技术选择，可将与大容量数据存储有 有二。首先，用于管理和分析非结构化数 关的负担转化为可以帮助促进组织取得成 千兆位以太网 （GbE）。 据的传统工具非常昂贵和复杂，让企业望 功的宝贵资产。目前Hadoop 通过开源和 基于10GBASE-T 的基础， 而生畏。其次，企业不知道应从哪里开 商业软件包的形式提供。 始。事实上，在万兆位以太网不断提高成 并结合采用Arista 交换机、 本效益的协助下，强大的x86 服务器和 Hadoop 简介 英特尔® 万兆位以太网融合网 Hadoop 可以帮助解决成本和复杂性问题。 Hadoop 是一个Apache 软件框架，能够分 本白皮书将帮助您制定计划，创建切实可 析PB 级非结构化数据，并将其转化为可 络适配器和基于英特尔® 至强® 管理的形式，供应用使用。Hadoop 基于 行的10GBASE-T Hadoop 集群，以此作为 处理器的服务器，该项研究 成功的基础。 Google 的MapReduce 和分布式文件系统 构建而成，可部署于