利用IBMSpectrumSymphony实现面向大数据的数据密集型计算.PDF

IBM Spectrum Computing 解决方案摘要 利用 IBM Spectrum Symphony 实现面向大数据 的数据密集型计算 改善结构化和非结构化数据的管理 IBM® Spectrum Symphony Advanced Edition 是面向 MapReduce 应用 要点 程序的企业级分布式运行时引擎。它旨在提供面向 MapReduce 应用 程序的生产就绪功能，例如高资源可用性和可预测性、多种应用程序 ●● 推进低延迟架构 和文件系统支持、运营成熟度、SLA 策略控制和高资源利用率。借鉴 ●● 实现高资源可用性 IBM Spectrum Computing 专业人员数年来积累的分布式工作负载调度 和管理经验，IBM Spectrum Symphony 为您的 MapReduce 应用程序 ●● 在相同集群内支持多个应用程序和混合工 作负载类型 提供现代分布式工作负载运行时服务。 ●● 基于优先级的工作负载调度器 面对数据爆炸式增长，组织艰难应对结构化和非结构化数据的管 理和处理。事实上，一些组织中近 80% 的数据是非结构化数据。 为了从非结构化数据获取价值，需要新的系统和流程。为了应 对这种日益增长的需求，一种流行的机制是应用 Hadoop 文件 系统（HDFS ）和 Hadoop MapReduce 框架。IBM 在专为企业用途 而定制的 IBM InfoSphere® BigInsights® 解决方案中提供了这种系统。 作为“智慧的分析”战略的组成部分，BigInsights 提供了一些企业认 为有价值的额外管理和分析增强功能。 IBM Spectrum Computing 解决方案摘要 对于一些企业而言，对这些系统的需求超越了在他们的分布 高资源可用性 式计算基础架构中处理、运行 Hadoop 应用程序的范畴。这 IBM Spectrum Symphony 有助于确保分布式运行时引擎中 些企业需要一个能够在极短（亚毫秒级）响应时间内处理查 的正常运行时间 － 不存在单点故障。它提供 Job Tracker 和 询或任务的系统。他们希望利用面向多种应用程序类型而非 Task Tracker 自动故障转移和作业恢复，无需重启作业。对于 仅仅是 Hadoop 应用程序的分布式集群。此外，许多企业期 Hadoop 文件系统，IBM Spectrum Symphony 在 Hadoop 分 望在多个子团队之间共享应用程序，其中每个子团队在 布式文件系统中提供 NameNode 自动故障转移，并提供文件 共享环境中都有自己的 SLA 和资源分配。IBM Spectrum 系统恢复和依赖作业恢复。 Symphony 提供分布式计算平台，该平台在单个集群内提供 异构应用程序支持。在此环境中执行的应用程序被配置极低 面向应用程序开发和选择的开放架构 的延迟，而且，通过提