企业级大数据平台白皮书-四川创意信息技术股份有限公司.pdfVIP

企业级大数据平台白皮书 Big Data Enterprise Platform （D+ ） 文档版本 ：1.0 企业级大数据平台（D+ ）白皮书 企业级大数据平台 Big Data Enterprise Platform （D+ ） 企业级大数据平台（D+ ）是基于开源Apache Hadoop ，综合大数据市 场需求 ，十年磨一剑，打造的企业级大数据平台产品。产品集成 Hadoop 生态 圈中多种优秀组件，实现了采集、处理、分析、存储、搜索、算法、服务、安 全等全域一体化的数据加工能力。通过实时动态分析、离线数据模型分析、挖 掘、预测等手段，为企业级用户提供强大的分析、决策、创新等支撑能力。 图 1 D+ 定义 D+ 平台同步最新的 Apache Hadoop 稳定发行版，集成了最新稳定的 Pig、Hive、Ooize、Tez、Storm、Spark、HBase、Solr、Kafka、Flume、 Sqoop、Knox、Ranger、Hue、Zookeeper 等组件，极大增强其兼容性、安 全性、稳定性， 解决了版本、组件等相互依赖问题，使用户能够专注于数据存 储、处理等业务应用，而不用关心底层平台问题。 文档版本1.0 Copyright © Troy-BD Center 企业级大数据平台（D+ ）白皮书 体系架构 图 2 D+ 体系架构 D+平台以 YARN 作为架构中心，支持多任务、多负载、多处理方式（从 批处理到交互式处理再到实时处理 ），拥有企业级大数据平台所需的关键能力— —管理、安全和运营。 平台全面的功能集包括：集中监管、数据存储、数据访问、数据安全等主 要功能。 文档版本1.0 Copyright © Troy-BD Center 企业级大数据平台（D+ ）白皮书 核心功能 集中监管 图 3 D+ Manager D+ 平台具备集中监管能力，不仅支持群集运行状况可视化管理，还提供 相应工具来管理配置、优化性能。其中 D+ Manger 具有集群自动化安装、 中心化管理、集群监控、报警等功能，将安装时间从几天缩短到几小时，运维 人员从数十人降低至几人，极大地提高了集群管理的效率，降低企业运维成 本。 数据存储 平台的核心组件由 YARN （Yet Another Resource Negotiator ）和HDFS （Hadoop Distributed File System ）构成。YARN 是 Hadoop 的架构中心， 支持同时以多种方式处理数据。YARN 提供资源管理和可插拔架构，以支持广泛 的数据访问方法；HDFS 为大数据提供可扩展、容错、低成本的存储，具有多副 本、负载均衡、机架感知、多租户访问、文件误删除恢复、分布式缓存等特性。 文档版本1.0 Copyright © Troy-BD Center 企业级大数据平台（D+ ）白皮书 数据访问 平台为各种处理引擎提供标准服务，支持同时以多种方式与相同数据进行 交互，涵盖批处理、交互式 SQL、NoSQL 的实时（低延时）访问。 针对目前在Hadoop 环境上运行交互式 SQL 查询大规模数据集的需求的 不断高涨，平台优化了 Hive 的后端引擎处理模式，集成了Impala 、HAWQ 等多种方式来为结构化数据提供高效的、可扩展的引擎。 数据监管整合 平台具有数据监管的强大能力，提供可靠、可复用以及简单的方式来管理 数据流在 Hadoop 中的输入输出。此控制结构拥有一套简单易用、自动化的 工具，能快速地将 Hadoop 中的数据、元数据、应用集成到企业已有的数据架 构中。 数据安全