DThinkODPS海量数据处理平台-数梦工场.PDFVIP

产品彩页 DThink ODPS 海量数据处理平台 概述 DThink ODPS 海量数据处理平台是杭州数梦工场科技有限公司（以下简称数梦工场）针对大规模数据分析场景所设计的商用大数据 产品，能够提供TB/PB 级别以上的数据分析处理能力及一站式的数据运营能力。 DThink ODPS 海量数据处理平台覆盖了从数据基础设施、数据中心到数据应用的所有维度，提供业界最全面的大数据解决方案。在 数据基础设施层面 ，针对不同行业不同客户的大数据应用需求，DThink ODPS 支持集群和一体机两种交付形态 ，提供了业界最强的 集群能力，最大单集群规模可扩展至10000 个节点 ，同时具备跨集群（机房）数据共享能力 ，DThink ODPS 一体机在标准配置下可 横向扩展至200 个节点 ，通过增加控制节点可实现计算性能和存储能力横向扩展，可进一步扩展至万台集群规模的大数据云 ；在数 据处理层面，提供了离线计算引擎、流式计算引擎，在离线计算引擎中包含了业界最全的机器学习算法库 ；在数据中心层面，实现 了多租户数据管理与数据安全交换体系，对外开放完整的SDK 及API ，满足定制化要求；在数据应用层面 ，提供了数据开发工具、 基础数据应用、运维管理、安全管理、开发套件及业务数据应用，涵盖了数据采集、数据开发、数据挖掘、数据可视化到业务数据 应用的全闭环数据处理流程。 产品彩页 数梦工场DThink ODPS 海量数据处理一体机 系统架构 DThink ODPS 海量数据处理平台系统架构图 DThink ODPS 海量数据处理平台拥有业界最完善的数据处理技术体系，可用于对大规模数据集的并行计算。 2 产品彩页 产品特性 海量 DThink ODPS 海量数据处理平台可支持PB/EB 级别的数据处理能力，采用分布式集群架构，计算性能和存储规模可随服务器数量 增加而线性提升，最大单集群规模可扩展至10000 个节点 ，同时具备跨集群（机房）数据共享能力 ，通过增加控制节点可实现计算 性能和存储能力横向扩展，可进一步扩展至万台集群规模的大数据云 ；DThink ODPS 支持结构化、半结构化、非结构化数据的存储 和计算。 高效 DThink ODPS 海量数据处理平台提供功能强大易用的SQL、MapReduce 引擎，支持窗口函数等高级分析功能 ，以RESTful API 的 方式提供服务 ，支持万亿级数据JOIN ，20000 以上JOB 并发 ，每天可达PB 级I/O 吞吐 ，内置数据挖掘算法库，快速实现分布式并 行计算 ，支持多线程、高并发、高吞吐量的数据上传下载，提供高速的数据写入与读取能力。 安全 DThink ODPS 海量数据处理平台采用多种数据安全机制 ，拥有领先的交换、存储、使用、授权的全生命周期安全管理体系。 在数据交换方面，采用严格的授权交换方式，提供基于角色、表、字段的精细化授权功能，不同业务方进行非机密数据的交换方案 需严格授权 ，不同业务方进行机密数据的交换在仲裁第三方下进行严格授权 ，提供数据血缘管理功能 ，防止数据在未授权情况下的 二次交易 ； 在数据存储方面，提供自动存储容错机制，所有数据存储三份拷贝，保障数据高可靠性，数据可靠性达到99 ； 在数据开发方面，支持基于ACL 和Policy 的用户权限管理 ，可以配置灵活的数据访问控制策略，防止数据越权访问；所有计算在 沙箱中运行，保障数据高安全性 ；采用独有的生产环境与开发环境隔离机制 ，实现可用不可见的数据开发模式 ，并且提供数据密级 灵活定义以及自动脱敏工具； 在数据运营层面 ，支持多租户，多个用户可以协同分析数据，多租户之间数据严格隔离 ，采用无超级管理员设计 ，实现数据管理者 3