第十三章 数据立方云计算一体机产品白皮书-SL03.docVIP

数据立方云计算一体机产品白皮书 ■ 版权声明 本文中出现的任何文字叙述、文档格式、插图、照片、方法、过程等内容，除另有特别注明，版权均属南京云创存储所有，受到有关产权及版权法保护。任何个人、机构未经南京云创存储的书面授权许可，不得以任何方式复制或引用本文的任何片断。 目录 一. 前言 4 二. 产品介绍 5 三. 功能特性 7 四. 配置参数 8 五. 测试环境及结果 9 六. 使用说明 11 七. 产品应用 15 八. 成功案例 16 前言 2010年正式进入ZB 时代，根据IDC监测，全球数据量大约每 18 个月翻一番，意味着人类在最近18个月产生的数据量相当于之前产生的全部数据量，预计到 2020 年，全球将总共拥有 35ZB的数据量，相较于2010年，数据量将增长近30倍。我们正处于大数据时代的边缘。 随着信息化的发展，企业需要处理的数据呈爆炸式的增长，数据量都达到了TB级、PB级，由此带来了一系列的问题。数据量的增多，系统的负载越来越大，数据的入库和查询性能随之下降。在不增加硬件成本的情况下，如何发挥系统的最大性能，使入库，查询速度最快，是许多企业面临的难题。 云计算的出现为海量数据处理提供了有效地解决途径，在通常的云计算解决方案中，通过Hadoop（一种分布式系统基础架构）的HDFS（一种分布式文件系统）可以方便的实现海量数据存储，同时有效防止单点故障，避免不必要的损失。但是，在HDFS上进行数据检索时，常用的方法是开启全局搜索MapReduce（大规模数据并行运算），这需要完整过滤一遍HDFS上存储的所有数据。在云计算中，尤其是在海量数据情况下，这样做会对系统资源造成巨大的浪费，耗费大量的时间，这显然不是一个适合投入现实生产环境的方式。 本产品克服现有云计算解决方案中常用数据处理方法会造成系统资源浪费，数据处理时间长的缺点，提供一种有效的海量数据实时处理设备，最大限度的利用了计算机的硬件设备，通过一种高效地并行执行方式，使查询达到了实时完成、简单易用、高可靠安全的效能，成功解决了海量数据的快速索引和查询问题，使得百亿条记录级的数据能够秒级处理，极大地提高用户执行查询操作后的使用效率。 产品介绍 ( 产品概述 数据立方云计算一体机是一种处理海量数据高效分布式的、软硬件集合的云处理平台，该平台可以从TB乃至PB级的数据中挖掘出有用的信息，并对这些海量信息进行快捷、高效的处理。平台支持100GBps以上量级的数据流实时索引，1s内响应客户请求，秒级完成数据处理、查询和分析工作。平台可以对入口数据进行实时索引，经过数据立方对数据进行分析、清理、分割后，将这些数据存储在云存储系统上，不仅在查询和检索这部分数据的时候具有非常高的性能优势,还可以支持数据仓库存储、数据深度挖掘和商业智能分析等业务。 ( 产品优势 全业务支持：采用NoSQL+关系数据库混合模式，不仅支撑查询、统计、分析业务，还可支撑深度数据挖掘和商业智能分析业务。 对任意多关键字实时索引 支持类SQL复杂并行组合查询 分布式万兆实时数据流秒级处理 提高客户体验：能够支撑千万级并发访问，PB级数据存储、秒级数据处理能力，提高了客户体验感。用户访问时，系统通过负载均衡与队列模式，做到资源公平原则加强客户体验。 超高可靠性：任意节点宕机，系统不停止服务；任意硬盘、网卡等部件损坏，不影响系统服务，系统能够自动容错，将数据分散在各个节点上，不会出现丢失数据的现象。任务处理过程中，节点宕机，任务自动切换并保留现有进度，保障任务继续执行下去。 可伸缩性：在不停机的情况下，增加节点，平台的处理能力自动增加；减少节点，平台的处理能力自动缩减。这样，可以做到与资源池的无缝对接，根据计算和存储任务动态地申请或释放资源，最大限度地提高资源利用率。 高性价比：采用X86架构超高性价比的英特尔E5家族CPU及英特尔服务器组件构建云计算平台，用软件容错替代硬件容错，大大节省成本。在目标性能和可靠性条件下，可比传统的小型机加商用数据库方案节省10倍左右的成本。 功能特性 项 目 内 容 可管理的数据总量 可高效管理超过万亿条的记录。 实时索引的数据流量 支持100Gbps以上量级的数据流实时索引，单节点数据入库索引速度可达10MB-20MB/S。 任意关键字段实时创建索引 根据提供的表结构解析元数据，并根据提供的任意关键字段实时创建索引。 可移植性 Java语言实现，具有跨平台性，一次编程，任意操作系统都可运行。 查询效率 百亿条记录秒级响应，可支持对万亿条记录进行实时查询。 支持简答SQL组合查询 采用与关系数据混合模式，绝大部分海量数据存放于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数