曙光data大数据教战手册.docVIP

曙光XData大数据教战手册 曙光信息产业(北京)有限公司 产品中心 教战手册作用 曙光XData大数据教战手册是销售人员在与客户沟通时常见问题的回答要点，是让客户清楚曙光在备份领域能做的事情以及曙光的优势，最终为达成销售的目的提供必要的技术解释。 背景介绍 2.1 什么是大数据 “大数据”并不是一项技术，而是由于不断增长的数据量和数据种类而逐渐衍生出来的一种现象。因此，大数据在业内并没有一个统一的定义。不同厂商、不同用户，站在不同的角度，对大数据的理解不一样。目前说大数据的定义，主要有下面两种：第一种是《Teradata Manager》上给出的一个定义，它指出大数据是指超出了常用硬件环境和软件工具在可接受的时间范围内为其用户收集、管理和处理数据的能力。另一种是麦肯锡给出的定义，它说大数据是指大小超出了典型数据库软件工具收集、存储、管理和分析能力的数据集。 2.2 大数据的特点 “大数据”这个词，光从字面来看，可能会让人觉得只是容量非常大的数据集合而已。但是，容量只不过是大数据特征的一个方面，如果只拘泥于数据量的话，就无法深入理解当前围绕大数据所进行的讨论。因为“用现有的一般技术难以理解”这样的状况，并不仅仅是由于数据量增大这一个因素所造成的。 大数据的特征，可以用四个V开头的关键词来描述： 数据体积大——Volume 截止目前，人类生产的所有印刷材料的数据量是200PB，而历史上全人类说过的所有的话的数据量大约是5EB。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据已经接近EB级。 数据类型多——Variety 数据的多样性可以把数据分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等。这些多类型的数据对数据的处理能力提出了更高要求。 价值密度低——Value 价值密度的高低与数据总量的大小成反比。以视频为例，一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。 处理速度快——Velocity 这是大数据区分于传统数据挖掘的最显著的特征。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。 产品介绍 3.1 产品概述 Xdata大数据一体机是一款通用的海量数据处理平台，提供对结构化及非结构化海量数据的存储组织和查询处理功能，满足用户对海量数据的过滤性查询、统计分析类查询和关联分析的处理需求。 Xdata大数据一体机可广泛的应用在电信数据统计分析，互联网/移动互联网的日志和用户行为分析，物联网/传感器网络的数据监控和追踪分析，以及金融交易数据的离线统计和挖掘等众多领域。 3.2 功能特性 Xdata大数据处理机将数据存储单元和处理单元分离，通过构架高效的服务中间件，将底层采用无共享结构的数据存储节点，聚合成一个单一的数据处理系统映像，达到较高的数据读写并发度、计算并发度，以及良好的系统扩展性，可靠性和可维护性。系统结构如图： 图表 STYLEREF 1 \s 3 SEQ 图表 \* ARABIC \s 1 1 XData系统结构 Xdata向用户提供统一的类JDBC的客户端编程接口，向下管理分布在不同存储模块上的不同类型的数据，并提供简易的用户管理界面。Xdata系统的核心计算包括自动的服务注册和负载均衡，可扩展的数据划分和分布策略，高效的批量数据加载，通用的并行查询分析和处理引擎，结构化和非结构化数据的统一访问接口，不同类型数据之间的关联查询和检索，以及全方位的熊故障和恢复处理等多项技术。Xdata的产品功能特性如下： 分级存储 Xdata支持分级存储，以降低系统的总体持有成本。即按照数据量和数据的访问频率，分为在线、离线和备份三个存储级别，并支持数据在各级之间根据策略进行迁移。 复杂数据类型关联分析 Xdata支持大表关联和大表嵌套类等复杂的查询语句的处理。Xdata系统通过将复杂查询解析成在多个数据节点上的并行任务流，来提高复杂查询的处理性能。 Xdata支持用户自定义的并行查询任务流，可以支持任意复杂的结构化/非结构化数据处理语义，以满足更广泛的应用需求。 SN-MPP并行处理架构 Xdata采用无共享的集群架构，提供高速的数据写入能力。写入过程中，采用并行写入的方式，按照一定的数据划分策略，将数据写入到后端的数据节点。 Xdata将查询语句分解成为在多个数据模块并行执行的查询任务流，所有的查询处理都在数据节点上并行的执行，充分利用无共享结构的计算并行度。Xdata提供任务断点执行功能，发生意外情况时，失效任务自动恢复执行。