大数据分类探究.pdfVIP

大数据分类探究 云安全联盟大数据工作组发布 译者：李毅 中国惠普大学资深培训专家 摘要 在本文中，我们提出了一个大数据的六维度分类方法。这个分类方法的主要目的是帮助决策制定者 在计算和存储架构以及数据分析技术、安全与隐私框架等多种选择中寻找正确的方向。该分类的核 心是所要分析的数据。 简介 大数据指的是与我们每一个人以及周边事物有关而且被政府和企业所收集的大量数字信息。这些数 据不仅仅是由传统的信息交换软件通过台式机、移动电话等设备产生，也来自于各种环境中所嵌入 的无数类型各异的传感器；无论是城市街道（摄像头、麦克风）或喷气引擎（温度传感器），以及 快速蔓延的物联网 －每一个电子设备都将连接到互联网并产生数据。 每天，我们生成 2.5 艾（1 艾等于 10 的 18 次方）字节的数据－当今世界上将近 90%的数据是在最 近两年中生成的（比如 2011 ［1 ］）。有关存储、计算、安全与隐私、以及分析方面的问题都被大 数据的快速、大容量和多样性等特点给加以放大，例如可大规模扩展的云计算基础架构、数据来源 和格式的多样性、数据采集的流特性和云内迁移的巨大容量需求。 图 1 显示了基于六个维度的分类。这六个维度涵盖了构建大数据基础架构所必需要的各个方面。本 文后面的部分将对每一个维度进行介绍。 数据 首先要回答的问题是：大数据产生于那些域 ？把数据的来源进行归类是为了理解可供选择的基础架 构以及特定的数据类型对其的要求。所有的 “数据”都是不同的。数据将决定需要什么样的架构来 存储它、处理它并在它之上进行分析。我们有多种方式来看待数据的问题。 延迟的要求 第一种方式是根据处理数据所需要的时间跨度来界定数据 ： • 实时 （财务流、复杂事件处理（Complex event Processing －CEP ）、入侵检测、欺诈检测） • 近实时 （广告投送） • 批处理 （零售、取证、生物信息学、地理数据、多种类型的历史数据） “实时”应用程序的例子 很多应用程序会涉及以下各种近乎实时的数据： • 在线广告优化（包括实时竞价） • 高频在线交易平台 • 安全事件监控 • 财务交易监控及欺诈检测 • Web 分析及其他类型的仪表盘（dashboard ） • 在线游戏或电子商务的客户流失预测 • 基于行为和使用情况对设备、工业厂房或者物流系统进行优化 • 控制系统相关的任务：例如智能电网、核电站 • 关于某推文（tweets ）的情绪分析 在大多数这些应用程序中，数据是持续在改变的。为了响应特定的事件，现实且（或）必要的选择 是在一个特定时间框架（ “最近一小时被查看的页面”或 “最近一小时／天／星期／月内的交易） 内只考虑相关的数据而不考虑过去全部的数据。 实时应用程序对大数据技术解决方案中关键属性的影响 为了选择恰当的手段和大数据技术解决方案来处理手头的问题，理解对这个决策有影响的一些关键 属性是非常重要的。出了延迟的要求（用于计算结果的时间 ）外，还应包括以下的： • 事件特征 • 包括应用程序需要的数据输入／输出速率 • 事件响应复杂度 • 处理的复杂度 • 每个事件中处理任务的计算复杂度是怎样的？ • 数据域的复杂度 • 为了支持这些处理需要访问的数据量规模 ？ • 它是否可以在存储在内存中？或者它是否已经分散到多个位置和存储介质中？ 正如所料想的 ，当很高的输入／输出速率与低延迟的要求相结合就会给底层的基础架构带来严峻的 挑战，这样事件响应复杂度在计算和数据域两方面都会比较高。 延迟是当一个事件发生到事件所需的响应完成之间所需要的时间。换而言之，它是完成计算从而作 出决策所需花费的时间。 我们在这里考虑的是两个大类：低延迟与高延迟的要求 • 这里我们把 “低延迟”应用程序定义为需要的响应时间在几十个毫秒之内的应用程序。对于类似 高频交易及实时竞价或者在线广告优化的应用程序，在应用程序的场景中对于延迟有一个可接受 的上限要求。通常，在线广告优化系统大约要求 20-50 毫秒，而高频交易系统可能有更严格的实 时响应要求。虽然应用程序和基础架构在功能上都具有特定的延迟 ，但随着时间的推移，被我们 归于这个类别的都是那些需要 “实时”响应的应用程序。 • 我们认为一个 “中到高延迟”的应用程序对响应时间的要求大约为几秒到几分钟，（甚至可以能 到几小时）。例如，场景中会涉及用户交互和仪表盘的应用程序 ，一般在每几秒甚至几分钟后更 新结果是可以接受的。大多数的报表和长期的数据分析可以忍受大约几分钟，有