大数据时代索引与数据库技术的发展与创新55.pptxVIP

大数据时代索引与数据库事业的发展与创新大纲引言大数据时代索引与数据库的发展现状大数据时代索引与数据库事业面临的挑战及创新结语1 引言“大数据”（Big Data）已经在全球引起了广泛关注，正在引领了又一轮数据技术的革命。美国EMC公司于2011年5月在美国拉斯维加斯举办第11届EMC World大会，大会的核心是帮助企业利用IT变革的重要趋势。此次大会以“云计算相遇大数据（Cloud Meets Big Data）”为主题，着重展现当今两个最重要的技术趋势，正式提出了“大数据”概念。1 引言根据IDC《数字世界》研究项目在2012年的统计，2010年全球数字资源的规模首次突破了ZB（1ZB=1万亿GB）级别，达到了1.227ZB；而2005年只有130Eb，五年增长了10倍。如果保持这种爆炸式的增长速度，到了2020年，我们的数字资源规模将超过40ZB，相当于世界上每个人拥有超过5200GB的数据。无疑，我们已进入了大数据时代。单位：ZB1 引言在 2011年12月，我国工信部发布了物联网 “十二五”规划，提出了4项关键技术创新工程。信息处理技术的内容包括海量数据存储、数据挖掘、图像视频智能分析等，都是大数据技术的重要组成部分；另外3项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，这些也都与“大数据”密切相关。我国也对大数据技术给予了足够的重视。1 引言基于以上概述，我们认为，大数据时代已经到来，已经对我们的社会产生了重大影响。本文将尝试对大数据时代我国的索引和数据库事业的发展与创新进行研究和展望。2 大数据时代2.1 大数据的定义和特征许多权威机构和企业对大数据给予了不同的定义。麦肯锡认为，“大数据所涉及的数据集规模已经超过了传统数据库软件获取、存储、管理和分析的能力。”2 大数据时代IBM公司认为，可以用3个特征相结合来定义大数据：数量（Volume）、种类（Variety）和速度（Velocity），即庞大容量、极快速度和种类丰富的数据。IDC公司认为，“大数据不是一个事物，而是一个跨多个信息技术领域的现象。大数据技术描述了新一代的技术和架构，通过使用高速（Velocity）的采集、发现或分析方法，从超大容量（Volume）的多样（Variety）数据中经济地提取价值（Value）。”2 大数据时代综合以上几种不同的见解，我们认为，具备以下特征的就是大数据。（1）数量大（Volume）。大数据所包含的数据量很大，而且在急剧增长之中。但是，在可供使用的数据数量不断增长的同时，可处理、理解和分析的数据比例却在不断下降。2 大数据时代（2）种类多（Variety）。随着技术的发展，数据源不断增多，数据的类型也不断增加。不仅包含传统的关系型数据，还包含来自网页、互联网、搜索引擎、论坛、电子邮件、传感器数据等原始的、半结构化和非结构化数据。（3）速度快（Velocity）。除了收集数据的数量和种类发生变化，需要处理和生成数据的速度也在变化。数据流动的速度在加快，要有效的处理大数据，需要在数据变化的过程中实时的对其进行分析，而不是滞后的进行处理。2 大数据时代（4）价值量（Value）。在信息时代，信息具有很重要的商业价值。但是，信息具有生命周期，数据的价值会随时间快速减少。另外，大数据的数量庞大，种类繁多，变化也快，数据的价值密度很低。如何从大量多样的数据中尽快的分析出有价值的信息非常重要。对海量的数据进行挖掘和分析，这也是大数据技术的难点。2 大数据时代（5）真实性（Veracity）。这是一个衍生特征。真实有效的数据才具有意义。随着新数据源的增加，信息量的爆炸式增长，我们很难对数据的真实性和安全性进行控制，因此需要对大数据进行有效的信息治理。大数据在结构类型上也有其特点：大多数的大数据都是半结构化或非结构化的。2 大数据时代半结构化的数据是指具有一定的结构性并可被解析或者通过使用工具可以使之格式化的数据，如包含不一致的数据和格式的员工薪酬数据。非结构化的数据是指没有固定结构，通常无法直接知道其内容，保存为不同类型文件的数据，如各种图像、视频文件。根据目前大数据的发展状况，未来数据增长的绝大部分将是半结构化或非结构化的数据。2 大数据时代2.2 大数据时代已经到来（1）大数据时代已经到来理论的提出：2008年，《Nature》杂志出版一期专刊，专门讨论未来的大数据（Big Data）处理相关的一系列技术问题和挑战。现实的节点：2007年是人类创造的信息量有史以来第一次在理论上超过可用存储空间总量的一年。2 大数据时代（2）大数据时代到来的原因首先，信息技术和计算机网络技术的发展，为大数据时代的到来奠定了坚实的技术基础。各种技术的发展，使得数据的来源、类型、数量变得越来越多，由此产生出了的数目庞大且不断急剧增长的