大数据时代的数据库的创新与发展.pdfVIP

大数据时代的数据库的创新与发展 大数据时代的数据库的创新与发展 摘要：大数据时代的到来，使得传统数据库在处理百TB 以上、特别是PB 级数据的查询、 统计、分析等应用时，遇到性能上的瓶颈。面对电信、金融、安全、政企等大数据量应用， 包括电信话单、金融细帐、智能电网、经营分析、公安网监、舆情监控、审计稽查、应急指 挥等，用户体验往往不可接受。海量数据的3V(数量Volume、速度Velocity、多样Variety) 挑战着传统数据库曾经非常成功的“一种架构支持多类应用”的模式。互联网和大数据应用 的冲击下，世界数据库格局在发生革命性的变化，通用数据库 (OldSQL)一统天下变成了 OldSQL、NewSQL、NoSQL 共同支撑多类应用的局面。 大数据是信息化的一个崭新发展阶段，通过分析各种大数据，人类对知识的认知可以见微 知著、集腋成裘、由此及彼，对世界的认知也将更全面、更深入、和更具前瞻性。自 2011 年5 月，EMC 和 IDC 在合作研究“数字宇宙”五年之后提出“大数据”概念以来，“大数据 经济”的影响力愈发显著，谷歌、Facebook 竞相超过微软，曾经的“软件为王”让位于“数 据为王”。 可以预见，大数据时代将引发大量应用创新，比如，城市大数据应用将支撑智慧城市建设， 还有智慧教育、智慧医疗、智慧交通、智慧金融等; 关键词：大数据时代，数据库；系统 ；创新 ； 引言：“大数据” （ big data） 或者称为“海量数据”，这个直白的名词，已经在全球 引起了广泛关注，已经引领了又一轮数据技术的革命。 美国EMC 公司于2011 年5 月在美国拉斯维加斯举办第11 届 EMC World 大会，大会的核 心是帮助企业利用IT 变革的重要趋势。此次大会以“云计算相遇大数据（ Cloud Meets Big Data）”为主题，着重展现当今两个最重要的技术趋势，正式抛出了“大数据”概念。 根据IDC 《数字世界》研究项目在2012 年的统计，2010 年全球数字资源的规模首次突破了 ZB （1ZB=1 万亿GB）级别，达到了1.227ZB；而2005 年只有130Eb，五年增长了10 倍。如 果保持这种爆炸式的增长速度，到了2020 年，我们的数字资源规模将超过40ZB，相当于世 界上每个人拥有超过5200GB 的数据。无疑，我们已进入了大数据时代。 在 2011 年 12 月，我国工信部发布了物联网 “十二五”规划，提出了4 项关键技术创新 工程。信息处理技术的内容包括海量数据存储、数据挖掘、图像视频智能分析等，都是大数 据技术的重要组成部分；另外 3 项关键技术创新工程，包括信息感知技术、信息传输技术、 信息安全技术，这些也都与 “大数据”密切相关。我国也对大数据技术给与了足够的重视。 基于以上概述，大数据时代已经到来，已经对我们的社会产生了重大影响，本文将尝试对大 数据时代我国的索引和数据库事业的发展与创新进行研究和展望。 大数据时代： 多权威机构和企业对大数据给予了不同的定义。麦肯锡认为，“大数据所涉及的数据集规模 已经超过了传统数据库软件获取、存储、管理和分析的能力。”IBM公司认为，可以用3个 特征相结合来定义大数据：数量（Volume）、种类（Variety）和速度（Velocity），即庞大容 量、极快速度和种类丰富的数据。IDC 认为，“大数据不是一个事物，而是一个跨多个信息 技术领域的活动。大数据技术描述了新一代的技术和架构，其被设计用于通过使用高速 （Velocity）的采集、发现或分析，从超大容量（Volume）的多样（Variety）数据中经济地 提取价值（Value）。” 综合对种不同的见解，本文认为，具备以下特征的就是大数据。 （1）数量大（Volume） 。大数据所包含的数据量很大，而且在急剧增长之中。但是，可 供使用的数据量在不断增长的同时，可处理、理解和分析的数据比例却不断下降。 （2）种类多（ Variety） 。随着技术的发展，数据源不断增多，数据的类型也不断增加。 不仅包含传统的关系型数据，还包含来自网页、互联网、搜索索引、论坛、电子邮件、传感 器数据等原始的、半结构化和非结构化数据。 （3）速度快（Velocity） 。除了收集数据的数量和种类发生变化，生成和需要处理数据的 速度也在变化。数据流动的速度在加快，要有效的处理大数据，需要在数据变化的过程中实 时地对其进行分析，而不是滞后的进行处理。 （4）价值量（Value）。在信息时代，信息具有很重要的商业价值。但是，信息具有生命周 期，数据的价值会随时间快速减少。另外，大数据数