大数据与档案管理教材.pptVIP

大数据与档案管理 上海大学图书情报档案系 2013年12月 ;1. 大数据概述;除了上帝任何人都必须用数据来说话;1.1 大数据的定义; 康奈尔大学计算机科学家JonKleinberg称，“大数据这个术语本身很模糊，但在某些方面却又非常具体，大数据是可能改造一切的一种过程的标签”。 对于处在探索期的大数据研究来说，与其准确地予以限定性分析，倒不如更多地将精力放在对其特征、内涵的探寻和运用的研究之中。 从研究者角度而言，与其寻找一个公认的定义，倒不如去分析这样的问题：当大数据来临时，就某一具体的业务（如数字档案馆、电子文件等）而言，我们是否可以富有想象力地回答，大数据究竟会对某一特定领域带来何种影响，以及人们面对这些影响所获得的机遇是什么？这才是我们跨学科研究的旨义所在，而这无疑具有更加重要的意义。;1.2 大数据的特征（4V）;大量（Volume） 数据中的数据不再以几个GB或几个TB来衡量，而是以PB（1千个T）、EB（1百万个T）或ZB（10亿个T）为计量单位。 IDC2011年6月报告显示，全球数据量在2011年已达到1.8ZB，“如果把所有这些数据都刻录存入普通DVD光盘里，光盘的高度将等同于从地球到月球一个半来回，也就是720 000英里。相当于每位美国人每分钟写3条Twitter，而且还要不停地写2.6976万年”。;速度（Velocity） 大数据往往以高速实时数据流的形式动态产生，具有很强的时效性。2010年，据英国研究咨询公司Coda预测，移动网络数据流量在未来五年有望增长40倍，用户上传的内容将爆发式增长。 对大数据的处理速度要非常快。传统数据仓库系统、BI应用都是批处理方式，但对于大数据应用，必须进行实时数据流处理。比如对于灾难的预测，需要很快地对发生的程度、影响的区域范围等进行量化。 ;多样（Variety） 一是数据来源多，随着科技的发展，大数据数据来源和承载方式多种多样，如微博、社交网站、传感器等，数据处于分散状态。 二是数据类型多，包括结构化数据（如企业、行业内数据）、半结构化数据（物联网数据）、非结构化数据（互联网数据），并且据Gartner预计，2012年“半结构和非结构化的数据，诸如文档、表??、网页、音频、图像和视频等将占全球网络数据量的85%左右”。;价值（Value） 由于大量有用与可能没用的数据并存，因此大数据可谓是“遍地都是金子，又遍地都是沙子”。 一方面，大数据的价值密度较低，以视频监控为例，在连续不断的监控流中，可能仅有一两秒的影像是有用的数据。 另一方面，虽然单条数据并无多大价值，但庞大的数据量则是一座“富矿”，将已有的结构化与非结构化数据进行融合、分析后，将会从中挖掘出极高的价值。特别是竞争激烈的商业领域，数据正成为企业的新型资产，企业都在追求数据价值的最大化。;1.3 大数据的认识误区;今天的大数据将不再是明天的大数据 当前，大数据的定义是相对于目前的技术和资源而言的，随着时间的推移，处理数据的工具和技术、原始存储空间和处理能力的提升，大数据的界定也必然会发生变化。 今天的大数据明天可能不再被认为是大数据，就像10年前的大数据在如今看来什么都不是一样，大数据会继续演进下去。如今，在数据容量、速度、多样性、复杂度等方面被认为是不可能的或无法想象的事情、几年过后情况会完全不同，这是一个多年不变的定律，在大数据时代也同样适用。 ;大数据的价值在于分析与应用 很多人认为，正是由于大数据的大容量、高速和多样性，才使得他们比其他数据更具有优势且更重要。然而，“大”和“数据”都不是大数据中最重要的。事实上，拥有任何一个数据集，无论它们多大或者多小，其自身都不会带来任何价值。被收集来的数据如果从不使用，不会比存放在阁楼或地下室的垃圾更有价值。 大数据的价值体现在如何分析它们，并采取怎样的措施来提升本身的业务水平。换言之，数据即服务。 ;大数据是一种服务变革 本质而言，大数据是信息爆炸时代对数据核心价值的再挖掘，其中综合运用到去冗降噪技术、语义引擎、可视化分析等，因此被很多专业人士认为是继云计算、物联网之后IT行业的又一次颠覆性变革。 事实上，大数据“不仅仅是技术变革，更实质上的是计算机服务时代的来临，对数据的抽丝剥茧、总结结论更体现了计算机行业正从技术供应型转为服务供应。;1.4 大数据与云计算、数据挖掘的区别;换言之，云计算与大数据实际上是工具和用途的关系。云计算为大数据提供强大的存储和计算能力，更加迅速地处理大数据的丰富信息，并更方面的提供服务；来自大数据的业务需求，能为云计算的落地找到更多更好的实际应用。 如果说云计算为数据资产提供了保管、访问的场所和渠道，那么如何盘活数据资产，使其为国家治理、企业决策乃至个人生活服务，则是大数据的核心议题。;总之，大数据处理会利用到云计算