大数据时代下图书馆挑战及其应对策略.docVIP

大数据时代下图书馆挑战及其应对策略 　　〔摘要〕文章首先阐述了大数据的特征与内涵，指出了大数据在图书馆工作中的重要性及两者之间的关系，分析了大数据所带来的数据管理、数据存储、数据挖掘等方面的挑战。然后研究了图书馆应从数据管理、数据技术及数据队伍建设上所采取的策略。最后探讨了大数据驱动下的图书馆服务新模式，如基于数据整合的一站式资源服务，基于数据处理的学科知识服务、信息可视化服务及基于数据挖掘的个性化智慧服务。 　　〔关键词〕大数据；数据处理；数据挖掘；数据服务；图书馆 　　DOI：10.3969/j.issn.1008-0821.2013.05.003 　　〔中图分类号〕G250〔文献标识码〕A〔文章编号〕1008-0821（2013）05-0009-05 　　随着社会高速的发展，泛互联网的进程加快，数据量的增加已经到达了前所未有的速度。Facebook每天生成300TB（注：1024GB=1TB；1024TB=1PB；1024PB=1EB；1024 EB=1ZB）以上的日志数据，Google公司每个月处理的数据量超过400PB，百度每天约处理几十PB数据，淘宝网每天交易能产生约20TB数据[1]。根据国际数据公司IDC 2011年发布的Digital Universe Study，全球信息总量每过2年，就会增长1倍。仅在2011年，全球被创建和被复制的数据总量为18ZB，且每年以60%增加，2020年全球每年产生的数字信息将达到35ZB[2]。数据的爆炸式增长超出人们的想象，“大数据”（Big Data）时代已经来临。大数据是继云计算、物联网以后，信息科技等行业又一次大的技术变革。 　　最早提出“大数据”概念是麦肯锡公司（Mckinsey and Company）。2011年5月，麦肯锡公司在大数据的报告中指出[3]：数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素。其后，大数据迅速成为政府及信息科技等行业关注的热点。2012年3月，美国政府启动“大数据研究和发展计划”，将“大数据研究”上升为国家战略高度[4]；一些著名企业如IBM、EMC、Microsoft开始对大数据进行研究。大数据最典型的应用是在沃尔玛公司利用大数据技术创造的“啤酒与尿布”的经典商业案例[5]。互联网企业Google及Facebook之所以取得令人瞩目的成绩，其核心的本质就是其公司记录和分析了用户网络操作的大数据，从而精确掌握用户行为、形成??判。图书馆是信息搜集、存储和进行知识服务的机构。在大数据时代下，如何进行数据管理；如何以“大数据”为基础，帮助用户从海量的数据中快捷发现与获取信息资源；如何挖掘用户行为特征，实现个性化、定制化的智慧服务等等都是图书馆面临的新的挑战与机遇。本文对此进行了深入的分析与研究，主要阐述了大数据带给图书馆的影响与挑战，分析了大数据对图书馆的重要性，重点探讨了图书馆的大数据建设若干策略及图书馆的大数据服务模式。 　　1大数据的特征与内涵 　　什么是大数据？目前，还没有一个统一的定义，简单一点可以理解为超出传统数据管理工具处理能力的大规模、复杂的数据集合。IBM公司认为大数据具有“3V”特点，即种类（Variety）多、速度（Velocity），快、容量（Volume）大[6]。但以IDC为代表的业界将其归纳为具有“4V”特征——海量（Volume）、多样性（Variety）、高速（Velocity）和易变性（Variability）。不管是“3V”，还是“4V”，其内涵包含了以下这些特性。第一，数据体量巨大。“大”是指数据规模，一般指在10TB规模以上的数据量。一部《史记》，共526 500字，约1MB数据，一组用于基因研究的染色体照片数据量超过2TB。第二，数据类型繁多。这种类型的多样性也让数据被分为结构化数据和非结构化数据。互联网的迅猛发展，现在的数据类型早已不是单一的文本形式，还包含了大量的网络日志、微博、视频、图片、邮件等大量的半结构化与非结构化数据。第三，价值密度低。价值密度的高低与数据总量的大小成反比。大数据中有很多垃圾，有很多不相关的信息，只有一些有用的信息隐藏在大数据信息里面。以视频为例，一部一小时的视频监控过程中，可能有用的数据仅仅只有一两秒。第四，处理速度快。大数据里面很多是实时数据，像微博、社会网络、SNS这些，要求它进行立竿见影的分析和处理，而不是事后追诉。 　　随着信息化建设的发展，图书馆除了本身包含的大量数字资源外，日益增长的电子资源，高速网络及移动图书馆的普及，云计算、RFID、语义网、社交网络等新技术的发展提供了广泛的数据来源，图书馆正在迎接大数据时代的到来。 　　21各种电子资源（电子书刊，多媒体资源等）的积累，给图书馆提供了海量数据信息技术的发展极大地促