大数据时代来临, 图书馆何以应对.docVIP

大数据时代来临：图书馆何以应对？ 赵培云 （辽宁工程技术大学图书馆，阜新123000） 摘要：目前，大数据已经成为继云计算之后新的产业发展重点，无论对国家还是行业，都意味着革命性变化。而作为以知识存贮、利用与开发为己任的图书馆行业来说，积极投身大数据，加快布局这一战略新领域，应是提高自身核心竞争力的必然选择。 关键词：大数据 优势 风险 图书馆 对策 中图分类号：G253 文献标识码：A 过去的数据大多是人为产生的，比较容易转化成关系型数据库形式。而现在产生数据的来源日渐增多，结构更加复杂，很多数据不再是由人产生，而是由机器产生的，这些数据往往是以流的形式产生的。对于这样的数据，关系型数据库已经不再是最优秀的技术了。 1 与传统数据处理比大数据的优势 1.1处理巨量数据能力强大。相对于以往便于存储的以文本为主的结构化数据，网络日志、音频、视频、图片、地理位置信息等体量巨大、类型繁多的非结构化数据产生，对数据处理能力提出了更高要求。而大数据的特征是处理数据的能力与所能获得数据量之间的差距，因而处理巨量数据超乎寻常。 1.2能迅速完成数据价值的“提纯”。以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前巨量数据汹涌背景下亟待解决的难题。而大数据具有的价值密度低（价值密度的高低与数据总量的大小成反比）的特点能从容应对。 1.3处理速度快。根据IDC（国际数据公司）的一份名为“数字宇宙”的报告，预计到2020年全球数据使用量将会达到35.2ZB。在如此海量的数据面前，处理数据的效率就是一项技术存在的前提。而这正是大数据区分于传统数据挖掘最显著的特征。 1.4数据采集从源头上进行控制。当前的数据收集工作没有数据分析系统，基本是不经分析过滤全扔进数据库，一来数据库容量有限，二来信息芜杂，有效样本信息获得难度较高。而大数据采取反向思路，先剔除掉数据库中的无用信息，这是大数据处理跟目前大海捞针式数据处理的本质不同。 1.5数据处理完备性好。以往数据处理通常是设置关键词，在数据库中海量搜索，然后请智囊团分析，通过人脑进行判断和预测。这种方法存在的问题在于，用来分析的数据来自关键词搜索，难以达到完备性。 1.6数据处理从智能走向智慧。以前的海量数据处理，仅仅是信息资料收集过程，最终的决策和判断由另外的系统负责。而大数据的数值搜索和处理是一体化，边搜索边即时处理，需要数据可随时查找[1]。 1.7决策智能化。过去很多图书馆对自身运营发展的分析只停留在数据和信息的简单汇总层面，缺乏对客户、业务、营销、竞争等方面的深入分析。在大数据时代，图书馆战略将从业务驱动转向数据驱动，通过挖掘大量内部和外部数据中所蕴含的信息，预测市场需求，进行智能化决策分析，从而制定更加行之有效的战略[2]。 2大数据与云计算异同点 大数据与云计算的关系是静与动的关系。云计算强调的是计算，是动的概念，而数据则是计算的对象，是静的概念。如果数据是财富，那么大数据就是宝藏，云计算就是挖掘和利用宝藏的利器。大数据强调的是信息流程、信息目的，而云计算强调的是途径、方式、位置。云计算是帮助大数据中信息存储、计算、完成流程并实现商业目的的重要手段。没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀。大数据的重点是计算对象，而云计算的重点在于计算能力，两者之间是相辅相成的。不同点是：①概念上两者有所不同。云计算改变了IT（信息技术），而大数据则改变了业务。大数据必须有云计算作为基础架构，才得以顺畅运营。没有云计算这条高速公路，大数据这辆超级跑车就跑不起来。当市场对大数据需求很高时，云计算就会往各个方向伸展，形成良性互动。②大数据和云计算的目标受众不同。云计算是针对首席信息官的技术和产品，是一个进阶的IT解决方案。而大数据是针对业务层的产品。大数据的决策者是业务层，由于他们能直接感受到来自市场竞争的压力，因此必须在业务上以更有竞争力的方式战胜对手[3]。如果说云计算为数据资产提供了保管、访问的场所和渠道，那么如何盘活数据资产，使其为国家治理、图书馆决策乃至个人生活服务，则是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。对二者合理、优化的利用，产生的价值不可限量。 3 大数据给传统数据处理带来的挑战 3.1技术挑战。尽管大数据的概念形成较早，但对其技术的研发还是近几年才发展起来的。从目前来看，大数据技术主要涵盖的领域有可视化分析、数据挖掘算法、预测性分析能力、语义引擎、数据质量和数据管理等。具体来说，主要包括分布式缓存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL（非关系型数据库）分布式存储方案等。由于