掘金大数据图书馆面临几个问题探讨.docVIP

掘金大数据图书馆面临几个问题探讨 　　摘 要大数据是IT业颠覆性的技术变革。通过表面的数据，揭示其背后隐藏的有价值的信息，是大数据的核心。图书馆利用大数据将面临许多挑战，图书馆如何获取并存储大数据，大数据在图书馆有哪些应用能促进图书馆的创新发展，大数据的相关技术如Hadoop、Hbase、云存储、云计算、数据分析与挖掘技术的研究，将会是大数据时代图书馆研究的主要问题。 　　关键词图书馆大数据知识服务数据挖掘云存储Hadoop 　　分类号G250.76 　　 　　Mining Big Data:Key Issues Faced by Libraries 　　Yao Yi 　　 　　AbstractBig Data is IT disruptive technological change.Through the data of the surface, revealing the valuable information hidden behind them is the core of Big Data. Libraries are facing the big data challenges. How to get and store big data; How big data application would enhance the innovations in the libraries. In the bid data era, Big Data and its related technologies such as Hadoop, Hbase, cloud storage, cloud computing, data analytics and data mining research, would be the key research issues of library and information studies. 　　KeywordsLibrary big data.Knowledge service. Data Mining. Cloud storage. Hadoop. 　　 　　* 本文系江苏省文化科研课题“数字图书馆资源云存储系统研究”（项目编号：13yb08）阶段性研究成果之一。 　　 　　大数据是继互联网、Web2.0、云计算、数据挖掘之后，近两年最为流行和最受关注的词语之一。自从概念提出之后，其蕴含的巨大价值逐渐为人们所认知。美国等发达国家对大数据的研究极为重视，2012年，美国政府拨款2亿美元启动“大数据研究和发展倡议”计划，将大数据的研究提升至国家层面[1]。我国对大数据研究同样重视，科技部发布的“十二五”国家科技计划信息技术领域2013年度备选项目征集指南中，关于大数据的研究（存储设备）排在第一位[2]。随着IT业巨头如IBM、Microsoft、Google、Oracle等跨国公司相继投入资金，推动大数据处理技术的快速发展，大数据的分析和研究在许多领域取得了巨大成功。在图书馆方面，国外的研究者进行了“关联开放数据”和“图书馆数据监管”的研究项目[3]；梵蒂冈图书馆将多达8万部古籍数字化后，放入存储中，占用空间约2.8PB[4]；清华大学利用元数据仓储进行数据挖掘，建立可检索多种数据源的检索平台，并利用关键词分析作者与合作者的关系，建立知识关联网络[5]；2013年10月25日，北京大学图书馆承办了“大数据时代数字图书馆的变革与创新”学术研讨会[6]。大数据正在成为当前图书情报领域研究的热点之一。然而，图书馆掘金大数据之路并不平坦，面临着许多问题与挑战。本文拟从大数据获取与存储、应用研究、分析与挖掘技术三个方面，探讨图书馆应用大数据面临的几个问题。 　　1认识图书馆大数据的价值 　　1.1什么是大数据 　　关于大数据，科学界给出的定义比较笼统。一般认为，大数据是指用我们当前的IT软硬件技术和工具，在相当长的时间内，无法处理或者不能从数据集中获得有用信息的数据。大数据有三个特点，第一是数据体量巨大，一般的数据规模已从TB级升至PB级或更高的EB和ZB级。第二是数据类型种类多样，来源广泛，不仅包括结构化数据，也有半结构化和非结构化数据，如来自互联网社交网络数据、网络日志、多媒体数据、传感器的数据信息、RFID数据、视频信息、地理位置信息等。第三是数据价值巨大，但密度很低。即在海量的数据中，有巨大价值的信息非常少。也有学者认为，与应用密切相关的各类数据都属于大数据范畴[7]。 　　1.2大数据在图书馆的作用 　　大数据在经济和信息领域取得了成功。2012年，在瑞士达沃斯举行“世界经济论坛”发表的报告显示，美国利用大数据技术，每年的零售业价值可增加3 000亿美元，净利润增加60％，减少