暗数据对图书馆应用大数据影响分析.docVIP

暗数据对图书馆应用大数据影响分析 　　摘 要：数据挖掘、数据分析等大数据应用是大数据时代图书馆拓展和升级服务的必然选择，但大数据中不容忽视的暗数据会对其应用造成影响，图书馆必须认识到其存在和影响，并采取一定的措施来提高数据应用效率。 　　关键词：暗数据；大数据；数据服务；图书馆 　　中图分类号： D035 文献标识码： A DOI： 10.11968/tsygb.1003-6938.2015040 　　Analysis of the Influence of Dark Data on Library’s Utilization of Big Data 　　Abstract It is necessary for library to apply big data to increase and widen its service， but dark data in big data will certainly influence the application. It is important for us to recognize the existence of these data and their influence and then try to exclude them so as to increase efficency. 　　Key words big data； dark data； data service 　　毋庸置疑，大数据是当下社会最热的词汇，其不仅被学术界所研究，也被政府所重视，更被商界所追捧，全社会已然进入到了一个开口必言“大数据”的时代，数据也似乎成了可以推动社会发展的最强驱动力，但实际是否如此？所有的大数据都真如一些研究所言可以分析与利用，是“金矿”、是推动社会发展的新动力吗？带着这些问题，笔者通过引进、介绍了占大数据比例较高、价值巨大但难以收集、分析和应用的暗数据，重点分析了暗数据对应用大数据的影响和图书馆应用暗数据的方式与途径。 　　1 暗数据概述 　　目前，业界对“暗数据”的定义还不丰富和完善，相关讨论也都主要引用国际著名咨询公司Gartner公司对“暗数据”的定义：“企业在开展正常业务活动期间采集、处理和存储，但通常无法用于其它目的（如分析、商业关系和直接获利）的信息”[1]。大数据智库则将其定义为：“暗数据”是深藏于海量数据之中、在商业应用上可能发挥重大作用的关键隐含数据[2]。结合上述两种定义，我们可以理解为，“暗数据”是人类没有掌握和收集但已产生影响的数据+人类没有开发挖掘的大数据，具有不易收集与分析、隐匿性较高等特征。 　　相较于大数据，暗数据的社会关注度就逊色不少。笔者以主题为“暗数据”检索了国内收录研究文献最为齐全的中国知网（检索日期：2015年3月30日），结果显示只有2015年初蒋报永发表在2015年1月12日《中国计算机报》上的“点亮‘暗数据’的五种方式”[3]一文，可见国内学者对其的研究之匮乏接近于空白。但需值得注意的是，有一篇网络博文则受到了业界极大的关注，那就是上海图书馆馆长吴建中先生2015年2月22日发表于其博客“建中读书”的“暗数据”[4]一文，该博文不但对暗数据的GARNER定义、国内外图情界对其的关注与实践进行了介绍，也介绍了博主对暗数据的理解与发展展望。 　　根据上述两篇仅有的中文文献资料，我们知道：国际知名的开放出版机构生物医学中心（BioMed Central，简称BMC）与全球最大搜索引擎谷歌Google，分别于2008年及其后，各自致力于药物开发或科技领域的暗数据研究；从2012年开始，美国众多企业都在信息发布或微信等媒体上透露将关注暗数据信息；惠普、美国慷孚系统公司（CommVault System， Inc）等IT公司正致力于研究和推广点亮“暗数据”的信息治理策略研究和智能归档解决方案。此外，Facebook面对数量庞大的互联网社群，为了使生成的内容既吸引一批忠实的品牌倡导者，也可以唤醒那些“潜水粉”，于是通过在社交虚拟社区测定“潜水粉” 的点击率、变动率和一段时间内的参与度，以此来“激活”“潜水粉”①，将品牌的着力点放在他们“正在不做什么”之上，进而影响和促动营销者们挖掘品牌内在的价值[5]。 　　2 暗数据对图书馆应用大数据的影响 　　2.1 图书馆暗数据的分类与原因 　　尽管大数据价值巨大，但其价值的实现必须依赖于深度的数据挖掘和分析，以此来发现隐藏在事物发展表明的本质和规律，进而实现数据信息的增值与开发。反之，数据则会处于黑暗的非揭示状态。而从上述暗数据的定义、特征等可以看出，处于黑暗非揭示状态的数据可能是人们未能存储掌握或真实存在而又人们未能知道的数据，也可能是已经存储但没有挖掘开发的数据，这