05.华科大学武昌分校-大数据下读者行为分析(王辉).pdf

大数据下读者行为分析 ——以武昌分校图书馆为例 分享人：华中科技大学武昌分校王辉 1 大数据的发展与利用 2 武昌分校图书馆积累的大数据可以做什么？ 3 分析读者行为的结果对我们工作的指导作用 我馆的大数据应用所做的工作及还可进一步开 4 展的工作 大数据的发展与利用 什么是大数据？ 大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管 理和处理的数据集合 1. Volume 2. Variety 结构化数据、半结构化数据和非结构化数据 数据量巨大 全球在2010 年正式进入ZB 时代， 如今的数据类型早已不是单一的文本形式， IDC预计到2020 年，全球将总共拥有 订单、日志、音频，能力提出了更高的要求 35ZB 的数据量 3. value 4. Velocity 沙里淘金，价值密度低 实时获取需要的信息 以视频为例，一部一小时的视频，在连续 大数据区分于传统数据最显著的特征。如 今已是ZB时代，在如此海量的数据面前，处理 不间断监控过程中，可能有用的数据仅仅只有 数据的效率就是生命 一两秒。如何通过强大的机器算法更迅速地完 成数据的价值“提纯”是目前大数据汹涌背景 下亟待解决的难题 大数据的发展与利用 国内外大数据的发展与现状 数据量增加 数据结构日趋复杂 大量新数据源的出现则导致了非结构 化、半结构化数据爆发式的增长 根据IDC 监测，人类产生的数据量正在呈 指数级增长，大约每两年翻一番，这个速度在 2020 年之前会继续保持下去。这意味着人类 在最近两年产生的数据量相当于之前产生的全 TB PB EB ZB 部数据量 大数据的发展与利用 国内外大数据的发展与现状 “大数据”这个概念早在上个世纪的1980年，著名未来学家阿尔文·托夫勒便在 《第三次 浪潮》一书中，就将“大数据”热情地赞颂为“第三次浪潮的华彩乐章”。2008年9月 《科学》 （Science）杂志发表了一篇文章“BigData: Science in the Petabyte Era”。“大数据”这个 词开始被广泛传播。目前国内外的专家学者对大数据只是在数据规模上达成共识：“超大规模”表 示的是GB级别的数据，“海量”表示的是TB级的数据，而“大数据”则是PB级别及其以上的数据。 但对其的准确定义给出的结论不一。美国国家科学基金会( NSF) 则将大数据定义为“由科学仪器、 传感设备、互联网交易、电子邮件、音视频软件、网络点击流等多种数据源生成的大规模、多元 化、复杂、长期的分布式数据集”。 全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年…… 每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年…… 推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的 浏览16 年…… 每天亚马逊上将产生 6.3 百万笔订单…… 每个月网民在Facebook 上要花费7 千亿分钟