大数据时代的高校信息化框架精选.PDFVIP

《中国教育信息化 缟辑部：mis@moe．edu．cn 大数据时代的高校信息化框架 罗军锋 ，徐 菲 (西安交通大学 信息中心，陕西 西安 710049) 摘 要 ：随着大数据 时代的到来，数据从简单的处理对象开始转变为基础性资源，如何更好地管理和 利用好大数据 已经成为普遍关注的话题．各行各业的信息化 因此都会发生深层次的变革 ，高校也不例外。 本文将聚焦大数据时代下的高校信息化这个话题 ，首先讨论 了大数据 的基本概念、关键技术 、高校信息化 在大数据时代的主要挑战，最后介绍了我校大数据处理的基本框架平台。 关键词：大数据；数据分析 ：高校信息化 中图分类号 ：TP311 文献标志码 ：A 文章编号 ：1673—8454(2014)03-0011—04 引言 对大数据的定义为 ：大数据是指利用常用软件捕获、管 近年来 ，随着以博客 、社交网、微博 、微信为代表的 理和处理数据所耗时间超过可容忍时间的数据集 。[31麦 新媒体地不断出现，特别是信息获取技术 、物联网、云计 肯锡将大数据定义为 ：无法在一定时间内用传统数据库 算等技术的兴起 ，引发了数据规模爆炸式的增长 ，学术 软件工具对其内容进行抓取、管理和处理的数据集合。 界、企业界 、政府机构纷纷开始关注大数据 问题 。学术界 大数据不是一种新技术 ，也不是新产品，而是一种新现 最早是 ((Nature于2008年就推出了BigData专刊。ll】全 象，大数据强调对数据的抓取、管理和处理。 球知名的咨询公司麦肯锡2011年6月份发布了一份关 1．大数据具有以下4个特点，既4个 V“”圈 于大数据的报告 B“igdata：Thenextfrontierforinnovation， (1)数量(Volumes)：是指数据规模超大。数量级别从 competition，andproductivity”，对大数据的影响、关键技 TB(1TB=1024GB)级别，跃升到 PB(1PB=1024TB)、EB(1 术和应用领域等都进行了很详细的分析 。[21美国奥巴马 EB=l024PB)乃至 ZB (1ZB=1024EB)级别 。 政府启动了 “大数据研究和发展倡议”，计划在生物医 (2)多样性 (Variety)：是指管理结构化 、半结构化和 学 、环境 、科研等领域利用大数据进行技术突破。我国 非结构化数据。这些数据来 自多种数据源如传感器、智 在 《国家中长期科技发展规划纲要 (2006—2020)》提出： 能设备 ，数据种类和格式冲破 了以前所限定的结构化 “信息领域要重点研究开发……海量信息处理及知识 数据范畴，包括文本 、微博 、音频 、视频等等。 挖掘的理论与方法……”。另一方面 ，著名的连锁超市 (3)速度 (Velocity)：是指处理数据快 ，包含大量或 沃尔玛每小时需要处理 100万条用户请求，维护着超 实时数据分析处理的时间要求非常短，1秒定律。速度 过 2．5PB的数据库 ：社交网络 Facebook存储超过 500 影响数据时延，从数据创建或获取到数据可以访问的时 亿张照片：IDC多年的研究结果证实 ：全球数据量大约 间差 。 每两年翻一番，每年产生的数据量按指数级增长 ，目前 (4)价值 (Value)：是指价值密度低 ，商业价值高。以 全球有 46亿移动 电话用户，有 20亿人访 问互联网 ，所 视频为例 ．连续不间断的监控过程 中 ，可能有用的数据 有这些都证明了大数据时代 已经到来 ．甚至有人认为 。 仅仅有一两秒 。 大数据是继物联网、云计算后 IT产业又一次颠覆性的 大数据与传统的数据库也有明显的区别 ，两者在 技术变革 。 数据来源 、数据处理方式和数据思维等各个方面都有 本文试 图从大