大数据时代简析.pdfVIP

大数据时代简析 杨雪萍 （华中师范大学信息管理学院 湖北 武汉 430079） 【摘要】随着全球信息量的爆炸式增长，“大数据”成为近几年的热点研究对象，本文将基于 已有研究文献，并加之最新研究进展、应用成果，从“大数据”的概念、大数据的分析方法、 大数据已应用的成功案例、大数据的挑战与展望等多方面进行全面的深入探讨。 【关键词】大数据；关系数据管理技术；MapReduce 技术；HDFS； 1 引言 1.1 大数据产生背景 在科学研究、计算机仿真、互联网应用、电子商务等诸多应用领域，数据量 正在以极快的速度增长，数据爆炸发生在可以想到的所有设备、应用程序及个体 的各个层级上。根据Gartner 公司的研究，全球信息量每年的最低增长率为59%， 其中有15%是结构化数据，其余的则由复杂的数据类型组成。最近的一份报告显 示，大数据将带动2012 年全球280 亿美元的IT 支出，到2016 年这个数字将超 过2300 亿美元，2300 亿美元几乎是葡萄牙全年的国内生产总值。并且根据预测， 数据量在未来10 年内会增长44 倍，但与此同时IT专职人员的数量仅会增长 1.4 倍。与此同时，在数据呈爆炸性增长的趋势下，IT 还不得不承受节约相关资源 及预算的重大压力。整个网络体系架构将面临革命性改变。最早提出“大数据” 时代已经到来的机构是全球知名咨询公司麦肯锡。 【1】 大规模数据主要有以下几个主要来源 ：（1）传感器数据(sensor data): 分布在不同地理位置上的传感器,对所处环境进行感知,不断生成数据。即便对这 些数据进行过滤,仅保留部分有效数据,长时间累积的数据量也是非常惊人的;(2) 网站点击流数据(click stream data):为了进行有效的市场营销和推广,用户在 网上的每个点击及其时间都被记录下来 ;利用这些数据,服务提供商可以对用户 存取模式进行仔细的分析,从而提供更加具有针对性的服务 ;(3) 移动设备数据 (mobile device data):通过移动电子设备包括移动电话和PDA、导航设备等,我 们可以获得设备和人员的位置、移动、用户行为等信息,对这些信息进行及时的 分析,可以帮助我们进行有效的决策,比如交通监控和疏导系统;(4) 射频 ID 数 据(RFID data):RFID 可以嵌入到产品中,实现物体的跟踪。一旦RFID 得到广泛 的应用,将是大量数据的主要来源之一。 1.2 大数据概念 维基百科、数据科学家以及一些研究机构和相关厂商，均提出过大数据的概 念，虽未形成统一的定义，但是通过分析不同概念发现，它们之间都存在一个共 识，即：大数据的关键是在种类繁多数量庞大的数据中，快速获取信息。大数据 主要有以下四个特征（4V）。 12 （1） 容量大（Volume Big）。数据量已经 TB （10 字节）发展至 PB 乃 至ZB，可称海量、巨量乃至超量。 （2） 多样性（Variable Type）。数据类型繁多，愈来愈多为网页、图片、 视频、图像与位置信息等半结构化和非结构化数据信息。 （3） 生成速度快（Velocity Fast ）。数据流往往为高速实时数据流，而 且往往需要快速、持续的实时处理；处理工具亦在快速演进，软 件工程及人工智能等均可介入。 （4） 价值高 （Value High）。以视频安全监控为例，连续不断的监控流中， 0 有重大价值者可能仅为一两秒的数据流；360 全方位视频监控的 “死角”处，可能会挖掘出最有价值的图像信息。 2 大数据分析技术 随着数据生成的自动化以及数据生成速度的加快，需要处理的数据量急剧膨 胀，为了从数据中发现知识并加以利用，指导人们的决策，必须对数据进行深入 的分析，而不仅仅是形成报表。下面介绍三种主要的大数据分析技术关系数据管