大数据技术应用研究.docxVIP

大数据技术应用研究 大数据的定义 2001年，高德纳（gartner）的研究报告首次提出了“大数据”的概念。时至今日, 虽然对“大数据”一词的定义说法不一, 但越来越多的研究机构和网络媒体开始关注它。大数据正成为继云计算 (Cloud Computing) 之后新的热词。同云计算一样, 大数据虽然也看不见摸不到, 却与今日的信息技术发展如影随形, 并潜行于当前的信息生产、加工、交换过程之中, 我们已经享受到的某些信息服务, 如在社交网站看到的是自己想关注甚至是感兴趣的广告而看不到不想关注的广告, 这其实是大数据技术的功劳。 1. 大数据时代的中国交通:未来能源之基 后Web2.0时代, 移动互联网的带宽不断提高与智能设备销售量不断上升, 互联网业迎来了“云计算”和“大数据”。世界经济论坛一份有关大数据的研究报告称, 每天全球几十亿人使用计算机、GPS设备、电话和医疗设备, 产生海量的数据信息。这些用户大部分来自发展中国家, 他们的需求和习惯尚未被真正理解, 如果能够借助大数据相关技术分析和挖掘数据背后的信息, 将有助于认识需求、提供预测和防范危机。另有评述说, 美国的汽车保有量是中国三倍, 而其车祸死亡人数仅为中国的一半, 这得益于信息社会的数据革命之功。 毫无疑问, 现在我们比历史上任何时候拥有的数据信息都要多。这些数据来源各式各样:收集气候变化的传感器, 社交媒体上的消息, 数字照片和视频, 交易记录, 移动电话的GPS信号等等。中国移动研究院在一份简报中称, 随着全球信息化的进程加快, 数据量的增加已经到达了前所未有的速度, 2011年创造的信息数据达到180亿GB, 而且每年以60%增加, 到2020年全球一年产生的数字信息将达到35ZB, 相当于350万亿GB。数据在持续地增多变大, 多到现有数据技术无法分析处理, 我们需要专门来解读这些海量数据的技术, 这就是“大数据技术”。 2. 大数据的分类 如同高德纳公司的报告里提到的那样, 业界普遍认同所谓“大数据”具有明显的“3V特征”:量级 (Volume) , 速度 (Velocity) 和多样性 (Variety) 。大数据普遍具有量级大, 要求处理速度快, 数据本身具有丰富的多样性。在甲骨文公司和中国移动研究院的相关研究文档里, 都追加了第四个V——Value, 价值, 而IBM在其相关文档中给出的第四个“V”则是真实性 (Veracity) 。 基于此, 大数据可以被定义为:以新数据处理技术为手段, 在海量、结构复杂、内容多样的数据集中, 以较快速度解析出规律性或根本性的判断、趋势或预见。更为简单地说, 是数据集太大以至于传统数据库软件无法处理, 所以称为“大数据技术”。 从数据生成类型上区分, 大数据可分为交易数据、交互数据和传感数据;从数据来源上分, 大数据可分为社交媒体、银行/购物网站、移动电话和平板电脑、各种传感器/物联网等等;从数据格式可以分为文本日志、整型数据、图片、声音、视频等;还可从数据关系上区分为结构化数据 (如交易流水帐) 和非结构化数据 (如图、表, 地图等) ;从数据所有者可分为公司尤其巨型公司数据、政府数据、社会数据——网络数据。 根据美国白宫的“大数据开发计划”中的说, 大数据开发也可指“从庞大而复杂的数字数据中发掘知识及现象后的本质 (extract knowledge and insights from large and complex collections of digital data) ”。同时也看到, 现在所讨论的大数据并不仅仅是数据尺寸的变大, 它还可以被视作一个机会, 籍此可以在新的正在生成的数据和内容中找到本质的东西, 从而使商业运作更敏捷, 帮助回答一些此前无法预知的问题。 3. 相关研究文献 大数据的提出是为了解决现有数据技术无法满足快速增多、日益复杂化的数据集合, 因此基于大数据的技术涉及层面较广, 至少包括如下一些现有技术的综合运用。关联规则学习、分类、分组分析、众包技术、数据异构与同构、机器学习、自然语言处理、神经网络、模式识别、预测模型、情态分析、信号处理、时序分析和可视化处理等。 上述每一项技术如果展开来说, 需要写很多篇文章来讨论。如关联规则学习, 是数据挖掘的一个重要课题, 用于从大量数据中挖掘出有价值的数据项之间的相关关系, 由此产生了对基于大数据的推荐系统的应用研究。再如机器学习, 机器学习算法是从数据中自动分析获得规律, 并利用规律对未知数据进行预测的算法。因为学习算法中涉及大量的统计学理论, 机器学习与统计推断学联系尤为密切, 也被称为统计学习理论。算法设计方面, 机器学习理论关注可以实现的、行之有效的学习算法。很多推论问题属于无程序可循难度, 所以部分的机器学习研究是开发容易处理的近