大数据——正在发生深刻变革.docVIP

大数据——正在发生深刻变革 　　摘要：介绍和比较了大数据在存储、管理、处理及挖掘方面全球主要的技术。大数据技术总的趋势是通过分布式计算来解决“瓶颈”问题。由于不能完全依赖提高单个节点性能的方式提升系统整体性能，因此需要通过增加系统内节点数目的方式来达到目的。可以将存储、处理和分析的任务通过分布式的方式分散到系统中各个节点上来加快数据的存储、处理和分析的速度。 关键词： 大数据；新摩尔定律；云计算；数据挖掘；Hadoop平台 Abstract： In this paper， we describe and compare the main technologies for storing， managing， processing， and mining big data. Distributed computing is a new trend in solving bottlenecks associated with big-data development. Performance of the whole system cannot be improved only by improving the performance of a single node； therefore， it is necessary to increase the number of nodes within the system. Storage， processing and analysis can be distributed to each node in the system to speed up data storage， processing and analysis. Key words： big data； new Moores law； cloud computing； data mining； Hadoop platform 随着人类对自然和社会认识地进一步加深及人类活动的进一步扩展，科学研究、互联网应用、电子商务、移动运营商等诸多应用领域产生了多种多样的数量巨大的数据。大数据（Big Data）的出现对传统的数据存储、数据处理及数据挖掘提出了新的挑战，同时也深刻地影响着人类的生活、工作及思维。传统的数据存储方法、关系数据库、数据处理和数据分析方法已不能满足当前的需要。 维基百科给出的大数据的定义如下： 巨量数据（或称大数据、海量资料），指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理，并整理成为帮助企业经营决策更积极目的资讯[1]。 目前工业界普遍认为大数据具有4V+1C的特征： （1）数据量大（Volume）。存储的数据量巨大，拍字节级别是常态，因而对其分析的计算量也大。 （2）多样（Variety）。数据的来源及格式多样，数据格式除了传统的格式化数据外，还包括半结构化或非结构化数据，比如用户上传的音频和视频内容，而随着人类的活动的进一步拓宽，数据的来源更加多样。 （3）快速（Velocity）。数据增长速度快，同时要求对数据的处理速度也要快，以便能够从数据中及时地提取知识，发现价值。 （4）价值密度低（Value）。需要对大量的数据处理挖掘其潜在的价值，因而，大数据对我们提出的明确要求是设计一种在成本可接受的条件下，通过快速采集、发现和分析从大量、多种类别的数据中提取价值的体系架构。 （5）复杂度（Complexity）。对数据的处理和分析难度大。 1 大数据时代的来临 因特尔创始人戈登·摩尔（Gordon Moore）在1965年提出了著名的“摩尔定律”：即当价格不变时，集成电路上可容纳的晶体管数目，约每隔18个月便会增加1倍，性能也将提升1倍。1998年图灵奖获得者杰姆·格雷（Jim Gray）提出著名的“新摩尔定律”：每18个月全球新增信息量是计算机有史以来全部信息量的总和。我们可以将新摩尔定律同1439年前后古登堡发明印刷机时造成的信息爆炸作对比：在1453—1503年这50年间大约印刷了800万本书籍，比1200年之前君士坦丁堡建立以来整个欧洲所有手抄书还要多，即50年内欧洲的信息增长了1倍[2]；而现在的数据增长速度则是每18个月全球信息总量翻一番。图1可以清楚地看到大数据的增长，图2是IDC公司对未来全球数据总量的预测，图3则表明了大数据正在日益成为人们关注的焦点。我们已经进入到大数据时代。 2 大数据产生的原因 大数据随着人类活动的进一步拓宽而出现，他给我们带来了机遇也带来了挑战。 2.1 数据采集方式的改变 自从计算机诞生以来，特别是近几十年因特