我国大数据技术探究趋势.docVIP

我国大数据技术探究趋势 　　摘要：大数据技术已经成为信息社会最重要的技术之一。为了深入了解我国近年大数据技术主要的研究现状和发展趋势，文章对我国最近五年大数据技术的研究文献进行了总结，概括了大数据技术涉及的大数据采集技术、大数据分析技术、大数据存储和管理技术、大数据安全和隐私保护技术以及大数据技术在不同领域的应用5个方面，并对这五方面的研究现状和发展趋势进行分析，并介绍了大数据在能源、教育、居民健康档案建设方面的应用 关键词：大数据；社会网络分析；大数据分析；MapReduce；Hadoop 中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2017）02-0002-03 Research trend of China’s big data technology CHANG Li-yan （Nanjing University， Nanjing 210023， China） Abstract： BIG DATA technology has become one of the most important technologies in the information society.In order to understand the research status and development trend of china’s BIG DATA technology in recent years，the article analyzed research literature of BIG DATA technology in recent five years in China and summed up five aspects of BIG DATA technology：acquisition techniques， BIG DATA analysis technique， management and storage techniques， data security and privacy preserving techniques and application of big data technology in different areas.Paper analyzed the research status and development trend of the five aspects. Key words： BIG DATA； Social network analysis； BIG DATA analysis techniques； MapReduce； Hadoop 1 引言 随着互联网的发展，web2.0、web3.0的兴起，以及物联网的出现，人类的信息量急剧膨胀。根据IDC（国际数 据公司）的监测统计，2011年全球数据 总量已经达到1.8ZB，而这个数值还在 以每2年翻一番的速度增长，预计到2020年，全球将总共拥有35ZB的数据 量，比2011年增长了近20倍。换句话说，近2年产生的数据总量相当于人类有史以来数据量的总和[1，2]。从大量数据中获取有用信息成为人们的迫切需求，在此背景下“大数据（big data）”的概念受到社会各领域的重视 2 大数据的概念及特征 2.1 大数据的概念 “大数据”至今没有公认的定义，2011全球知名咨询公司麦肯锡在《大数据： 创新、竞争和生产力的下一个前沿领域》报告中给出的定义是：大数据指的是大小超出常规的数据库工具获取、存储、管理和分析能力的数据集。同时强调，并不是说一定要超过特定TB级的数据集才能算是大数据。国际数据公司（IDC）用四个维度的特征来定义大数据，即数据集的规模（Volume）、数据流动的速度（Velocity）、数据类型的多少（Variety）和数据价值的大小（Value）[3]。基百科上的大数据定义：“大数据指的是数据规模庞大和复杂到难以通过现有的数据库管理工具或者传统的数据处理应用程序进行处理的数据集合”。以上的定义虽然不尽相同，但均突出了数据的“大”。从数据到大数据量再到最后的大数据，不仅仅体现在量上的变化，而且是数据质量的提升，大数据的技术、平台、数据分析方法等均与从前小数据时代不同，大数据的核心是从海量无序信息中获取有用信息 2.2 大数据的特征 尽管不同领域的人员对大?稻莸母拍钣胁煌?见解，但是普遍认为大数据具备如下的4V特征：⑴ 体量Volume，是指数据存储量大，计算量大；⑵ 多样Variety，是指大数据的异构和多样性；⑶ 价值Value，是指大数据价值密度相对较低，信息海量，挖掘出真正有价值的数据难度较大；⑷ 速度