大数据的概念、流程与关键技术.docxVIP

大数据的概念、流程与关键技术 随着移动互联网、物联网和云技术的快速发展，云时代的开始也开始了，大数据也越来越受到限制。作为1982年世界预测大师和未来学者约翰纳斯比特的著作《新生活》（johnnaisberbam）提到的，“我们现在生产了大量的信息，就像我们以前生产的汽车一样。”“人们正试图沉迷于信息，但他们正在厌倦知识。”等预测已经被充分证实，这只表明世界处于信息爆炸的时代。 Internet的出现缩短了人与人、人与世界之间的距离, 整个世界连成一个“地球村”, 人们通过网络无障碍交流、交换信息和协同工作.与此同时, 借助Internet的高速发展、数据库技术的成熟和普及、高内存高性能的存储设备和存储介质的出现, 人类在日常学习、生活、工作中产生的数据量正以指数形式增长, 呈现“爆炸”状态.“大数据问题” (Big Data Problem) 就是在这样的背景下产生的, 成为科研学术界和相关产业界的热门话题, 并作为信息技术领域的重要前沿课题之一, 吸引着越来越多的科学家研究大数据带来的相关问题. 著名未来学家阿尔文·托夫勒在《第三次浪潮》一书中, 将大数据热情赞颂为“第三次浪潮的华彩乐章”.著名期刊《Nature》和《Science》针对大数据分别出版了专刊“Big Data”和“Dealing with Data”, 从互联网技术、互联网经济学、超级计算、环境科学、生物医药等多个方面讨论了大数据处理面临的各种问题.2011年5月, 全球知名咨询公司麦肯锡 (Mckensey and Company) 在美国拉斯维加斯举办了第11届EMC World年度大会, 设定的主题为“云计算相遇大数据”, 发布了“Big data:The next frontier for innovation, competition and productivity”的报告, 首次提出“大数据”的概念, 并在报告中指出:“数据已经渗透到每一个行业和业务职能领域, 逐渐成为重要的生产因素, 而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来”.世界经济论坛 (World Economic Forum) 2012年发布的“Big data, big impact:New possibilities for international development”报告, 指出了大数据的发展为世界带来的新机遇;美国政府在2012年3月29日发布了“大数据研究发展倡议” (Big data research and development initiative), 正式启动“大数据发展计划”, 拟投资2亿美元在大数据的研究上, 以培养更多的大数据研发与应用人才;联合国在2012年5月公布了“Challenges and opportunities with big data”白皮书, 分析了大数据的处理流程以及可能面临的挑战;互联网数据中心 (Internet Data Center, IDC) 在2012年5月发布《中国互联网市场洞见:互联网大数据技术创新研究》报告, 报告中指出大数据将引领中国互联网行业新一轮技术浪潮. 不仅如此, 世界范围内对大数据的关注已从经济领域上升到了政治领域.美国总统科技顾问委员会在2010年就撰写了一份报告给当时的奥巴马总统, 报告名为“Designing a digital future:Federally funded research and development in networking and information technology”, 报告中指出:数据正在以指数形式迅速增长, 如何收集、管理和分析数据日渐成为网络信息研究的重点, 联邦政府的每一个机构和部门都应该制定应对大数据的战略计划.同时, 美国联邦政府建立统一的门户开放网站———Data.Gov, 开放政府拥有的公共数据, 鼓励民众对其进行自由开发, 进一步推进政府数据开放;美国政府各部门也纷纷有所行动, 美国国家科学基金委员会 (NSF) 、美国国家卫生研究院 (NIH) 、美国能源部 (DOE) 、美国国防部 (DOD) 、美国国防部高级研究计划局 (DARPA) 、美国地质勘探局 (USGS) 等6个部门联合推出了大数据计划, 旨在提升从大量复杂数据中获取知识和洞见的能力. 处于发展中国家前列的中国, 大数据的应用处于起步阶段.在工信部发布的物联网“十二五”规划中, 把信息处理技术作为4项关键技术创新工程之一提出, 其中包括了海量数据存储、数据挖掘、图像视频智能分析, 这都是大数据的重要组成部分.而另外3项:信息感知技术、信息传输技术、信息安全技术, 也与“大数据”密切相关.同时, 为推动大数据在我国的发展, 2012年8