【大数据）大数据的认识与思考及培训教材.doc

（大数据）大数据的认识与思考及培训教材  “大数据”的认识与思考 刘姝祎 目录 TOC \o "1-3" \h \z \u 1“大数据”的时代背景4 1.1“大数据”的概念4 1.2“大数据”产生的背景4 1.3“大数据”的特征5 1.4“大数据”的发展阶段5 1.5“大数据”带来的机遇6 2“大数据”的关键技术9 2.1“大数据”的采集和预处理9 2.2“大数据”存储技术10 2.3“大数据”分析技术10 2.4“大数据”与云计算11 3大数据产业的应用12 3.1大数据产业12 3.2“大数据”在典型领域中的应用13 3.3智慧城市：立体的大数据生态系统14 3.3.1智慧城市的产生14 3.3.2全球智慧城市的实践15 3.3.3.中国智慧城市16 4问题与挑战18 4.1数据质量18 4.2数据安全18 4.3用户隐私与便利性的冲突18 4.4庞大能耗18 4.5数据分析与管理人才紧缺19 4.6跟风现象较为严重19 4.7缺少技术创新水平较高的互联网公司19 5对大数据产业发展的建议20 5.1政府方面20 5.2企业方面21 5.3公众方面22 1“大数据”的时代背景 1.1“大数据”的概念 纽约时报在2012年宣布“大数据时代”已经降临，“大数据”成为了时下最火热的词汇。顾名思义，大数据是“无法任意时间内用常规软件工具对其内容进行抓取、管理和处理的大量而复杂的数据集合”。Gartner认为大数据是“需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产”。“大数据”的要义是尽可能地收集众多可以相互叠加补充的信息，据以完成对“未来”的预测。这些数据可能有些混乱，甚至会出现纰漏，但数据量的“多“和时间的“即刻”可以弥补数据质量的瑕疵，“大数据”将以最快的速度“预测”出最“可靠”的答案，指引人们迅速采取行动。 1.2“大数据”产生的背景 大数据的应用和技术是在互联网快速发展中诞生的，起点可追溯到2000年前后。当时互联网网页爆发式增长，每天新增约700万个网页，到2000年底全球网页数达到40亿，用户检索信息越来越不方便。谷歌等公司率先建立了覆盖数十亿网页的索引库，开始提供较为精确的搜索服务，大大提升了人们使用互联网的效率，这是大数据应用的起点。当时搜索引擎要存储和处理的数据，不仅数量之大前所未有，而且以非结构化数据为主，传统技术无法应对。为此，谷歌提出了一套以分布式为特征的全新技术体系，即后来陆续公开的分布式文件系统(GFS，GoogleFileSystem)、分布式并行计算(MapReduce)和分布式数据库(BigTable)等技术，以较低的成本实现了之前技术无法达到的规模。这些技术奠定了当前大数据技术的基础，可以认为是大数据技术的源头。 伴随着互联网产业的崛起，这种创新的海量数据处理技术在电子商务、定向广告、智能推荐、社交网络等方面得到应用，取得巨大的商业成功。这启发全社会开始重新审视数据的巨大价值，于是金融、电信等拥有大量数据的行业开始尝试这种新的理念和技术，取得初步成效。与此同时，业界也在不断对谷歌提出的技术体系进行扩展，使之能在更多的场景下使用。2011年，麦肯锡、世界经济论坛等知名机构对这种数据驱动的创新进行了研究总结，随即在全世界兴起了一股大数据热潮。 2012年3月，美国政府发布《大数据研究和发展计划》，同时组建大数据高级指导小组，以协调政府在数据领域的两亿多美元投资。根据这一计划，美国希望利用大数据技术再多个领域实现突破，包括科研教学、环境保护、国土安全等，此举标志着，美国把应对大数据技术革命带来的机遇和挑战，提高到国家战略层面，形成了全体动员格局。随后，英国、法国、日本等各国都相继将大数据计划作为国家战略型计划提上日程。值得一提的是，由中国各级政府主导的大数据计划也已经全面展开，“大数据”已成为推动我国经济和科技发展的重要力量。 1.3“大数据”的特征 “大数据”具有4V的特点：一是数据容量巨大（Volume）。国际数据公司（IDC）的研究报告称，2011年全球被创建和被复制的数据总量为1.8ZB（2的70次方），并预测到2020年，全球将拥有35ZB的数据量。二是数据类型众多 （Variety）。相对于过往以文本形式为主的结构化数据，大数据时代的数据类型涵盖了图片、音频、视频、网络日志和地理位置信息等种类繁多的半结构化和非结构化数据。三是数据价值密度低（Value）。举例而言，在一个连续监控三个小时的视频中，能够提供有效信息帮助刑侦人员破案的画面可能只有三五秒。四是处理数据的速度要求非常快（Velocity）。一方面，面对如此巨大的数据量，处理效率至关重要，另一方面，越来越多的处理需要在瞬间完成以便做出及时的反应。在此基础上，阿里巴巴延伸至3个维度