大数据大数据的认识与思考及培训教材.pdfVIP

大数据大数据的认识与思考及培 训教材 “大数据”的认识与思考 刘姝祎 目录 1“大数据”的时代背景4 1.1“大数据”的概 4 1.2“大数据”产生的背景 4 1.3“大数据”的特征 5 1.4“大数据”的发展阶段 5 1.5“大数据”带来的机遇 6 2“大数据”的关键技术 9 2.1 “大数据”的采集和预处理9 2.2 “大数据”存储技术10 2.3 “大数据”分析技术10 2.4“大数据”与云计算 11 3 大数据产业的应用 12 3.1 大数据产业 12 3.2 “大数据”在典型领域中的应用13 3.3 智慧城市：立体的大数据生态系统 14 3.3.1 智慧城市的产生 14 3.3.2 全球智慧城市的实践 15 3.3.3.中国智慧城市 16 4 问题与挑战 18 4.1 数据质量 18 4.2 数据安全 18 4.3 用户隐私与便利性的冲突 18 4.4 庞大能耗 18 4.5 数据分析与管理人才紧缺 19 4.6 跟风现象较为严重 19 4.7 缺少技术创新水平较高的互联网公司 19 5 对大数据产业发展的建议 20 5.1 政府方面 20 5.2 企业方面 21 5.3 公众方面 22 1 “大数据”的时代背景 1.1 “大数据”的概 纽约时报在 2012 年宣布“大数据时代”已经降临，“大数据”成为了时下最 火热的词汇。顾名思义，大数据是“无法任意时间内用常规软件工具对其内容进 行抓取、管理和处理的大量而复杂的数据集合”。Gartner 认为大数据是“需要新 处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率 和多样化的信息资产”。“大数据”的要义是尽可能地收集众多可以相互叠加补充 的信息，据以完成对“未来”的预测。这些数据可能有些混乱，甚至会出现纰漏， 但数据量的 “多 “和时间的 “即刻”可以弥补数据质量的瑕疵，“大数据”将以 最快的速度“预测”出最“可靠”的答案，指引人们迅速采取行动。 1.2 “大数据”产生的背景 大数据的应用和技术是在互联网快速发展中诞生的，起点可追溯到 2000 年 前后。当时互联网网页爆发式增长，每天新增约 700 万个网页，到 2000 年底全 球网页数达到 40 亿，用户检索信息越来越不方便。谷歌等公司率先建立了覆盖 数十亿网页的索引库，开始提供较为精确的搜索服务，大大提升了人们使用互联 网的效率，这是大数据应用的起点。当时搜索引擎要存储和处理的数据，不仅数 量之大前所未有，而且以非结构化数据为主，传统技术无法应对。为此，谷歌提 出了一套以分布式为特征的全新技术体系，即后来陆续公开的分布式文件系统 (GFS ，GoogleFileSystem) 、分布式并行计算(MapReduce)和分布式数据库 (BigTable)等技术，以较低的成本实现了之前技术无法达到的规模。这些技术奠 定了当前大数据技术的基础，可以认为是大数据技术的源头。 伴随着互联网产业的崛起，这种创新的海量数据处理技术在电子商务、定向 广告、智能推荐、社交网络等方面得到应用，取得巨大的商业成功。这启发全社 会开始重新审视数据的巨大价值，于是金融、电信等拥有大量数据的行业开始尝 试这种新的理念和技术，取得初步成效。与此同时，业界也在不断对谷歌提出的 技术体系进行扩展，使之能在更多的场景下使用。2011 年，麦肯锡、世界经济论 坛等知名机构对这种数据驱动的创新进行了研究总结，随即在全世界兴起了一股 大数据热潮。 2012 年 3 月，美国政府发布《大数据研究和发展计划》，同时组建大数据高 级指导小组，以协调政府在数据领域的两亿多美元投资。根据这一计划，美国希 望利用大数据技术再多个领域实现突破，包括科研教学、环境保护、国土安全等， 此举标志着，美国把应对大数据技术革命带来的机遇和挑战，提高到国家战略层 面，形成了全体动员格局。随后，英国、法国、日本等各国都相继将大数据计划 作为国家战略型计划提上日程。值得一提的是，由中国各级政府主导的大数据计 划也已经全面展开，“大数据”已成为推动我国经济和科技发展的重要力量。 1.3 “大数据”的特征