大数据(完).pptxVIP

大数据与社会发展 环境研究院 鲍雷 张银晓 王园园 卢春颖 朱建强 张浩杰 章涵穹 程淑敏 背景 概览 核心 展望 目录 影响 背景 早在1980年，著名未来学家托夫勒在其所著的《第三次浪潮》中就热情地将“大数据”称颂为 “第三次浪潮的华彩乐章”。 《自然》杂志在2008年9月推出了名为“大数据”的封面专栏。从2009年开始“大数据”才成为互联网技术行业中的热门词汇。 背景 麦塔集团分析员道格·萊尼指出数据增长的挑战和机遇有三个方向：量（Volume，数据大小）、速（Velocity，资料输入输出的速度）与多变（Variety，多样性），现在这被认为是大数据的三个特性。 2001 2005 2011 2012 2014 Hadoop项目诞生。 Hadoop其最初只是雅虎公司用来解决网页搜索问题的一个项目，后来因其技术的高效性，被Apache Software Foundation公司引入并成为开源应用。 云计算的成熟让大数据不再是纸上谈兵，大数据技术有了真正实现的可能性。麦肯锡正式定义了大数据的概念。 1月份的瑞士达沃斯召开的世界经济论坛上，大数据是主题之一，会上发布的报告《大数据，大影响》(Big Data, Big Impact) 宣称，数据已经成为一种新的经济资产类别，就像货币或黄金一样。 2016 大数据首次出现在当年的《政府工作报告》中，《报告》中指出，要设立新兴产业创业创新平台，在大数据等方面赶超先进，引领未来产业发展。大数据旋即成为国内热议词汇。 大数据“十三五”规划出台，《规划》广泛征求专家意见，进行了集中讨论和修改。《规划》涉及的内容包括，推动大数据在工业研发、制造、产业链全流程各环节的应用；支持服务业利用大数据建立品牌、精准营销和定制服务等。 政府推动 背景 背景 大数据技术 Hadoop本身不是一个产品，而是由多个软件产品组成的一个生态系统， 这些软件产品共同实现全面功能和灵活的大数据分析。采用Hadoop分布式文件系统（HDFS）的可靠数据 存储服务，以及利用一种叫做MapReduce技术的高性能并行数据处理服务. Hive是一种建立在Hadoop文件系统上的数据仓库架构，并能对存储在HDFS中的数据进行分析和管理。它最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的。后来其他公司也开始使用和开发Apache Hive，例如Netflix、亚马逊等。 Storm是一个分布式计算框架，主要由Clojure编程语言编写。最初是由Nathan Marz及其团队创建于BackType，这家市场营销情报企业于2011年被Twitter收购。之后Twitter将该项目转为开源并推向GitHub平台，最终Storm加入Apache孵化器计划并于2014年9月正式成为Apache旗下的顶级项目之一。 背景 大数据价值 概览 对于“大数据”（Big data）研究机构Gartner给出了这样的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。 麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。 在维克托•迈尔-舍恩伯格及肯尼斯•库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。 定义 概览 4V特点 概览 特征 概览 应用 洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。 Google流感趋势(Google Flu Trends)利用搜索关键词预测禽流感的散布。 统计学家内特.西尔弗(Nate Silver)利用大数据预测2012美国选举结果。 麻省理工学院利用手机定位数据和交通数据建立城市规划。 梅西百货的实时定价机制。根据需求和库存的情况，该公司基于SAS的系统对多达7300万种货品进行实时调价。 医疗行业早就遇到了海量数据和非结构化数据的挑战，而近年来很多国家都在积极推进医疗信息化发展，这使得很多医疗机构有资金来做大数据分析。 核心 针对企业数据市场 商业的发展天生就依赖于大量的数据分析来做决策 对于企业用户，更关心的还是决策需求，还有企业营销需求 针对终端消费者 对大数据的需求主要体现在信息能按需搜索，并能提供友好、可信的信息推荐，其次是提供高阶服务 针对政府公共服务 大数据也不断被应用到政府日常管理和为民服务中， 并成为推动政府政务公开、完善服务、依法行政的重 要力量。 核心价值的体现用户 核心 核心具体价值 核心 优化资源配置 核心 这种基于大数据决策的