理解大数据资料.pptVIP

一、大数据的背景 三权组织机构 约翰·摩斯——《信息自由法》 （担任美国国会议员25年，六朝元老、连选连任） 1955年摩斯着手信息自由的立法工作以来，一系列列的法律层层叠加，不断完善，美国的信息自由最终形成了一个体系，这个体系也成了世界上许多国家制定《信息自由法》的模板，截止2006年，已有60多个国家实施了类似的法案。 奥巴马政府 政府的态度：大国新政——阳光是最好的防腐剂，建立一个透明开放 的政府。 政府的行动：《透明和开放的政府》 放松对总统文件的管制 （公众可查阅） 公开、发布信息 政府的思想：依靠数据说话 政府领导人：奥巴马 ——热爱高新科技 支持技术创新 数据帝国 what: 什么是数据？ where: 数据是从哪来的？ how: 应对数据爆炸该如何做？ 数据的储存单位 庞大的数据资产需要经费来支持，联邦政府1996年度IT预算180亿美元，2011年已经高达784亿美元。 这些投资中的一半以上，都用在了购买存储数据的硬件设备上。 这是一个不择不扣的数据帝国。 帝国形成的原因——摩尔定律。 戈登.摩尔(Intel的创始人之一) 其内容为：当价格不变时，集成电路上可容纳的晶体管数目，约每隔18个月便会增加一倍，性能也将提升一倍。换言之，每一美元所能买到的电脑性能，将每隔18个月翻两倍以上。这一定律揭示了信息技术进步的速度。 最小数据集Minimum Data Set 帝国的数据到底从何而来？海量的数据源头在哪里? 美国联邦政府的数据来源，当然首先缘于它各个部门的业务 工作，也就是业务数据。 大规模、系统地收集数据，在美国联邦历发展史上，有一个重 要的里程碑——最小数据集 政府的三种数据源 政府应对数据爆炸颁布的法案： 《信息自由法》可以公开数据 《阳光政府法》必须公开数据 《电子信息自由法》计算机数据公开 数据源——大数据 大小超出传统意义上的尺度，一般的 软件工具已经难以捕捉、存储、管理 和分析的数据。 没有统一的定义。 大数据的特点：大知识、大科学、大利润、大发展。 每一个机构和部门都要制定一个应对大数据的战略 “数据驱动的管理方法——Data-Drivern Management 用数据——决策、管理、创新。 数据和信息是执法工作当中制定战略和决策的基础 循数管理三部曲：收集、分析、发布 二、数据开放平台Data.gov 专门为联邦政府建立的一个统一的数据开放的 门户网站，全面开放政府拥有的公共数据。 主要目的： 1.把政府推向前所未有的开放高度，巩固国家民主， 2.提高政府的效率和效能。 3.通过鼓励创新，上数据走出政府，得到更多的创新运用。 Data.gov上线同一天，美国阳光基金会宣布设立 25000美元的奖金，举办程序员公共数据开放大赛。 参赛作品必须使用Data.gov开放的数据，可以是数 据的分析程序，可以是数据可视化的应用，还可以是社交 网站和智能手机的查件。 Data.Gov初次上线只开放了47组数据，但三个月内，阳光 基金会却收到了47个新的开发应用程序。 大量的“互动”使Data.gov的功能不断完善，先后加入了 数据的分级评定、高级搜索、用户交流以及和社交网站互动 等等新的功能。 2009年12月8日《开放政府的指令》命令各个联邦部门必须 在45天之内，在Data.gov上至少开放3项高价值数据。 DATA AND TOOLS Data.Gov成果 截止2011年12月，仅仅在Data.gov上，就汇集了1140个应用程序和软件工具、85个手机应用查件，其中，有近300个是由民间的程序员、公益组织等社会力量自发开发的。 2010年，Data.Gov开放的数据总数达到了27万项，2011年12月，共开放原始数据3721项，地理数据386429项。 开放数据时一石三鸟，不仅服务了大众，刺激经济，还调动了大众创新，为政府节省了软件开发的开支。 三、业界发展动态 商务智能 大趋势 云计算 商务智能 商务智能指利用数据仓库、数据挖掘技术对客户数 据进行系统地储存和管理，并通过各种数据统计分析 工具对客户数据进行分析，提供各种分析报告，如客 户价值评价、客户满意度评价、服务质量评价、营销 效果评价、未来市场需求等，为企业的各种经营活动 提供决策信息。 数据仓库 Data Warehouse 数据仓库的诞生： 数据仓库是商务智能的依托，是对海量数据库进行分析的核心物理构架，是 一种格式一致的多源数据存储中心。数据源可以来自多个不同的系统，如企业内 部的财务系统、客户管理系统、人力资源系统，甚至是企业外部系统。 数据仓库的物理结构出现以后，一系列的产