理解大数据培训课件.pptxVIP

;一、大数据的背景;;三权组织机构;约翰·摩斯——《信息自由法》 （担任美国国会议员25年，六朝元老、连选连任） 1955年摩斯着手信息自由的立法工作以来，一系列列的法律层层叠加，不断完善，美国的信息自由最终形成了一个体系，这个体系也成了世界上许多国家制定《信息自由法》的模板，截止2006年，已有60多个国家实施了类似的法案。;奥巴马政府;信息的自由、公开;数据帝国;数据的储存单位;2009年美国各行业数据存储量（拍字节）;庞大的数据资产需要经费来支持，联邦政府1996年度IT预算180亿美元，2011年已经高达784亿美元。 这些投资中的一半以上，都用在了购买存储数据的硬件设备上。 这是一个不择不扣的数据帝国。 帝国形成的原因——摩尔定律。 戈登.摩尔(Intel的创始人之一) 其内容为：当价格不变时，集成电路上可容纳的晶体管数目，约每隔18个月便会增加一倍，性能也将提升一倍。换言之，每一美元所能买到的电脑性能，将每隔18个月翻两倍以上。这一定律揭示了信息技术进步的速度。;最小数据集Minimum Data Set;源于：医疗领域 出院病人最小数据集 病人都要付钱——医疗账单最小数据集 出台统一的数据格式——医疗保险和索赔最小数据集 在医疗领域迅速被推广，几乎每年都有新的最小数据集被定义。 眼科，眼科，皮肤科等等医疗服务的方方面面各种各样，特定的最小数据集;传感器;政府的三种数据源;政府应对数据爆炸颁布的法案： 《信息自由法》可以公开数据 《阳光政府法》必须公开数据 《电子信息自由法》计算机数据公开 数据源——大数据 大小超出传统意义上的尺度，一般的 软件工具已经难以捕捉、存储、管理 和分析的数据。 没有统一的定义。 大数据的特点：大知识、大科学、大利润、大发展。 ;每一个机构和部门都要制定一个应对大数据的战略;二、数据开放平台Data.gov;Data.gov上线同一天，美国阳光基金会宣布设立 25000美元的奖金，举办程序员公共数据开放大赛。 参赛作品必须使用Data.gov开放的数据，可以是数 据的分析程序，可以是数据可视化的应用，还可以是社交 网站和智能手机的查件。 Data.Gov初次上线只开放了47组数据，但三个月内，阳光 基金会却收到了47个新的开发应用程序。 大量的“互动”使Data.gov的功能不断完善，先后加入了 数据的分级评定、高级搜索、用户交流以及和社交网站互动 等等???的功能。 2009年12月8日《开放政府的指令》命令各个联邦部门必须 在45天之内，在Data.gov上至少开放3项高价值数据。;(上线的第一天受到了210万的点击，两个月创下了2000多万次的访问总量。);DATA AND TOOLS;候机经济学：航班延误分析系统 FlyOnTime.us;数据混搭器 DataMasher;Data.Gov成果;三、业界发展动态; 商务智能指利用数据仓库、数据挖掘技术对客户数 据进行系统地储存和管理，并通过各种数据统计分析 工具对客户数据进行分析，提供各种分析报告，如客 户价值评价、客户满意度评价、服务质量评价、营销 效果评价、未来市场需求等，为企业的各种经营活动 提供决策信息。;数据仓库 Data Warehouse; 数据仓库是商务智能的依托，是对海量数据库进行分析的核心物理构架，是 一种格式一致的多源数据存储中心。数据源可以来自多个不同的系统，如企业内 部的财务系统、客户管理系统、人力资源系统，甚至是企业外部系统。 数据仓库的物理结构出现以后，一系列的产业链也逐步形成： ETL Extraction Transformation Load ETL就是将数据按统一的格式提取出来，然后再转化，集成，载入数据仓库 的工具 。 联机分析 Online Analytical Processing 联机分析也称多维分析，本意是把分立的数据库“相联”，进行多维的分析。 “维”是联机分析的核心概念，指的是人们观察事物、计算数据的特定角度。 可以从任意的维度交叉和细分问题，用户能根据自己的需要，随时创建“万维” 动态报表。 ;数据挖掘Data Mining;数据可视化Data Visualization;X1=X2=X3, X4=8 X1,X2,X3和X4的平均值等于9，其方差等于10,Y1,Y2,Y3和Y4的平均值等于7.50，其方差等于3.75 4组数据都符合线性回归：y=3+0.5x 也就是说：4组数据中，X和Y之间的关系是相同的。个别数据偏离可以视为随机产生的干扰。 ;大趋势数据开放的舰队已经形成;云计算——新的航向;;大数据时代;四、底层技术简介;Hadoop;Hadoop特性;机器学习技术;研究领域;人工神经网络（ANN）;基于JAVA的开