大数据与hadoop培训课件.pptVIP

大数据与Hadoop 演讲者： 电话： 邮箱： 部门：灾备服务部 什么是大数据？ 什么是Hadoop？ 理解大数据 理解Hadoop 基于Hadoop的大数据产品分析 基于Hadoop的大数据应用分析 议题 Wikipedia：Big data is the term for a collection of data sets so large and complex that it becomes difficult to process using on-hand database management tools or traditional data processing applications. Gartner：Big data is high volume, high velocity, and/or high variety information assets that require new forms of processing to enable enhanced decision making, insight discovery and process optimization 。 Forrester ： “Big data ” as “techniques and technologies that make handling data at extreme scale affordable”。 BI Big Data Business Intelligence uses descriptive statistics with data with high information density to measure things, detect trends etc. Big data uses inductive statistics and concepts from nonlinear system identification  to infer laws (regressions, nonlinear relationships, and causal effects) from large data sets to reveal relationships, dependencies, and to perform predictions of outcomes and behaviors。 什么是大数据 什么是大数据？ 什么是Hadoop？ 理解大数据 理解Hadoop 基于Hadoop的大数据产品分析 基于Hadoop的大数据应用分析 议题 Hadoop 是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储 。 Apache Hadoop软件库是一个框架，允许使用简单编程模型进行跨计算机集群的分布式的大数据集的处理。它被设计成可以从单服务器扩展到几千台服务器，每台服务器都有自己的计算和存储。不是依赖于硬件来实现高可用性，Hadoop库被设计成在应用层来检测与处理故障，以在计算机集群上交付高可用服务，而底层的每台计算机是很容易出现故障的。 Hadoop是项目的总称，主要是由分布式存储（HDFS），分布式计算（MapReduce，目前的称为YARN，即mapReduce2.0）组成。 Hadoop程序目前只能运行在Linux系统上，Windows上运行需要安装其他插件。 什么是Hadoop Doug Cutting Yahoo Hadoop 集群 什么是大数据？ 什么是Hadoop？ 理解大数据 理解Hadoop 基于Hadoop的大数据产品分析 基于Hadoop的大数据应用分析 议题 21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。 互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。 “大数据”的诞生： 半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念。如今，这个概念几乎应用到了所有人类智力与发展的领域中。 大数据时代的背景 想驾驭这庞大的数据，我们必须了解大数据的特征。 地球上至今总共的数据量： 在2006 年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据； 在2011 年，这个数字