大数据与Hadoop培训课件.pptx

大数据与Hadoop;什么是大数据？ 什么是Hadoop？ 理解大数据 理解Hadoop 基于Hadoop的大数据产品分析 基于Hadoop的大数据应用分析 ;Wikipedia：Big data is the term for a collection of?data sets?so large and complex that it becomes difficult to process using on-hand database management tools or traditional data processing applications. Gartner：Big data is high volume, high velocity, and/or high variety information assets that require new forms of processing to enable enhanced decision making, insight discovery and process optimization 。 Forrester ： “Big data ” as “techniques and technologies that make handling data at extreme scale affordable”。 BI Big Data Business Intelligence uses?descriptive statistics?with data with high information density to measure things, detect trends etc. Big data uses?inductive statistics?and concepts from?nonlinear system identification??to infer laws (regressions, nonlinear relationships, and causal effects) from large data sets?to reveal relationships, dependencies, and to perform predictions of outcomes and behaviors。;什么是大数据？ 什么是Hadoop？ 理解大数据 理解Hadoop 基于Hadoop的大数据产品分析 基于Hadoop的大数据应用分析 ;Hadoop 是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储 。 Apache Hadoop软件库是一个框架，允许使用简单编程模型进行跨计算机集群的分布式的大数据集的处理。它被设计成可以从单服务器扩展到几千台服务器，每台服务器都有自己的计算和存储。不是依赖于硬件来实现高可用性，Hadoop库被设计成在应用层来检测与处理故障，以在计算机集群上交付高可用服务，而底层的每台计算机是很容易出现故障的。 Hadoop是项目的总称，主要是由分布式存储（HDFS），分布式计算（MapReduce，目前的称为YARN，即mapReduce2.0）组成。 Hadoop程序目前只能运行在Linux系统上，Windows上运行需要安装其他插件。 ;什么是大数据？ 什么是Hadoop？ 理解大数据 理解Hadoop 基于Hadoop的大数据产品分析 基于Hadoop的大数据应用分析 ; 21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。 互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。;想驾驭这庞大的数据，我们必须了解大数据的特征。;“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。;大数据 = 海量数据 + 复杂类型的数据;密不可分的大数据与云计算;大数据不仅仅是“大”;软件是大数据的引擎;大数据生态：软件是引擎;大数据的应用不仅仅是精准营销;管理大数据“易”理解大数据“难”;分析技术： 数据处理：自然语言处理技术 统计和分析：A/B test; top N排行榜；地域占比；文本情感分析 数据挖掘：关联规则分析；分类；聚类 模型预测：预测模型；机器学习；建模仿真 大数据技术： 数据采集：ETL工具