大数据分析 第一章 大数据介绍.pptx

大数据分析 第一章 大数据介绍 本章学习目标 了解大数据的定义 了解大数据的特征及技术框架 掌握不同数据分类 了解大数据与云计算的关系 了解大数据与人工智能的关系 了解发展大数据的意义 了解大数据在我国的发展现状 1.1 大数据概述 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据时代的概念最早是全球知名咨询公司麦肯锡提出的，2006年麦肯锡提出了大数据概念。 大数据的发展主要历经了三个阶段，出现阶段、热门阶段和应用阶段。 1）出现阶段（1980-2008） 2）热门阶段（2009-2012） 3）应用阶段（2013-2016） 2015年国务院正式印发《促进大数据发展行动纲要》，《纲要》明确指出要不断的推动大数据发展和应用，在未来打造精准治理、多方协作的社会治理新模式，建立运行平稳、安全高效的经济运行新机制，构建以人为本、惠及全民的民生服务新体系，开启大众创业、万众创新的创新驱动新格局，培育高端智能、新兴繁荣的产业发展新生态。 2015年，大数据“十三五”规划出台，《规划》通过定量和定性相结合的方式提出了2020年大数据产业发展目标。在总体目标方面，提出到2020年，技术先进、应用繁荣、保障有力的大数据产业体系基本形成，大数据相关产品和服务业务收入突破1万亿元，年均复合增长率保持30%左右。 大数据的影响主要有以下四点。 1 ）大数据对科学活动的影响 2）大数据对思维方式的影响 3）大数据对社会发展的影响 4）大数据对就业市场的影响 随着对大数据认识的不断加深，人们认为大数据一般具有四个特征：数据量大、数据类型繁多、数据产生速度快以及数据价值密度低。 1. 数据量大 大数据中的数据量大，就是指的海量数据。 大数据之“大”还表现在其采集范围和内容的丰富多变，能存入数据库的不仅包含各种具有规律性的数据符号，还囊括了各种如图片、视频、声音等非规则的数据。 2. 数据类型繁多 大数据包括结构化数据、半结构化数据和非结构化数据。 3.数据产生速度快 （1）数据产生得快。 （2）数据处理得快。 4. 数据价值密度低 大数据应用 大数据关键技术 1）大数据采集 2）大数据预处理 3）大数据存储 4）大数据分析挖掘 大数据计算模式 大数据计算模式对应的系统如下所示。 大数据查询与分析计算：HBase、Hive、Cassandra、Premel、Impala、Shark、Hana、Redis。 批处理计算： MapReduce、Spark。 流式计算：Scribe、Flume、Storm、S4、SparkStreaming。 迭代计算：HaLoop、iMapReduce、Twister、Spark。 图计算：Pregel、PowerGrapg、GraphX。 内存计算：Dremel、Hana、Redis。 谷歌大数据计算模式 大数据框架 1）批处理系统 2）流处理系统 3）混合处理系统 大数据与云计算 大数据与人工智能 1.2 大数据的意义 大数据的国家战略意义 大数据是一个事关我国经济社会发展全局的战略性产业，大数据技术为社会经济活动提供决策依据，提高各个领域的运行效率，提升整个社会经济的集约化程度，对于我国经济发展转型具有重要的推动作用。 大数据的企业意义 如何应对大数据时代的到来已经成为了每一个企业需要面对的问题。 我国大数据市场的预测 1.3 大数据的产业链分析 运营分析 本章小结 （1）大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 （2）大数据一般具有四个特征：数据量大、数据类型繁多、数据产生速度快以及数据价值密度低。 （3）大数据的应用无处不在，从金融业到娱乐业，从制造业到互联网行业，从物流业到运输业，到处都有大数据的身影。 （4）大数据的关键技术包含数据采集、大数据预处理、大数据存储和大数据分析挖掘。 （5）按照对所处理的数据形式和得到结果的时效性分类，大数据处理框架可以分为三类：批处理系统、流处理系统和混合处理系统。