信息与智能科学导论--第8章-大数据导论.pptxVIP

第8章 . 大数据导论;主要内容;8.1 大数据概论;数据的爆发式增长使数据的存储单位的规模越来越大，用来表示数据存储容量的计算机存储单位见表8-1。 ;数据产生的3个阶段 （1）应用程序生成数据阶段 数据的产生方式是被动的;数据产生的3个阶段 （2）用户原创产生数据阶段 数据由用户自主原创生成;数据产生的3个阶段 （3）数据感知阶段 数据由感知系统自动生成;数据的3种类型 （1）结构化数据 结构化数据具有较强的结构模式，有固定格式和有限长度 关系型数据库中的数据表就是结构化数据;数据的3种类型 （2）半结构化数据 半结构化数据是一种弱化的结构化数据形式 这类数据中的结构特征相对容易获取和发现。这类数据中的结构特征相对容易获取和发现，通常采用XML、JSON等标记语言来表示，HTML也可以认为是一种半结构化的数据。 ;数据的3种类型 （3）非结构化数据 非结构化数据是指不遵循统一的数据模式或者模型，不定长、无固定格式的数据 系统日志、文档、图像、音频、视频等数据都属于非结构化数据;大数据产生的背景;大数据的概念和特征;8.2 大数据的处理流程;1.数据采集与预处理 ;大数据的来源;大数据的来源;大数据的来源;大数据的采集方法;大数据的采集方法;Hadoop采用Chukwa收集和分析集群自身的日志信息 ① Agent运行在每个客户端上，负责采集原始数据，并发送给 Collector。 ② Collector接收Agents发送的数据，并定时写入集群的存储空间中。 ③ MapReduce jobs定时启动，负责对集群中的数据分类、排序、去重和合并，实现分析和归档数据。 ;大数据的采集方法;【例8.1】 使用Python爬取京东商城中所有“电视”商品的商品名称和价格信息。;大数据的采集方法;24;大数据的预处理;数据预处理有多种方法：;数据预处理有多种方法：;2.数据管理;一.分布式文件系统 典型的分布式文件系统有GFS和HDFS。 （1）GFS（Google File System）是Google公司为了存储海量数据而设计的专用文件系统。;一个GFS包括一个主服务器（Master）和多个块服务器（Chunk Server）。一个GFS能够同时为多个客户端应用程序（Application）提供文件服务。文件被划分为固定的块（每个块均由一个不???的、全局唯一的、64位的Chunk handle标识，Chunk handle在块创建时由Master分配），由主服务器安排存放到块服务器的本地硬盘上，出于可靠性考虑，每一个块被复制到多个Chunk Server上。在默认情况下，保存3个副本。主服务器会记录存放位置等数据，并负责维护和管理文件系统，包括块的租用、垃圾块的回收以及块在不同块服务器之间的迁移。;（2）HDFS Hadoop的分布式文件系统（Hadoop Distributed File System，HDFS）的功能是进行数据的存储、管理和出错处理。;二. NoSQL数据库 NoSQL（Not only SQL）数据库泛指非关系型的数据库。NoSQL数据库解决了大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。 常用的4类NoSQL数据库包括键值（Key-Value）存储数据库、列存储数据库、文档型数据库和图形数据库。;三．SQL on Hadoop 2004年，Google公司首先推出了以MapReduce为代表的非关系数据管理技术，作为面向大数据分析和处理的并行计算模型，很快引起了工业界和学术界的广泛关注。Hadoop技术很快也影响了数据库研究领域，就像数据库使用SQL语言一样，很多工具的开发目标是能在Hadoop上使用SQL。;3.数据处理;（1）批处理计算 批处理计算主要面向离散计算场景，计算的数据是静态数据，数据在计算前已经被获取并保存，在计算过程中不会发生变化。 例如，电商领域统计一年的销售额，上一年的数据已经存在并且不会增加或者被修改，因此允许不必立即返回结果。;MapReduce是典型的批处理计算系统，它最早是由Google公司研究提出的，是一种面向大规模数据处理的并行计算模型和方法。 在MapReduce中，一次计算主要分为Map（映射）和Reduce（规约）两个阶段。 ;（a）待计算的大数据分成多个数据块分别存储于各个计算节点中。当计算作业提交之后，该作业会被划分成若干Map任务和若干Reduce任务，并由计算控制节点负责任务的调度和分配。 （b）各节点上的数据首先经过Map阶段的计算，形成中间结果（通常采用键值对Key-Value的方式）保存于负责执行Map任务的本地节点中。 （c）中间结果经过排序后分给各Reduce任务。各Reduce任务的计算节点从各Map任务计算节