高教社旅游大数据理论、技术与应用教学课件4.pptxVIP

【第六章】旅游大数据处理与分析导读【本章导读】本章介绍旅游大数据处理与分析的相关技术和方法。旅游大数据处理是指通过批处理计算、实时计算技术对数据进行处理从而提高数据处理速度的过程。旅游大数据分析是采用数据分析方法对旅游大数据进行描述性分析、挖掘、学习从而获取有用信息的过程。数据分析并非一个新的概念，在大数据产生以前就存在。大数据产生之前和之后所采用的分析方法并没有本质区别，但大数据出现之前数据分析所采用的工具已经不适用于大数据分析，几乎所有大数据分析都需要通过编程来实现。旅游大数据分析的核心是其所采用的数据分析方法，同样的数据分析方法可用于分析不同类型的旅游大数据，同一类型的旅游大数据因应用目的的不同也可以采用不同的数据分析方法。只有对各类旅游大数据分析方法的特性、适用范围有足够了解，对旅游大数据的类型和不同类型数据的特征及其应用目标有足够了解，才能在实践中灵活运用旅游大数据分析，更好地服务于旅游管理，提高游客的旅游体验。【本章关键术语】批处理计算；实时计算；图计算；描述性分析；数据挖掘；机器学习目录01 旅游大数据处理技术CONTENTS02 旅游大数据分析方法 03 几种常见的旅游大数 据及其分析第1节 旅游大数据处理技术第1节 旅游大数据处理技术一、大数据批处理计算二、大数据流计算三、大数据图计算四、查询分析计算第1节 一、大数据批处理计算 批处理指处理存储介质上（通常是通过 HDFS 存储在磁盘上）的大规模数据，数据是以批为单位进行计算，比如一天的访问日志、历史上所有的订单数据等。大数据批处理往往关注数据的事件时间，其解决方案的核心思路是：在数据不动的情况下将程序分发到数据所在的地方进行 计算，被称作“移动计算而不是移动数据”。批处理的常用框架包括 Hadoop 和 Spark。常用框架大数据批处理计算（一）Hadoop（二）Spark分类定义第1节 一、大数据批处理计算核心组成部分其他重要组件Hadoop包括 Hadoop 分布式文件系统 HDFS（Hadoop Distributed File System）和大数据计算引擎 MapReduce和资源调度框架就是 YarnHadoop 的生态不断发展，分布式数据库 Hbase 和分布式锁服务 ZooKeeper 的功能非常重要，经常也被认为是 Hadoop 的重要组件。第1节 一、大数据批处理计算Yarn（Yet Another Resource Negotiator）分布式集群资源调度框架HDFS原理是实现在一个大规模分布式服务器集群上对数据分片后进行并行读写及冗余存储。HDFS 的关键组件有两个，一个是 DataNode，一个是 NameNode。DataNode 负责文件数据的存储和读写操作，HDFS将文件数据分割成若干数据块（Block），每个 DataNode存储一部分数据块，这样文件就分布存储在整个 HDFS 服务器集群中。NameNode负责整个分布式文件系统的元数据（MetaData）管理，也就是文件路径名、数据块的 ID 以及存储位置等信息，相当于操作系统中文件分配表（FAT）的角色。整个HDFS 的存储空间可以达到 PB 级容量。包括两个部分：一个是资源管理器（Resource Manager），一个是节点管理器（Node Manager）。这也是 Yarn 的两种主要进程：ResourceManager进程负责整个集群 的资源调度管理，通常部署在独立的服务器上；NodeManager进程负责具体服务 器上的资源和任务管理，在集群的每一台计算服务器上都会启动，基本上跟 HDFS 的 DataNode 进程一起出现。 Yarn 进行资源分配的单位是容器 （Container），每个容器包含了一定量的内存、CPU 等计算资源，默认配置下，每个容器包含一个 CPU 核心。容器由 NodeManager进程启动和管理，NodeManger进程会监控本节点上容器的运行状况并向 ResourceManger进程汇报。HadoopMapReduceMapReduce 既是一个编程模型，又是一个计算框架和平台.开发人员必须基于 MapReduce 编程模型进行编程开发，然后将程序通过MapReduce 计算框架分发到 Hadoop 集群中运行。概念Map（映射）和Reduce（归约）是它们的主要思想。一个 map 函数可以针对一部分数据进行运算，这样就可以将一个大数据切分成很多块（这也正是 HDFS 所做的），MapReduce 计算框架为每个数据块分配一个 map 函数去计算，从而实现大数据的分布式计算。第1节 一、大数据批处理计算Spark相对MapReduce的改进一是Spark可以根据应用的复杂程度，分割成更多的计算阶段（相比较于 MapReduce一个