大数据离线与实时技术-课件全套 王波 任务1--6 项目概述、Spark分布式集群搭建---实时计算结果可视化.pptx

电影评分数据集离线与实时计算——项目概述

课程导览01项目准备软硬件环境要求与集群搭建基础02项目描述项目背景、需求分析与逻辑流程03学习目标知识、技能、素养三维目标体系

项目准备01

从工程化角度，电影评分数据集的离线与实时计算需要高性能、大内存的计算机，并需要虚拟化技术支持，以搭建离线与实时计算的大数据集群核心要求高性能计算机支撑离线与实时计算大内存配置满足数据集规模计算需求虚拟化技术支持搭建离线与实时计算的大数据集群软件类别软件名称版本虚拟化软件VMwareWorkstationPro16大数据集群操作系统CentOS7.7大数据平台组件JDK1.8大数据平台组件Hadoop