大数据处理与云计算教学大纲20170704.docxVIP

《大数据处理与云计算》教学大纲 课程类别： 专业教育课程 课程名称： 大数据处理与云计算 开课单位： 信息与通信工程学院 课程编号： 课程性质： 必修 总 学 时： 44(实验 12 学时 ) 学 分： 2.5 适用专业： 信息工程 先修课程： C 语言程序设计 大纲编写（修订）时间： 2017 年 5 月 一、课程在教学计划中的地位、作用 《大数据处理与云计算》是信息工程专业高年级学生开设的一门专业教育课，也是学 生了解大数据和云计算基本原理， 掌握高性能并行计算的入门课程。 通过本课程的学习， 使学生掌握大数据和云计算技术基本原理及其系统的基本架构，使学生从应用角度掌握基于 MPI 的高性能并行计算基本原理和 Hadoop 分布式文件存储、分布式数据处理技术。培养学生具有高性能计算集群的开发设计、 搭建和应用的基本能力， 同时为后续大数据与云计算相关课程的学习奠定扎实的基础。 二、课程目标 理解大数据和云计算技术基础，掌握高性能并行计算的工作原理和技术基础，使学 生具有将高性能并行计算技术用于工程的能力；（支撑毕业要求 1） 2. 学会高性能计算相关的软件、硬件的配置方法，能够针对工程问题提出以 MPI 高性 能并行计算为核心的解决方案，培养学生的系统设计与开发能力； （支撑毕业要求 2、3、 5） 3. 了解大数据及云计算的研究热点和发展趋势。 （支撑毕业要求 12） 三、课程内容及基本要求 1 章 云计算与大数据基础 了解云计算的意义，了解云服务的定义和分类； 理解云存储、云桌面、云安全等云技术的技术架构和技术特点； 了解了解大数据的定义和大数据处理的基本流程，了解主要的大数据处理系统； 了解云计算与大数据的发展历程。 2 章 云计算与大数据的相关技术 了解云计算与大数据； 了解云计算与物联网； 掌握一致性哈希算法； 了解关系型数据库和非关系型数据库； 了解集群高速通信标准 InfiniBand ； 理解云计算大数据集群的自组织特性。 3 章 虚拟化技术 了解虚拟化技术的发展、优势和劣势及其分类； 掌握 VirtualBox ，了解 VMware Workstation 和 KVM 等常见虚拟化软件； 理解系统虚拟化，理解服务器虚拟化、桌面虚拟化和网络虚拟化。 4 章 集群系统基础 了解集群系统的基本概念和分类； 理解单一系统映射和 Beowulf 集群； 理解集群文件系统的概念； 掌握分布式系统中计算和数据的协作机制（重点）。 5 章 MPI —— 面向计算的高性能集群技术 掌握 Linux 操作系统基本操作； （重点） 了解 MPI 的定义、架构和特点； 掌握 MPICH 并行环境的建立方法； （重点、难点） 熟练掌握 MPI 分布式程序设计； （重点、难点） 掌握 MPI 消息组成和通信模式； （重点、难点） 掌握并行计算中的规约 Reduce 操作。（重点、难点） 6 章 Hadoop—— 分布式大数据系统 了解 Hadoop 发展历程； 掌握 HDFS 文件的基本结构和存储过程； 掌握 MapReduce 编程框架和基本工作过程。 实验一 linux 基本操作（ 2 学时） 实验内容 ： 在 PC 机上安装 linux 虚拟机； 在用户主目录下对文件进行操作和管理：复制一个文件、显示文件内容、查找指定内容、排序、文件比较、文件删除等。创建和删除子目录、改变和显示工作目录、列出和更改文件权限、链接文件等； 对 vi 编辑器进行基本操作。 基本要求 掌握虚拟机的安装； 熟悉 linux 图形化界面和命令窗口界面； 掌握 linux 中 cd、date、pwd 、cal、 who、clear、 passwd 等常用命令； 学习使用 vi 编辑器建立、编辑、显示及加工处理文本文件。 实验 2：在虚拟机环境下搭建 3 个节点的 MPI 集群（ 2 学时） 实验内容： 掌握 MPI 的运行原理，完成在传统计算机上，拥有 3个节点的虚拟集群系统搭建，安装配置 MPICH 并测试程序安装的正确性。 基本要求： 掌握 linux 下集群网络的配置； 掌握 NFS文件系统设置； 掌握 MPI 的安装及运行的基本命令。 实验 3：有消息传递功能的并行程序（ 2 学时） 实验内容： 掌握 MPI 中点对点的通信原理， 由其他进程通过 MPI 消息传递机制向 0进程发送 “Hello World ” 字符串数据，非 0 进程采用 MPI_Send() 函数发送数据， 0 进程通过循环语句分别通过 MPI_Recv() 函数接收来自其他进程的字符串数据。 基本要求： 理解 MPI 并行函数执行的具体过程； 掌握 MPI 编译和运行方法。 理解 MPI 中进程和总进程数的含