《大数据技术综合实训2》课程教学大纲.docxVIP

《大数据技术综合实训2》教学大纲 一、课程基本 信息 课程名称 大数据技术综合实训 Comprehensive Actual Training Of Big Data Technology 课程编码 SCC320811030开课院部理学院 课程团队 数据科学团队 学分 3.0课内学时 3周|讲授|0实聆0上机 0|实践 3周课外学时0 适用专业 数据科学与大数据技术 授课语言 中文 先修课程 Python语言与实训、大数据技术基础实训 课程简介 （必修） 《大数据技术综合实训》是数据科学与大数据技术专业的一门必修课,通过本课程的实机操作,使学生掌握在本机与多台机器集群执 行Spark应用程序，并运用MLlih机器学习演算法进行数据处理、训练、建立模型、训练验证模型、预测结果。另外.以大数据实际案例 示范使用Spark ML Pipeline机器学习流程进行二元分类、多元分类、回归分析,将机器学习的每一个步骤建立成Pipel ine流程.通过 对Spark MLlib机器学习算法和应用案例的研究，进一步锻炼学生的动手能力.培养学生处理大数据问题的能力。 The Comprehensive Training of Big Data Technology is a compulsory course for the major of Data Science and Big Data Technology. Through the real-time operation of this course, students can master how to execute Spark application program with multiple machine clusters on their own, and use MLlib machine learning algorithm to process data, train, build mode 1s, train validation mode 1s and predict results. In addition, we use Spark MI. Pipeline machine learning process to carry out binary classification, multiple classification and regression analysis with large data examples, and build every step of machine learning into Pipeline process. Through the study of Spark MLlib machine learning algorithm and application cases, the students practical ability is further trained and their ability to deal with big data problems is trained. 负责人 大纲执笔人 审核人 二 课程目标 序号 代号 课程目标 0BE 毕业要月 R指标点 任务 自选 1 Ml 目标1 ：掌握在本机与多台机器集群执行Spark应用程序.系统掌握大数据技术的实验方法，培养学 生实践实验技能 是 3.2  2 M2 目标2 ：运用Spark YLlib和Spark ML Pipel ine机器学习流程进行二元分类、多元分类、回归分 析，能够量化分析问题，具备分析和建立大数据模型的能力 是 3.2, 4.2 3 M3 目标3：通过对Spark迎lib机器学习算法和应用案例的研究,进一步锻炼学生的团队协作能力，培 养创新精神.训练创新思维，培育创新创业实践能力、科学研究能力和技术开发能力 是 7. 2, 8. 1, 8.2 4 Ml 目标4 ：能保障课程正常秩序（政治层面、课堂保障层面.非学生能力层面） 否 三、il 程内容 序号 章节号 标题 课程内容/重难点 支撑课 程目标 课内 学时 教学方式 课外 学时 课外环节 1 第1章 第1章Spark的 介绍与安装 本章重点难点：不同模式下运行spark程序 / / 2 1. 1 1. 1 Spark的介绍 与安装 Spark的介绍与安装 Ml 0. 25 天 讲授、讨 论 / / 3 1.2 1. 2运行spark程 序与 Spark Web UI界面 本地运行spark程序、在Hadoop YARN运行spark、构建Spark Standalone Cluster 运行环境、在 Spark Standalone 运行 spark x Spark