大数据处理技术Spark-课程介绍-厦门大学数据库试验室.ppt

《大数据处理技术》 厦门大学计算机科学系 林子雨 ziyulin@ 《大数据处理技术》 厦门大学计算机科学系 林子雨 ziyulin@ 单击此处编辑母版标题样式 厦门大学计算机科学系 2017年版 林子雨 厦门大学计算机科学系 E-mail: ziyulin@ 主页：/linziyu Spark课程介绍（PPT版本号：2017年春季学期） 厦门大学研究生课程《大数据处理技术Spark》 温馨提示：编辑幻灯片母版，可以修改每页PPT的厦大校徽和底部文字 扫一扫访问班级主页 /post/7659/ 提纲 1.课程特色 2.教材介绍 3.内容提要 4.教学大纲 5.配套资源 6.班级介绍 附录A：主讲教师林子雨简介 附录B：《大数据技术原理与应用》教材 附录C：中国高校大数据课程公共服务平台 主讲教师 主讲教师：林子雨 中国高校首个“数字教师”提出者和建设者 2009年7月从事教师职业以来 累计免费网络发布超过100万字高价值教学和科研资料 网络浏览量超过100万次 数字教师LOGO 课程特色 开启Spark学习大门 扫除学习障碍，铺平学习道路 教材介绍 厦门大学林子雨编著《Spark入门教程》 免费在线访问 内容提要 Spark是当前热门的大数据处理技术 本课程重点介绍Spark的技术原理与编程方法 Spark支持采用Scala、Java、Python和R语言进行编程，本课程采用Scala语言编写Spark应用程序 课程内容包括Scala语言、Spark简介、安装、运行架构、RDD的设计与运行原理、部署模式、RDD编程、键值对RDD、数据读写、Spark SQL、Spark Streaming等 通过本课程的学习，将帮助学生形成基础的Spark应用程序编程能力，为学生使用Spark技术解决实际科研问题和未来从事大数据相关工作奠定基础 教学大纲 章（或节） 主要内容 学时安排 第1章 大数据技术概述 大数据的基本概念、关键技术和代表性软件 2 第2章 Scala语言基础 介绍Scala语言基础语法 4 第3章 Spark概述 Spark简介、安装、运行架构、RDD的设计与运行原理、部署模式 4 第4章 RDD编程 RDD编程、键值对RDD、数据读写 4 第5章 Spark SQL Spark SQL简介、DataFrame、读写Parquet、通过JDBC连接数据库、连接Hive读写数据 4 第6章 Spark Streaming 流计算简介、Spark Streaming简介、DStream操作 4 第7章 Spark MLlib Spark MLlib简介、spark.mllib库、spark.ml库 4 第8章 Spark集群 Spark集群环境搭建、在集群上运行Spark应用程序 2 第9章 Spark应用程序案例 Spark应用程序案例 4 合计 32 课程配套教学资源 扫一扫访问平台主页 /post/bigdata-teaching-platform/ 扫一扫观看3分钟FLASH动画宣传片 所有资料全部免费共享 支持电脑和手机浏览 课程配套教学资源 国内高校第一个大数据课程公共服务平台 为教师教学和学生学习大数据课程，提供全方位、一站式服务 平台所有资源全部通过网络免费共享（无需注册）、采用WORD和PPT可编辑格式 /post/bigdata-teaching-platform/ 课程配套教学资源 制作精美的平台宣传图册 课程配套教学资源——大数据课程学生服务站 学生服务站地址：/post/4331/ 扫一扫访问学生服务站 /post/xuanchuanpian/ 班级介绍 班级名称：《大数据处理技术》2017年春季学期班级 主讲教师：厦门大学计算机科学系 林子雨 博士/助理教授 班级网站：2017年春季学期班级/post/7659/ 上课时间地点：每周三晚上7点10分 两节课 厦门大学海韵教学楼107教室 期末成绩：平时成绩（30%）+笔试成绩（70%） 平时作业：上机实验，提交上机报告 助教：厦门大学计算机系2015级硕士研究生 阮榕城 同学 （E-mail: ruanrc@） （扫一扫手机访问班级主页） 附录：主讲教师林子雨简介 单位：厦门大学计算机科学系 E-mail: ziyulin@ 个人网页：/linziyu 数据库实