《深度学习》课程教学大纲、习题及答案第1、2章 吕云翔 .docx

《深度学习》课程教学大纲

课程代码：

课程名称：深度学习

开课学期：

学分/学时：3/48

课程类型：必修

适用专业/开课对象：

先修课程：

开课单位：

团队负责人： 责任教授：

执笔人： 核准院长：

一、课程的性质、目的与任务

《深度学习》是计算机科学与技术或软件工程专业中的一门深度学习基础课程，该课程以深度学习框架为基础，介绍了机器学习的基础知识与常用方法，以实例的方式学习机器学习操作的原理及其在深度学习框架下的实践步骤。主要内容包括深度学习基础知识、深度学习框架及其对比、机器学习基础知识、Logistic回归、神经网络基础、卷积神经网络与计算机视觉、神经网络与自然语言处理。并通过10个深度学习实例的学习，帮助学生更好的掌握深度学习知识，做到理论与实践相结合，方法与应用相结合。本课程除要求学生掌握以上深度学习知识，更重要的是要求学生掌握理论与实践结合的学习方式，为更深入地学习打下良好的基础。

二、教学内容及教学基本要求

1.深度学习简介（2学时）

了解计算机视觉的定义、基本任务和传统方法；了解仿生学与深度学习的关联；了解现代深度学习和卷积神经网络的基础知识；了解自然语言处理的基本问题和发展趋势；了解在自然语言处理中传统方法与神经网络方法的比较；了解强化学习的概念、算法和应用。

2.深度学习框架及其对比（2学时）

了解目前流行的深度学习框架PaddlePaddle、TensorFlow、PyTorch；了解PaddlePaddle的用途、特点和层及网络的概念；了解数据流图；了解TensorFlow的用途、特点和计算形式。了解PyTorch的用途、特点和相对于其他框架的优势；了解PaddlePaddle、TensorFlow、PyTorch三者的比较。

3.机器学习基础知识（4学时）

了解模型评估与模型参数选择；了解误差、训练误差、泛化误差的概念；了解模型的验证和正则化；了解监督学习与非监督学习；了解准确率的概念；了解不平衡类问题、召回率、精确率、查准率的定义和作用。

4.回归模型（4学时）

了解回归和回归模型；了解线性回归的概念；了解线性回归模型和平均平方误差函数；了解Logistic回归模型；掌握用PyTorch实现Logistic回归的方式，包括使用MultivariateNormal构造多元高斯分布、调用Linear实现线性模型、Sigmoid激活函数、BCELoss损失函数和使用optim包构建优化器等相关知识；掌握将Logistic回归模型可视化的方法。

5.神经网络基础（4学时）

了解神经元、输入、连接权值向量、偏置、激活函数、输出、神经网络、输入层、输出层、隐藏层、训练、监督训练、非监督训练的概念；了解感知器的概念，包括单层感知器和多层感知器；了解BP（后向传播）神经网络、梯度下降算法和后向传播算法；了解Dropout正则化技术；了解批标准化的实现方式和使用方法。

6.卷积神经网络和计算机视觉（8学时）

了解卷积神经网络的基本思想，包括全局连接、局部连接、参数共享；了解卷积操作，包括卷积、卷积层和卷积核的基本概念；了解卷积中使用多个卷积核、多通道卷积和边界填充等操作；了解池化和常见的池化类型；了解卷积神经网络；了解VGG、InceptionNet、ResNet等经典网络结构；了解使用PyTorch进行手写数字识别的过程。

7.神经网络与自然语言处理（8学时）

了解语言建模的基本形式；了解自然语言处理基于多层感知器的架构；了解自然语言处理基于循环神经网络的架构，包括循环单元、通过时间后向传播、带有门限的循环单元、循环神经网络语言模型和神经机器翻译的相关知识；了解自然语言处理基于卷积神经网络的架构；了解自然语言处理基于Transformer的架构，包括多头注意力、非参位置编码、编码器单元与解码器单元的相关知识；了解表示学习与预训练技术。

9.实验（16学时）

教学说明及教学基本要求见《深度学习》实验教学大纲。

三、教学方法

本课程教学方法以教师为主导的启发式讲授教学法为主，讨论（提问）式教学为辅，结合课外学习的教学方法。实验以学生动手实验为主，教师的启发式讲授教学法为辅，并结合讨论（提问）式教学，以及结合课外学习的教学方法。

1．本课程概念较多，因此教学形式以讲授方式为主。本课程拟采用多媒体PPT的教学方法，增加课堂信息，浅显通俗地对概念、定义和原理进行解释，增加教学的直观性，教学过程中注意各个知识点的关联性，以使学生更好地理解课程内容。

2．对课程中关键性概念、设计思想方面的问题可辅以课堂讨论的形式。

3．为加强和落实动手能力的培养，每章课后应安排作业，帮助学生学习和应用。

四、课内外教学环节及基本要求

本课程共48个学时，其中理论32个学时，讲授16周（每周2学时）；实