2025神经网络与深度学习.pptx

;;关于本课程;;;预备知识;;;推荐课程;推荐材料;;成绩（研究生）;人工智能;图灵测试;人工智能的研究领域;;如何开发一个人工智能系统？;What’stheRule?;;芒果机器学习;芒果机器学习;;;机器学习;语义鸿沟：人工智能的挑战之一;表示学习;什么是好的数据表示？;语义表示;;表示形式;词嵌入（WordEmbeddings）;表示学习与深度学习;传统的特征提取;;;深度学习的数学描述;;生物神经元;神经网络如何学习？;;人工神经网络;人工神经网络;神经网络;如果解决贡献度分配问题？;神经网络发展史;神经网络发展史;神经网络发展史;神经网络发展史;神经网络发展史;深度学习革命;;;课后作业;;;;神经网络;;生物神经元;人工神经元;激活函数的性质;常见激活函数;常见激活函数;常见激活函数;常见激活函数;;人工神经网络;网络结构;;网络结构;前馈网络;;;通用近似定理;应用到机器学习;;应用到机器学习;参数学习;梯度下降;如何计算梯度？;矩阵微积分;链式法则;;;;;;;自动微分;反向传播算法(自动微分的反向模式）;静态计算图和动态计算图;;Gettingstarted:30secondstoKeras;深度学习的三个步骤;;优化问题;优化问题;优化问题;课后练习;谢 谢;;全连接前馈神经网络;卷积神经网络;卷积;卷积;卷积;卷积;卷积扩展;卷积类型;;;二维卷积;卷积神经网络;;多个卷积核;;;;;卷积网络结构;;;;转置卷积/微步卷积;;;LeNet-5;;AlexNet;Inception网络;Inception模块v1;Inception模块v3;残差网络;;ResNet;Ngram特征与卷积;;;文本序列的卷积模型;CNN可视化：滤波器;;;;;;;;;;课后作业;谢 谢;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;参考资料;前馈网络;;有限状态自动机（FiniteAutomata）;;可计算问题;;如何给网络增加记忆能力？;非线性自回归模型;循环神经网络（RecurrentNeuralNetwork，RNN）;;;;循环神经网络;;;应用到机器学习;序列到类别;应用到机器学习;同步的序列到序列模式;同步的序列到序列模式;同步的序列到序列模式;应用到机器学习;learning;参数学习;梯度;;长程依赖问题;长程依赖问题;;;GatedRecurrentUnit,GRU;;;;;;;;;递归神经网络;递归神经网络;;;;;;;语言模型;;;作词机;;传统统计机器翻译;;;;DemoWebsite

VQA:Givenanimageandanaturallanguagequestionabouttheimage,thetaskistoprovideanaccuratenaturallanguageanswer;;对话系统;循环神经网络总结;课后作业;谢 谢;;内容;无监督学习（UnsupervisedLearning）;典型的无监督学习问题;为什么要无监督学习？;;;给定一组基向量?? = [????,···

,????]，将输入样本??表示为这些基向量的线性组合;;稀疏编码（SparseCoding）;训练过程;稀疏编码的优点;;;降噪自编码器;;概率密度估计;参数密度估计;参数密度估计;参数密度估计一般存在以下问题;;;核密度估计（KernelDensityEstimation）;;;;;;;教学内容;;;什么是机器学习？;机器学习的三要素;常见的机器学习问题;;学习准则;学习准则;最优化问题;梯度下降法（GradientDescent）;;;;机器学习=优化？;泛化错误;如何减少泛化错误？;正则化（regularization）;;;线性回归（LinearRegression）;;;;;经验风险最小化;结构风险最小化;;关于概率的一些基本概念;概率的一些基本概念;;概率的一些基本概念;;似然（Likelihood）;;线性回归中的似然函数;最大似然估计;;最大后验估计;;;一个例子：PolynomialCurveFitting;WhichDegreeofPolynomial?;ControllingOverfitting:Regularization;;;;;如何选择一个合适的模型？;模型选择：偏差与方差;PAC学习;样本复杂度;;常用的定理;常用的定理;常用的定理;归纳偏置(InductiveBias);课后作业;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;