深度学习与人工智能前沿技术.pptx

新工科信息技术基础系列规划教材刘鹏主编张玉宏副主编人工智能

第六章人工智能前沿6.1深度学习的形成过程6.2深度学习基本方法6.3深度学习中的正则化6.4深度学习中的优化新工科信息技术基础系列规划教材of3126.5深度学习的软硬件实现习题

6.1深度学习形成过程第六章深度学习的形成过程of313McCulloch-PittsModelofNeuron1943工作原理：模拟了人脑神经元，采用线性加权求和的方式来模拟不同强弱的生物信号的传递。求和的结果经过一个阈值函数（激活函数）得到0或1的输出，对应了人脑神经元的兴奋和抑制。特点：M-P模型虽然用数学的方式模拟出了神经元的功能结构，但却缺少一个参数学习机制。

of314特点：不同于M-P模型，感知器模型可以从样例中学习，并采用梯度下降法自动更新参数。缺陷：感知机只能解决线性可分问题，无法解决“异或”这种线性不可分问题。1．感知机6.1深度学习形成过程第六章深度学习的形成过程

of315背景：1986年，适用于多层感知器（MLP）的反向传播（BP）算法被提出。BP网络实质：使用BP算法进行训练的多层前馈神经网络。缺陷：BP算法在1991年被指出存在“梯度消失”问题。2．BP神经网络6.1深度学习形成过程第六章深度学习的形成过程

of3163