《深度学习 》课件 第1章-绪论.pptx

单击此处添加文本单击此处添加文本第一章绪论1

目录|CONTENTS深度学习简介1深度学习发展历史2深度学习分类3度量指标42

深度学习简介13

深度学习定义深度学习是机器学习的重要分支，通过模拟神经元和复杂网络结构实现信息处理和学习。深度学习目标让机器像人类一样具备分析和学习能力，更接近人工智能的最初目标。1.1深度学习简介深度学习概览4

经典深度学习架构包括AlexNet、RNN、LSTM、GAN和Transformer，它们各自在图像、序列数据和生成模型等领域做出了重要贡献近二十年，深度学习因大数据、优化策略（如随机梯度下降、dropout）及GPU并行计算的突破，实现了快速发展深度学习的突破与进展20世纪50年代至80年代，深度学习逐步发展，从感知机到反向传播算法，为解决非线性分类铺平道路，但受限于计算能力深度学习早期探索51.1深度学习简介经典深度学习架构的诞生发展历程与突破

深度学习技术广泛应用于计算机视觉、自然语言处理和语音识别等领域，实现图像识别、机器翻译和声纹识别等功能深度学习的广泛应用深度学习迅猛发展，广泛应用于生物医学、无人驾驶等领域，未来将更成熟，赋能更多场景深度学习的跨领域应用1.1深度学习简介6深度学习的应用

1.1深度学习简介应用领域与价值7自然语言处理机器翻译、文本分类、命名实体识别、语义分析、文本生成语音识别声纹识别、语音转文本、语音合成其他领域生物医学、无人驾驶、工业自动化、智能家居计算机视觉图像分类、对象检测、语义分割、姿态估计、3D重建深度学习正在改变我们的生活方式

深度学习发展历史28

深度学习技术历程涵盖关键阶段，如神经网络早期发展、反向传播算法的提出、大数据时代的到来对深度学习的推动产业化应用进程从学术到产业，包括深度学习在图像识别、自然语言处理等领域的应用，以及在人工智能产品中的商业化进程1.2深度学习发展历史9

1943年，麦卡洛克和皮兹提出人工神经元模型，1958年Rosenblatt推出感知机算法，开启计算机模拟人脑的先河深度学习起源011982年，GeoffreyHinton提出反向传播算法，解决了非线性数据分类，引发第二次神经网络学习狂潮反向传播算法021982-1986年，RNN出现，但受限于记忆力短和梯度不稳定问题，未引起广泛关注循环神经网络031998年LSTM解决RNN的长序列问题，2014年GRU提出，参数更少，计算效率更高LSTM与GRU042006年，Hinton等人提出深度学习新方案，解决梯度消失，再次引发深度学习热潮深度学习复兴052012年AlexNet开启深度卷积网络新时代，后续各种CNN架构不断优化，2014年GAN创新生成式模型深度学习突破061.2.1深度学习技术的发展历史10

2017年，Transformer的出现彻底改变了NLP。Transformer是一类纯粹基于注意力机制的神经网络算法，其不使用循环网络或卷积。它由多头自注意力、残差连接、层归一化、全连接层和位置编码组成。在NLP各个下游任务上表现出非常优越的性能。目前，它也在改变着计算机视觉领域，并被用在机器翻译、文本摘要、语音识别、文本补全、文档搜索等多个下游任务上。1.2.1深度学习技术的发展历史11

1.2.1深度学习技术的发展历史12谷歌研究者将Transformer应用于图像识别，提出VisionTransformer（ViT），在计算机视觉基准测试中表现出色。VisionTransformers概述01大规模语言模型如GPT系列由OpenAI和DeepMind等开发，参数量庞大，性能持续提升，目前GPT-4在创造力和协作性上更进一步。大规模语言模型（LLM）03OpenAI的DALL·E2模型能根据文本生成高分辨率、逼真图像，引领视觉语言模型发展。视觉和语言模型02代码生成模型如OpenAICodex、DeepMindAlphaCode和MetaCodeLlama，是人工智能在编程领域的应用，能理解和生成代码，助力建设智能系统。代码生成模型04重要技术突破

01Transformer在图像领域应用谷歌研究者在2020年提出VisionTransformer，对图像块序列运行Transformer，实现在图像分类任务上的显著成果，展现出强大的并行性和缩放行为02VisionTransformer架构特点使用图像patch作为输入，结合Transformer的超强并行性和缩放能力，使VisionTransformer在多个计算机视觉基准测试中表现优异，成为Cifar-10上最先进的分类模型1.2.1深度学习技术的发展历史13(1)VisionTransformers

1.2.1深度学习技术的发展历史多模态模型发展视觉与