04 人工智能技术的觉醒-深度学习技术框架 02.pptxVIP

04人工智能技术的觉醒-深度学习技术框架021

本章目标理解Transformer的架构了解预训练大模型的使用方式了解深度学习在科研领域的应用重点难点2/59

引入计算机视觉领域的发展奠基时期揭示了视觉信息处理的神经机制。这一发现为后来的人工视觉系统设计提供了宝贵的灵感。效率优化与智能设计追求轻量化和自动化提高了模型的效率，大大降低了深度学习应用的门槛,为计算机视觉技术的普及奠定了基础。深度学习革命突破性进展与百花齐放，2012年AlexNet在ImageNet大规模视觉识别挑战赛中取得压倒性胜利，掀起了深度学习在计算机视觉领域的浪潮。1959-1970年代198920152015年后近年来，计算机视觉领域正经历着一场由Transformer架构引发的深刻变革。这一最初为自然语言处理设计的架构，正在彻底改变我们处理视觉数据的方式。变革中的现在Transformer时代的来临实用化探索阶段卷积神经网络的崛起，LeNet在手写数字识别任务中展现了卓越的性能，首次证明了深度学习在实际应用中的巨大潜力。ImageNet创始人-李飞飞3/59

引入自然语言领域的发展1950s-1980s早期规则基础阶段在自然语言处理的萌芽阶段,研究人员主要依靠手工编写的规则和语言学知识来处理自然语言。统计方法时代随着计算能力的提升和大规模语料库的出现，统计方法开始主导自然语言处理领域。1980s-2000s2000s-2013神经网络复兴随着深度学习技术的发展，神经网络方法在自然语言处理领域重新崭露头角。2014-2017递归神经网络时代递归神经网络(RNN)，特别是长短期记忆网络(LSTM)和门控循环单元(GRU)，在这一时期成为处理序列数据的主流方法。Transformer革命(2017年至今)2017年，Google研究团队提出的Transformer架构掀起了自然语言处理的新革命。4/59

引入自然语言领域技术革命计算机视觉领域技术革命Transformer革命5/59

Transformer

注意力机制7/59

注意力机制Attention深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，核心逻辑：就是“从关注全部到关注重点”核心目标：从众多信息中选择出对当前任务目标更关键的信息。本质思想：从大量信息中有选择地筛选出少量重要信息并聚焦到这些重要信息上，忽略不重要的信息。8/59

注意力机制9/59

自注意力机制VS10/59

Self-Attention机制不依赖于序列的顺序关系（如RNN的时间步骤），因此可以同时处理输入的所有位置。Self-Attention结构非常适合扩展到更深层次的网络，例如Transformer。Transformer模型通过堆叠多个自注意力层来增加表达能力，并且能在较少的训练步骤中获得显著的性能提升。在许多任务中，输入之间的相互关系并不总是线性或局部的。Self-Attention通过为每一对输入之间计算相似度，可以捕捉到复杂的全局依赖关系，而不仅仅是局部上下文。相比于递归方法，Self-Attention能够更好地处理任意长度的输入，因为每个位置的输出是通过与其他所有位置的加权求和得到的，避免了长时间依赖的梯度消失问题。相较于传统的卷积神经网络（CNN）或递归神经网络（RNN），Self-Attention能够直接捕捉长距离的依赖关系。捕捉复杂的相互关系平行性与灵活性易于扩展长程依赖建模并行计算能力强自注意力机制的优势自注意力机制11/59

编码器与解码器编码器与解码器在Transformer模型中，编码器（Encoder）和解码器（Decoder）是两个关键的组件，它们各自承担不同的功能，但相互依赖，共同完成任务，特别是在自然语言处理（NLP）中。12/59

编码器与解码器13/59

编码器与解码器14/59

编码器与解码器自注意力层:使模型能够关注输入序列的不同部分。前馈神经网络层:进一步处理信息。这一层接收自注意力层的输出，对每个位置的信息进行独立的深度处理。编码器与解码器15/59

Transformer的影响力并行处理能力长距离依赖建模可扩展性允许模型同时处理大量数据，大大提高了训练效率Transformer的结构易于扩展，可以通过增加层数、注意力头数等方式构建更大的模型能够捕捉文本中的长距离关系，提高了模型的理解能力16/59

Transformer的应用代表性模型-BertBERT是Transformer架构在自然语言处理领域的一个重要应用。BERT模型的核心是Transformer的编码器部分。自2018年问世以来，BERT因其出色的性能引起了学术界和工业界的广泛关注，推动了相关研究的快速发展。BERT17/59

Transformer的应用代表性模