《自然语言处理》课件_新模板 第十一章 其他研究热点与发展趋势展望-已修正.pptxVIP

自然语言处理NaturalLanguageProcessing第十一章其他研究热点与发展趋势展望

目录背景介绍Contents1章节概述2小节介绍3本章总结4

背景介绍BACKGROUNDONE

背景介绍随着近年来人工智能技术的飞速发展，自然语言处理的发展趋势也可谓是“激流勇进”，但在迅猛发展的背后，技术的局限性也日益凸显。研究者们针对这些局限性也在积极探索并提出了不计其数的新方法和研究方向。

章节概述CHAPTEROVERVIEWTWO

章节概述超大规模预训练网络的基本原理及典型网络代表主流模型压缩方法模型剪枝模型量化模型蒸馏其他自然语言处理热门研究点多模态任务问答系统机器阅读理解

小节介绍SECTIONINTRODUCTIONTHREE

预训练技术，BERT，GPT-2超大规模预训练网络11.1模型压缩方法11.211.3多模态任务的举例与现状11、其他研究热点与发展趋势展望11.4其它热门的研究点模型剪枝，模型量化，模型蒸馏问答系统，机器阅读理解多模态学习，图像-文本多模态任务

11.1超大规模预训练网络预训练是通过设计好一个网络结构来做语言模型任务，然后把大量甚至是无穷尽的无标注自然语言文本利用起来，预训练任务把大量语言学知识抽取出来编码到网络结构中，在当前任务带有标注信息的数据有限时，这些先验的语言学特征会对当前任务有极大的特征补充作用。

11.1.1自然语言处理中的预训练技术发展史早期预训练技术词嵌入（WordEmbedding）下游任务e.g.QA单词（One-Hot）矩阵Q对应的词嵌入网络参数矩阵

11.1.1自然语言处理中的预训练技术发展史QA使用词嵌入的做法冻结微调词嵌入层网络参数固定不动词嵌入层参数跟着训练新训练集合训练更新效果不佳！无法解决多义词问题ELMo

11.1.1自然语言处理中的预训练技术发展史ELMo预训练过程：单词的WordEmbedding+双层双向LSTM网络结构“基于特征（融合）的预训练”缺点！使用LSTM作为特征抽取器特征提取能力远不如Transformer

11.1.1自然语言处理中的预训练技术发展史GenerativePre-Training（GPT）GPT第一阶段利用语言模型进行预训练通过微调的模式解决下游任务“基于微调的模式”第二阶段

11.1.2超大规模预训练网络介绍-BERTBERT（BidirectionalEncoderRepresentationfromTransformers）基于Transformer的双向编码器表示预训练方法的创新用了MaskedLM和NextSentencePrediction两种方法分别捕捉词语和句子级别的表征BERT模型结构

11.1.2超大规模预训练网络介绍-BERTBERT的Embedding组成词向量用于区别两种句子通过学习得到加mask的技巧训练过程中随机mask15%的token最终的损失函数只计算被mask掉的那个token第一步预训练做语言模型深度双向的模型第二步预训练让模型理解两个句子之间的联系

11.1.2超大规模预训练网络介绍-BERT其他任务的BERT参数调整Fine-tunning阶段

11.1.3主流超大规模预训练网络介绍-GPT-2GPT-21024个输入序列位置中的每一个都对应一个位置编码性能稳定、优异有着超大规模的在海量数据集上训练的基于Transformer的巨大模型模型与只带有解码器的Transformer模型类似可以处理最长1024个单词的序列GPT-2位置编码训练后的模型包含两个权值矩阵嵌入矩阵位置编码矩阵

11.1.3主流超大规模预训练网络介绍-GPT-2GPT-2中Transformer模块的处理方式每个Transformer模块的处理方式都是一样的，但每个模块都会维护自己的自注意力层和神经网络层中的权重通过自注意力层处理将其传递给神经网络层模块处理完单词后，将结果向量传入堆栈中的下一个Transformer模块，继续进行计算...最后一个Transformer模块产生输出后，模型会将输出的向量乘上嵌入矩阵得到词汇表中每个单词对应的注意力得分

预训练技术，BERT，GPT-2超大规模预训练网络11.1模型压缩方法11.211.3多模态任务的举例与现状11、其他研究热点与发展趋势展望11.4其它热门的研究点模型剪枝，模型量化，模型蒸馏问答系统，机器阅读理解多模态学习，图像-文本多模态任务

11.2模型压缩方法深度学习让自然语言处理任务的性能到达了一个前所未有的高度。但复杂的模型同时带来了高额的存储空间及计算资源消耗，使其较难落实到各个硬件平台。为了解决这些问题，需对模型进行模型压缩以最大限度地减小模型对计算空间和时间的消耗。

11.2.1