理解大型语言模型(LLM)Ⅲ：T5.pptxVIP

理解大语言模型(LLM)Ⅲ：T5

1.1、迁移学习预训练！从无标记数据开始（与计算机视觉不同）通用“英语”知识

1.1、迁移学习

1.1、迁移学习

1.1、迁移学习

1.2、一个非常简短的上下文2017：AttentionIsAllYouNeed,无监督情感神经元2018年：ELMo、GPT-1、BERT双向性Transformer2019：RoBERTa、SpanBERT、ALBERT2020：T5

1.3、迁移学习：比较？很多研究??预训练目标未标记的数据集微调方法模型架构/规模?那么我们如何比较基准？

模型A有1B个参数，并使用来自BooksCorpus的100M预训练词模型B是由谷歌和他们的雄厚财力制造的！它有2B个参数，并使用了维基百科的200M预训练词 模型B在SuperGLUE上的表现比模型A更好维基百科在预训练方面是否比BooksCorpus更好？1.3、迁移学习：比较？

1.4、T5：基本思路文本到文本的转换transformer每项任务，一种格式！以前的尝试包括：问答语言建模跨度提取??但有局限性“[任务特定前缀]：[输入文本]”-“[输出文本]”

1.4、T5：基本思路

1.4、T5：基本思路GLUE和SuperGLUE分类；CNN/DailyMail摘要总结；SQuAD问答；WMT英语到德语、法语和罗马尼亚语翻译GLUE/SuperGLUE：句子可接受性判断、情感分析、同义词替换/句子相似度、自然语言推理、核心参考决议、句子完成、单词意义歧义、问题回答法语：高资源，罗马尼亚语：低资源每个任务的单独微调

1.5、一些任务回顾：SQuAD、GLUE基准CoLA（GLUE）：句子可接受性输入：句子，输出：标签“可接受”或“不可接受”例如：“课程跳得很好。”-不可接受STS-B（GLUE）：句子相似度输入：一对句子，输出：相似度分数[1,5] 例如：“句子1：犀牛在吃草。句子2：一只犀牛正在吃草。”-3.8

1.5、一些任务COPA（SuperGLUE）：因果推理输入：前提和2个备选方案，输出：备选方案1或备选方案2例如：“前提：我倾斜了瓶子。结果是什么？ 备选方案1：瓶子里的液体结冰了。 备选方案2：瓶子里的液体流出来了。”-备选方案2ReCoRD/MultiRC（SuperGLUE）：问题回答/阅读理解

1.6、输入/输出【任务特定前缀】：【输入文本】EnDe（翻译）：“将英语翻译成德语：Thatisgood.”-“Dasistgut”CNNDM（摘要）：“总结：国家当局派遣?”-“六人因风暴住院”

1.6、输入/输出【任务特定前缀】：【输入文本】CoLA（GLUE；分类）：“可接受性句子：课程进展顺利。”-“不可接受”STS-B（GLUE；回归）：“相似度句子1：犀牛在吃草。句子2：犀牛正在吃草。”-“3.8”

1.7、T5模型编码器-解码器模型基线尺寸：两个BERTBASE大小的堆来自“AttentionIsAllYouNeed”的结构不同的位置嵌入方案

1.7、T5模型

1.8、C4：数据巨量清洁语料库网页提取文本仅英语（语言检测）750GB20TB到750GB？数据都去哪儿了？

1.8、C4：数据保留：带有终端标点符号的句子至少有5个句子的页面，至少有3个单词的句子去重三个句子跨度删除：与Javascript相关的引用占位符代码

1.8、C4：数据

1.8、C4：数据

1.8、C4：数据750GB？那是什么意思？

1.9、词汇32,000个单词在输入和输出之间共享预训练是英语，但微调包括德语、法语和罗马尼亚语训练好的SentencePiece模型10：1：1：1英语：德语：法语：罗马尼亚语可以处理固定的一组语言

1.10、mT5mC4：涵盖101种语言的通用爬虫数据集！只有行长度过滤器，没有标点符号过滤器如何跨语言采样？在低资源语言上进行训练，而不发生过拟合与T5类似的架构XTREME多语言基准测试的6项任务蕴含、阅读理解、NER、同义词识别非法预测（XQuAD）

1.11、实验即使是谷歌也有预算??非组合的标准偏差仅适用于基线34B预训练词（远远少于BERT！）带预热的反平方根学习率计划基于验证集上的结果

1.12、基线目标

1.13、工作流程

1.14、基线性能粗体分数在给定实验的最佳分数的两个标准差内

1.14、基线性能GLUE/SuperGLUE是一组任务，包括CoLA、STS-B等。CNNDM是一个摘要任务EnDe/EnFr/EnRo是翻译任务

结构预训练目标预训练数据集预训练规模多任务训练1.15、预训练和微调的决策维度通过改变某一方面，同时保持预训练的其他方面不变，来理解该方