GPT-3小样本语言学习模型.pptx

GPT-3：小样本语言学习模型GPT-3:LanguageModelsareFew-ShotLearnersBeijingJiaotongUniversity

背景引入什么是GPT？GPT(GenerativePre-trainedTransformer)是OpenAI公司发布的一种生成式预训练通用语言模型，具备多种自然语言任务处理能力，如机器翻译、问答系统、对话系统等。

背景引入GPT的前世今生Transformer4.5M训练数据2.1亿参数引用量：81KBERT10G训练数据3.4亿参数引用量：71KGPT-240G训练数据15亿参数引用