计算机行业GPT产业复盘（2021）：走向应用.pdfVIP

计算机 GPT 发展之20-21 ：参数量继续加大，应用于代码生成领域 20-21 年，GPT-3 模型参数量达到 1750 亿，并在代码生成领域成功应用。2019 年问世的 GPT-2，证明了更大的训练参数量和数据集能获得很好的训练结果，明确了GPT 发展的大 容量路线，并开始尝试泛化能力更强的zero-shot 学习（零次学习）。在此基础上，2020 年 5 月，OpenAI 发表论文《Language Models are Few-Shot Learners》推出GPT-3，将模 型参数量提高到1750 亿，达到GPT 系列模型的最大规模，训练数据集大小超570GB。此