GPT系列：从2018到2022，语言模型进化与挑战.pdfVIP

他们在搞什么东西

预计每天产生450亿词

貌似每小时生成100W本书

以后我们所看,所读,所想还是真的吗

这还仅仅是2022年的GPT-3

（2022年每天生成的词量是2021年的10倍）

这哥们是真行，有微软在，啥都不是事

Openai老窝在爱荷华州，微软投资的数据

GPTVSHuman

GPT-3已经比人聪明了？那以后

这也会带来一些困扰和问题，偏见

语言模型在学咱们，但是分不清好赖话

斯坦福2022AI指数已经指出NLP偏见很大

万物皆可GPT

啥玩应？咱们要失业了？

但是世界不仅仅是GPT

GPT其实也只是冰山一角，2022年每4天就有一个大型模型问世

你可能会好奇，家里啥条件能训练这模型

训练这种级别的语言模型，真是可远观而不可亵玩焉

可以想象得到，光电费咱们可能都交不起

但这仅仅是GPT-3，现在NLP起步于此，GPT-4相信很快就会面世

时刻

2018年6月GPT-1：约5GB文本，1.17亿参数量

2019年2月GPT-2：约40GB文本，15亿参数量

2020年5月GPT-3：约45TB文本，1750亿参数量