大模型能力技术培训PPT课件.pptxVIP

大模型能力技术培训

让数据智能像水电样简单;

语言模型发展历程

?上世纪90年代：语言模型出现，统计学方法，使用前面的词预测下一个词

?2003年：Bengio《ANeuralProbabilisticLanguageModel》，首度将深度学习思想融入语言模型

?2018年：Google提出Transformer神经网络架构，并通过大量文本训练理解语言规则和模式

大语言模型：包含百亿或更多参数的语言模型

?国外：GPT-3（175B）、GPT-4、PaLM（540B）、Galactica和LLaMA等

?国内：ChatGLM、文心一言、通义千问、讯飞星火等

?大语言模型和小语言模型（如GPT2）采用相似的架构和预训练任务，但是能力截然不同（涌现能力）

?涌现能力使得大语言模型只使用很少的样本就可以处理全新的任务

参考文献：/abs/2303.18223;

对技术领域的影响

?自然语言处理：理解和生成文本，意图理解、写文章、回答问题、翻译等等

?信息检索：智能检索，改进搜索引擎

?计算机视觉：文生图、多模态交互

对商业领域的影响

?AIAgent：数字人、个人智能助理、情感分析师、口