《谈个P》第09季之AI大模型与PPT.pdf

PPT

第九季

AI大模型

与PPT

大模型101LLM

LLMs：LargeLanguageModels

大语言模型

语言模型简单说来，就是对人类的语言建立数学模型

本段参考：@JimmyWong的教程

这里关键的是数学模型，是数学公式不是逻辑框架，这个认知非常重要。

科学家们把语音识别问题当作人工智能问题和模式匹配问题

不，这是个通信问题！

他在IBM实验室工作期间，提出了基于统计的语音识别的框架，这个框架结构

对语音和语言处理有着深远的影响，它从根本上使得语音识别有实用的可能贾里尼克

最早提出语言模型概念的是大神贾里尼克，AI命运的齿轮开始转动……

传输过程中，一定会有信号损失，

女神…噢不…接收方收到的编码可能不一样，

此时就没法解码回原来的句子了。

编码解码

你吃了晚饭了吗「1001111011000…」

「100111101100000…」？？？？？？？？

根据香农现代通讯原理，通讯就是信道的无码…不对，是编码和解码……

「1001111011000…」

可能情况全部罗列出来不，这是个

是AI语法识别问题？

概率问题！

吃了晚饭了吗贾里尼克

你吃了饭了吗

你吃了晚饭了吗贾里尼克大神认为让计算机理解人类的语言，

不是像教人那样教它语法，而是最好能够让

你吃了晚饭了

计算机计算出哪一种可能的语句概率最大。

……

这种计算自然语言每个句子的概率的数学模型，就是语言模型，天才呀！

SLM统计语言模型PLM预训练语言模型

StatisticalLanguageModelPre-trainedLanguageModel

基于马尔可夫假设建立词语测模型，根据最使用大量文本数据来训练的自然语言处理模型，采用无监督

近的上下文预测下一个词，例如「你吃了」学习方法，因此不需要先标注数据或注明文本类型等信息。

后面按照概率，「饭」比「屎」概率更高各位可能听过的Transformer架构就是一种预训练语言模型

NLM神经网络语言模型LLM大语言模型

NeuralLanguageModelLargeLanguageModel

是一个用神经网络来训练模型，学习单词之间的可以理解为一个训练数据特别大的PLM，比如GPT-2只

关联性和概率关系。它能够利用大量的数据进行有1.5B参数，GPT-3则到了惊人175B，尽管只是拓展

深度学习，从而捕捉到词汇之间更加复杂的关系