人工智能与创新：语言模型及应用.pptxVIP

语言模型、Transformer网络和大预言模型《人工智能与创新》——AI基础篇

语言模型LM语言模型LM（LanguageModel）是自然语言处理领域NLP（NaturalLanguageProcessing）用于理解人类自然语言的模型。你在手机上打字，当你输入“我喜欢吃”时，手机的输入法会自动推荐下一个词。如，苹果。香蕉等。当你对着智能音箱说“小度，今天天气怎么样？”时，如果它听到“今天”，会提示后面可能是询问天气或其他相关信息的词语。当你使用在线翻译工具，如果你输入“你好吗？”，翻译工具会输出“Howareyou?”。

语言模型LM语言模型是通过训练大量的文本数据，学会了语言的结构和用法，从而能够理解和生成连贯的文本。具体的做法：把句子拆解成一个个的片段，一个片段被称为一个Token。语言模型会根据上下文，逐渐计算出每一个单词的概率。然后把这些概率相乘，就得到了整个句子的概率例如，Theanimaldidntcrossthestreetbecauseitwastootired每一个单词被划分为一个Token：The|animal|didnt|cross|the|street|because|it|was|too|tiredP(The)表示下一个单词是The的概率P(animal|The)表示Th