人民大2024《人工智能与Python程序设计》课件（教材配套版）第14章-自然语言处理实践-1概述-文本表示.pdf

《人工智能与Python》—自然语言处理和语言模型

人工智能与Python程序设计教研组

什么是自然语言？

•语言是思维的载体，是人类交流思想、表达感情最自然、最直接、最

方便的工具

•自然语言（Naturallanguage）是人类社会发展过程中“自然”产生

的语言

–与“人工语言”相区别

自然语言处理

•自然语言处理（NaturalLanguageProcessing，NLP):

–使用计算方法进行语言数据的分析、理解、表示等自动化处理

自然语言处理是人工智能的比尔盖茨:“语言理解是人工

重要分支智能皇冠上的明珠。

常见自然语言处理任务与应用

•中文分词：

–输入：一段文本；输出：切词后的序列

常见自然语言处理任务与应用

•词性标注：

–输入：一段文本；输出：对文本中每个词的标注

部分标签含义

t时间

d副词

v普通动词

p介词

n普通名词

常见自然语言处理任务与应用

•机器翻译

–输入：源语言文本；输出：含义相同的目标语言文本

常见自然语言处理任务与应用

•文本分类

–输入：源语言文本；输出：对应的类别标签

常见自然语言处理任务与应用

•文本生成：

–输入：当前上下文；输出：一段适合于当前上下文的文本

RNN自动创作GPT-3自动创作

语言模型

•语言模型：通过计算方法刻画、建模语言规律

•我们主要关心语言模型的两个功能

–语言概率计算

–语言语义表示

语言模型

•我们主要关心语言模型的两个功能

–语言概率计算

•对于一个词序列，语言模型研究如何进行概率赋值

P(thestudentsopentheirbooks)=3e-4

P(thestudentsopentheirlaptops)=1e-4

P(thestudentsopentheirexams)=1e-7

P(thestudentsopentheirminds)=1e-6

•一个重要应用：文本生成（预测下一个词汇）

语言模型

•我们主要关心语言模型的两个功能

–语言语义表示

•对于一个词序列，语言模型研究如何进行语义