人工智能基础及应用课件 模块二-任务二-自然语言理解的核心流程.pptxVIP

机器如何读懂人类的语言

自然语言理解的核心流程

自然语言处理是人工智能领域重要的研究方向,是机器语言和人类语言之间沟通的桥梁,从基础的文本预处理、词嵌入入手,逐步深入到句法分析、语义分析,并通过意图识别、文本生成,最终实现流畅自然的人机交互目标。

核心步骤

自然语言理解的核心流程

文本

预处理

词嵌入

句法

分析

语义

分析

文本

生成

自然语言处理始于对原始文本的清洗与标准化，

进而通过词嵌入、句法与语义分析，将其转化为机器可处理与理解的层次化表征。

这一核心流程最终旨在让机器精准捕捉语言的结构与含义，为后续的交互与应用奠定基础。

1.文本预处理

分词

把句子切成词语,将连续的文本序列划分为独立的词汇单元

去噪

删掉无意义词,去除文本中的无关信息或干扰因素

标准化

统一文本格式，将缩写语、口语、网络用语等统一表达口径

处理步骤

原句

处理结果

分词

我爱吃苹果。

我/爱/吃/苹果。

去噪

那个……我今天真的超级超级开心！

我今天真的超级开心！

标准化

BTW,这个例子不错。

顺便说一下,这个例子不错。

文本预处理将原始、杂乱无章的自然语言文本，转化为干净、规范、可供模型直接计算的标准化数据。

2.词嵌入

社交档案：词语的“档案号码”（向量）并非随机，而是由其上下文环境决定。

物以类聚：经常出现在相似语境中的词语（如“键盘”和“鼠标”），它们的向量在空间中的位置会非常接近。