《自然语言处理》课件新模板 第二章 自然语言处理基础.pptxVIP

第二章自然语言处理基础

3

自然语言处理

NaturalLanguageProcessing

①章节概述

2小节介绍

本章总结

Contents

目录

)

3

章节概述

自然语言处理是机器语言和人类语言沟通的桥梁，简单来说，自然语言

处理所完成的工作是使计算机接受用户文本语言形式的输入，并在内部通

过人类所定义的算法进行加工、计算等系列操作，模拟人类对自然语言的

理解，并返回人类所期望的结果。

自然语言处理一般可分为语料库与语言知识库的获取、文本预处理、文本向量化表示、模型训练与预测四大步骤。其中语料库与语言知识库的获取、文本预处理、文本向量化表示为自然语言处理任务的基础工作，是本章即将重点介绍的内容，最后一步模型训练与预测依托于具体的自然语言处理任务，将在后续章节进行介绍。此外，自然语言处理开源工具库提供了很多用于文本分析、处理的接口，大大简化了自然语言处理的流程，这些工具库是学习自然语言处理和解决自然语言处理任务的基础工具，因此，本章还将对常用的自然语言工具库进行简要介绍。

语料库和语言知识库

数据清洗

文本预处理分词处理

特征过滤

One-Hot

BOw

文本表示

TF-IDF

Word2Vec

自然语言处理开源工具库

NLTK

StanfordCoreNLP

spaC