自然语言处理的应用场景与基本流程王跃光98课件讲解.pptxVIP

自然语言处理的应用场景与基本流程主讲教师：王跃光

自然语言处理的应用场景0203自然语言处理的基本流程本讲小结01

03自然语言处理的应用场景01

自然语言处理的应用场景信息检索又称情报检索，是利用计算机系统从海量文档中找到符合用户需要的相关信息。1.信息检索机器翻译又称为自动翻译，是利用计算机将一种自然语言转换为另一种自然语言的过程。机器翻译是计算语言学的一个分支，是人工智能的终极目标之一，具有重要的科学研究价值。2.机器翻译

自然语言处理的应用场景3.文本分类文本分类又称文档分类或信息分类，其目的是利用计算机系统对大量的文档按照一定的标准进行分类。4.智能问答智能问答是指问答系统能以一问一答的形式，正确回答用户提出的问题。智能问答可以精确的定位用户所提问知识，通过与用户进行交互，为用户提供个性化的信息服务。5.信息过滤信息过滤是指信息过滤系统对网站信息发布、公众信息公开申请和网站留言等内容实现提交时的自动过滤处理。信息过滤技术目前主要用于信息安全防护、网络内容管理等。

自然语言处理的应用场景文摘是指能够全面准确地反映某一文献中心内容的简单连贯的短文，自动文摘则是指利用计算机自动地从原始文献中提取文摘。自动文摘主要应用于Web搜索引擎、问答系统的知识融合和舆情监督系统的热点与专题追踪。6.自动文摘信息抽取是指从文本中抽取出特定的事件或事实信息。7.信息抽取语音识别又称自动语音识别，是指对输入计算机的语音信号进行识别并转换成书面语言表示出来。8.语音识别

自然语言处理的应用场景自动校对是对文字拼写、用词、语法或文档格式等进行自动检查、校对和编排的过程。自动校对系统可应用于报刊、出版社、打字业等需要进行文本校对的行业。9.自动校队舆情分析是指根据特定问题的需要，对舆情进行深层次的思维加工和分析研究，得到相关结论的过程。舆情分析可以帮助分析哪些话题是目前的热点，分析传播路径以及发展趋势，对于不好的與论导向可以进行有效的控制。10.舆情分析

04自然语言处理的基本流程02

自然语言处理的基本流程中文自然语言处理流程包括语料获取、语料预处理、文本向量化、模型构建、模型训练和模型评价。在NLP之前，需要得到文本语料。一般可以通过利用已经建好的数据集、获取网上数据、与第三方合作等方式获得文本语料。1.语料获取首先去除数据中非文本部分，另外，文本数据中通常存在很多无用的部分，如爬取来的一些html代码、css标签和不需要用的标点符号等，这些都需要分步骤去除，一般包括中文分词、词性标注和去停用词。2.语料预处理

自然语言处理的基本流程数据经过预处理后，得到的基本上是干净的文本。但是无法直接把文本用于任务计算，需要通过某些处理手段，预先将文本量化为特征向量。3.文本向量化文本向量化后，根据文本分析的需求进行模型构建。过于复杂的模型往往反而不是最优的选择。自然语言处理中的使用的模型包括机器学习和深度学习两种。4.模型构建

自然语言处理的基本流程构建模型完成后，则进行模型训练。在模型训练的过程中要注意两个问题，一个是在训练集上表现很好，但在测试集上表现很差的过拟合问题，另一个是模型不能很好地拟合数据的欠拟合问题。同时，也要防止出现梯度消失和梯度爆炸问题。5.模型训练模型训练完成后，还需要对模型的效果进行评价。模型的评价指标主要有准确率、精确率、召回率、F1值、ROC曲线、AUC曲线等。针对不同类型的模型，所用的评价指标往往也不同。如分类模型常用的评价方法有准确率、精确率、AUC曲线等。同一种评价方法也往往适用于多种类的模型。6.模型评价

04本讲小结03

本讲小结本节主要介绍自然语言处理的应用场景与基本流程。首先介绍了自然语言处理常用的应用场景，包括信息检索、机器翻译、文本分类等。然后讲解了中文自然语言处理基本流程，包括语料获取、语料预处理、文本向量化、模型构建、模型训练和模型评价。

自然语言处理的应用场景与基本流程主讲教师：王跃光