数据科学技术与应用——基于Python实现（第2版）课件 7-文本数据处理.pdf

文本数据处理

7.1文本数据

•互联网发展形成的网络数据呈现爆发性增长

•数据80%以文本形式存放

•如何从海量文档中快速发现并利用所需的知识？

•成为人工智能的热点研究应用方向

文本处理常见任务（1）

•任务1：文本分类•任务2：信息检索

•目标•目标

•按照一定的分类体系，将文档判别•将信息（这里指代文本）按一定的

为预定的若干类中某一类或某几类方式组织起来，根据用户的需求将

•典型应用相关信息查找出来

•垃圾邮件/短信分类•典型应用

•新闻分类•搜索引擎（谷歌、百度）

•网页分类

•情感分析

文本处理常见任务（2）

•任务3：信息抽取•任务4：自动问答

•目标•目标

•将文本中包含的结构化或非结构•用准确、简洁的自然语言回答用

化的信息抽取出来，组织成类似户以文本形式提出的问题

表格的形式•典型应用

•典型应用•问答机器人

•命名实体识别

•关系抽取

创始人

任正非创办了华为公司

人物公司

文本处理常见任务（3）

•任务5：机器翻译

•目标

•一种自然语言文本自动转换为另一种自然语言文本

•典型应用

•翻译软件

•谷歌翻译

•百度翻译

•有道翻译

•任务6：自动摘要

•目标

•从一份或多份文本中提取出来部分文字，它包含了原文本中的重要信息，

且长度不超过或远少于原文本的一半

•典型应用

•搜索引擎

文本处理的基本步骤

文本采集文本预处理

文本分词去停用词

文本提取

与整理

词性标注样本标注

序列建模分析特征提取与特征选择

序列分类序列标注选择特征

序列-序列学习……特征提取

7.2中文文本处理

•英文文本处理工具相对比较成熟

•常用：Python的NLTK、工业级Spacy等

•提供多