自然语言处理流程.pdfVIP

1、文本挖掘主要内容

存储信息使用最多的是文本，文本挖掘被认为比数据挖掘具有更高的商

业潜力，当数据挖掘的对象完全由文本这种数据类型组成时，这个过程就称

为文本数据挖掘。

文本分类及情感分析

文本分类指按照预先定义的主题类别，为文档集合中的每个文档确定一

个类别。需要训练集训练分类器，然后应用于测试集。主要有朴素贝叶斯分

类、决策树等。情感分析是近年来国内外的研究热点，是基于计算机整理、

分析相关评价信息，对带有感情色彩的的主观性文本进展分析、处理和归纳。

情感分析包括情感分类、观点抽取、观点问答等。

文本聚类

聚类与分类的不同之处在于，聚类没有预先定义好的一局部文档的类

别，它的目的是将文档集合分成假设干个簇，要求同一簇内文档内容的相似

度尽可能的大，而不同簇之间的相似度尽可能的小。

文本构造分析

其目的是为了更好地理解文本的主题思想，理解文本表达的内容以及采

用的方式，最终结果是建立文本的逻辑构造，即文本构造树，根结点是文本

主题，依次为层次和段落。

1.4Web文本数据挖掘

在Web迅猛开展的同时，不能无视“信息爆炸〞的问题，即信息极大

丰富而知识相对匮乏。据估计，Web已经开展成为拥有3亿个页面的分布

式信息空间，而且这个数字仍以每4-6个月翻1倍的速度增加，在这些大量、

异质的Web信息资源中，蕴含着具有宏大潜在价值的知识。Web文本挖掘

可以构建社交复杂网络、用户标签、网络舆情分析等

2、自然语言处理流程

2.1获取原始文本

文本最重要的来源无疑是网络。我们要把网络中的文本获取形成一个文

本数据库(数据集)。利用一个爬虫抓取到网络中的信息。爬取的策略有广度

和深度爬取；根据用户的需求，爬虫可以有主题爬虫和通用爬虫之分。

2HTML数据

2.1.2RSS订阅源

博客是文本的重要来源，无论是正式的还是非正式的。通过UniversalFeed

Parser第三方库可以访问博客的内容。

2本地文件

对文本进展预处理

.1文本编码格式

1.decodeearly；2.unicodeeverywhere；3.encodelater。详细见Python2.X编

码问题汇总

2.1.2文本形式匹配

Python自带的一些方法就能完成一局部字符检测工作，例如endswith(ly‘’)

可以找到〞ly〞结尾的词。然而，正那么表达式提出了一个更强大、更灵敏的字

符匹配形式。

2.1.3标准化文本

〔1〕通过lower()将文本标准化为小写，即可忽略〞The〞和〞the〞的区别

〔2〕词干提取：nltk提供Porter和Lancaster词干提取器，按照内嵌的规那么剥

离词缀。如下例，Porter能将lying正确地映射为lie，而Lancaster就没处理好。

〔3〕词性归并：注重词性的统一，而不考虑词缀。如下例，将〞women〞转换

为〞woman〞。

〔4〕非标准词的标准：包括数字，缩写，日期等从非标准格式映射为标准格式。

分词

经过上面的步骤，我们会得到比拟干净的素材。但是，文本中起到关键

作用的是一些词，甚至主要词就能起到决定文本取向。

英文分词有nltk提供的tokenize()

中文分词，出现了很多分词的算法，有最大匹配法、最优匹配法、机械

匹配法、逆向匹配法、双向匹配法等。

中科院张华平博士研发的分词工具ICTCLAS，该算法经过众多科学家的

认定是当今中文分词中最好的，并且支持用户自定义词典，参加词典；对新

词，人名，地名等的发现也具有良好的效果。

Jieba分词工具：支持繁体分词；支持自定义词典

支持三种分词形式：1.准确形式，试图将句子最准确地切开，合适文本

分析；2.全形式，把句子中所有的可以成词的词语都扫描出来，速度非常快，

但是不能解决歧义；3.搜索引擎形式，在准确形式的根底上，对长词再次切

分，进步召回率，合适用于搜索引擎分词。

阿里分词工具。

去除停顿词

英文停顿词内嵌在nltk中

中文停顿词比方句号，显然句号对意思的表达没有什么效果。还有是、

“的〞等词。因为这些词在所有的文章中都大量存在，并不能反响出文本的意思，

可以处理掉。当然针对不同的应用还有很多其他词性也是可以去掉的，比方形容

词等。

特征选择

经过上面的步骤，我们根本可以得到有意义的一些词。