利用Python对自然语言进行简单处理.pdfVIP

利用Python对自然语言进行简单处理

作者：刘家岐

来源：《现代商贸工业》2019年第07期

摘要：随着人工智能的发展，人们逐渐开始利用编程语言来实现对于自然语言的处理，在

现实生活中，这一发展也有着广阔的应用前景。但是，受制于编程语言的局限性，对于自然语

言的处理也只是在较为简单的阶段。因此介绍利用Python代码来对自然语言进行处理的简单

步骤及相关知识。

关键词：自然语言处理;Python

中图分类号：G4文献标识码：Adoi：10.19311/j.cnki.1672-3198.2019.07.085

在日常生活中，聊天机器人的应用已经十分普遍，例如可以自动回复的聊天客服机器人。

但是，在大多数情况下，这些聊天机器人只能处理简单的文字或符号，有些聊天机器人甚至需

要要求使用者输入特定的语言或符号，才能对其进行处理。在使用Python相关代码进行构建

的情况下，聊天机器人便可以对自然语言的文本进行处理，包括对单词进行分类，统计特定文

字或单词的使用率，以及找出文本与作者或年代的联系。由于相关领域还处于发展阶段，所以

Python代码目前主要实现对于英文文本的处理。

利用1Python语言实现对于文本的简单处理

在Python中，对于文本的处理是基于变量的。但是，不同于一般的程序，在处理自然语

言文本时，变量变为了单词，词组，甚至可以是一个句子。编写相关代码，便可以对文本变量

进行处理。

利用1.1Python函数

在Python中，有很多程序自带的函数可以对文本变量进行处理。与对于其他变量的处理

相同，可以自行输入单词和文本。每个单词可以看作一个单一的变量，除了输入单一的单词之

外，还可以输入文本，将以类似于字符串的形式储存。在输入文本之后，Python自带的函数可

以完成对于单个单词长度的统计，即单词的字母数量，以及文本中特定单词的搜索和统计。除

此之外，多个以字符串形式储存的文本还可以进行合并，对于单个文本可以进行对于特定单词

的搜索和文本词数的统计。

对于文1.2本的延伸处理

除了对于文本中特定的单词进行搜索和整体次数的统计，我们还可以对于文本进行其他处

理，获取其他关于文本的数据，从而丰富我们对于文本的了解。首先，可以对文本中特定单词

的使用情况进行统计，从而获得不同单词的使用频率。依据此数据，我们可以了解不同单词的

使用情况，从而获得文本的用词特点，分析出作者的写作习惯。其次，利用编程语言中简单的

分支结构，可以对文本中每个单词进行判断。例如，筛选出文本中所有长度大于某个值的单

词，并进行计数，我们便可以判断出文本的难易程度，并可以以这个数据为基础，对文本的难

易程度进行量化。除此之外，我们还可以利用Python中自带的collocation函数，对于文本中

的词组进行提取，从而对文本进行进一步分析，也可以得出作者的习作习惯。

对文本进行简化处理1.3

在文本中，除了单词之外，标点和数字也是文本的组成部分。但是，在大部分情况下，我

们只需要对文本中的单词进行分析，所以我们需要获得纯文本来帮助我们更好地进行相关处

理。除此之外，在某些情况下，我们只需要对文本中较长的单词进行处理，来了解作者的写作

习惯和用词倾向。在这种情况下，我们可以设置一个合适的单词长度，并以此作为标准对文本

进行筛选。

获得字数2较多的文本（语料库）

虽然在Python程序中，我们可以通过手动输入来输入单词和文本，但是在需要输入文字

较多的文本，甚至获得一个语料库时，这个方法很明显将不再适用，所以我们需要新的方法来

获取字数较多，更为复杂的文本。

2.1Python程序中自带的语料库

在Python中，有一些自带的文本可以輕松获取，这些语料库中的文本可以用于试验新的

代码，并且为初学者提供了素材。其中，Python自带的语料库包括：gutenbergcorpus，web

andchattext，browncorpus，reuterscorpus，inauguraladdresscorpus和annotatedtextcorpus。

除此之外，Python还自带一些其他语言的语料库，包含超过300种不同的语言。

语2.2料库的不同结构

不同的语料库有着不同的结构。最简单的语料库是文本的集合，没有特殊的结构，Python

中自带的gutenbergcorpus和webandcha