四、 文本数据处理 数据可视化 大数据典型应用同步学案 高中信息技术 必修1 数据与计算.docxVIP

四、文本数据处理/数据可视化/大数据典型应用

1.文本数据处理主要应用在搜索引擎、情报分析、自动摘要、自动校对、论文查重、文本分类、垃圾邮件过滤、机器翻译、自动应答等方面。

2.文本数据处理的一般过程

(1)典型的文本处理过程主要包括分词、特征提取、数据分析、结果呈现等。

(2)中文分词:将连续的字序列按照一定的规范重新组合成词序列的过程,也就是将一个汉字序列切分成一个个单独的词。常见的中文分词方法如下:

①基于词典的分词方法,也称为基于字符匹配的分词方法,即分析句子时与词典中的词语进行对比,词典中出现的就划分为词。常见的分词系统有jieba分词。

importjieba#引入jieba分词模块

text=文本数据处理的过程#定义文本

seg_list=jieba.cut(text,cut_all=True)

#全模式分词

print(全模式分词:+/.join(seg_list))

seg-list=jieba.cut(text)

#默认是精确模式分词

print(默认模式分词:+/.join(seg_list))

运行结果:

全模式分词:文本/本数/数据/数据处理/处理/的/过程

默认模式分词:文本/数据处理/的/过程

②基于统计的分词方法,依据上下文中相邻字出现的频率进行统计,同时出现的次数越多就越可能组成一个词。一般与基于词典的分词方法结合使用。

③基于规则