四、 文本数据处理 数据可视化 大数据典型应用同步学案 课件 高中信息技术 必修1 数据与计算.pptxVIP

;;1.文本数据处理主要应用在搜索引擎、情报分析、自动摘要、自动校对、论文查重、文本分类、垃圾邮件过滤、机器翻译、自动应答等方面。

2.文本数据处理的一般过程

(1)典型的文本处理过程主要包括分词、特征提取、数据分析、结果呈现等。

(2)中文分词:将连续的字序列按照一定的规范重新组合成词序列的过程,也就是将一个汉字序列切分成一个个单独的词。常见的中文分词方法如下:

①基于词典的分词方法,也称为基于字符匹配的分词方法,即分析句子时与词典中的词语进行对比,词典中出现的就划分为词。常见的分词系统有jieba分词。;importjieba#引入jieba分词模块

text=文本数据处理的过程#定义文本

seg_list=jieba.cut(text,cut_all=True);②基于统计的分词方法,依据上下文中相邻字出现的频率进行统计,同时出现的次数越多就越可能组成一个词。一般与基于词典的分词方法结合使用。

③基于规则的分词方法,让计算机模拟人的理解方式,根据大量的现有资料和规则进行学习,达到对文字进行分词的效果。这种分词方法目前还处于试验阶段。

(3)特征提取

①特征词:在中文文本分析中可以采用字、词或短语作为表示文本的特征项。目前,大多数中文文本分析都采用词作为特征项,这种词被称为特征词。通常可直接用分词算法和词频统计得出的结果作为特征词。

②