文本数据挖掘与Python应用实验指导（8课时）.docx

实验一文本切分及特征词选择

一、实验目标?

掌握网络上中文数据信息采集的基本操作技能，掌握中文常用语料库与词典的使用。掌握中文文本分词算法，掌握利用TF-IDF算法提取关键词的方法。

实验内容

1、采集新浪新闻数据并把文本信息存储到.txt文件中；

2、利用现代汉语语料库进行汉语分词和词性自动标注，并进行文本的“词频统计”；

3、利用词典的词汇切分方法进行正向最大匹配、逆向最大匹配算法及双向匹配算法，比较几种分词方法的优劣；

4、给定阈值，利用TF-IDF公式提取关键词。

三、实验环境

Python3.5以上。

四、实验步骤

五、实验总结

实验二文本分类实验

一、实验目标?

掌握数据