文本数据分析 功能实现.docVIP

Python数据分析 商务数据分析与应用专业教学资源库 功能实现 Python数据分析 商务数据分析与应用专业教学资源库 PAGE2 / 4 功能实现 功能实现 亢华爱 （北京信息职业技术学院） 摘 要：词云就是对网络文本中出现频率比较高的“关键词”予以视觉上的突岀，形成关键词渲染，从而过滤掉大量的文本信息，使得浏览网页的人一眼扫过文本就可以领略文本的主旨。 关键词：功能实现；lcnt()函数 功能实现 使用Pandas中read_csv()函数读取“商品评价信息.csv”文件，并转换成DataFrame对象进行展示，具体代码如下： 从输岀结果中可以看到，多条评价信息是没用的且重复的，所以，这里可以使用pandas中的drop_duplicates()方法删除重复的数据，具体代码如下： 通过比较两次输出的行数可以看到，后面输岀的数据明显减少了100多行。 删除完重复的数据后，计算机仍然不能分析出这件商品的好坏，这主要是因为文本的信息量是比较庞大的，我们需要对这些文本进行分词等预处理操作，以便统计词频。 前期采集的评价文本大多是中文的，使用NLTK库处理中文又比较麻烦，因此，这里换成用jieba分词工具对评价文本进行前期处理，不过需要保证数据是字符串类型的。在这里，我们可以通过lcnt()函数进行分词，该函数需要接收两个参数，第一个参数表示需要分词的字符串，cut_all参数