大数据-文本聚类组2.pdfVIP

文本聚类汇报

汇报人：欧林堉韩文轩钱驰骋王博为胡玉麟

导师：张华平

时间：2022/4/17

目1文本聚类概述

录

|

2文本预处理和文本表示

C

O

N

3文本聚类

T

E4前沿进展

N

T

S

5Demo展示

1文本聚类概述

1概述——基本概念

聚类：根据数据的不同特征,将其划分为不同的数据

类。

44

1概述——基本概念

文本聚类：把相似度高的文本聚到一类，相似度低的

文本分到不同的类。

例如：同为小说的《复活》和《战争与和平》相似度应该较

高。而《工科数学分析》和《红与黑》的相似度应该较低。

55

1聚类——聚类的发展

聚类算法是最早被用于模式识别及数据挖掘任务的方法之一，

并且被用来研究各种应用中的大数据库，因此如今用于大数据的聚

类算法受到越来越多的关注。

66

1文本聚类与文本分类

文本聚类文本分类

文本聚类是一种无监督学文本分类是一种监督学习，

习，数据不带标签。将相数据带有标签，应用场景

似的文本分为同一“簇”。评论情感分析，新闻极性

文本聚类比较适合用于大分析，新闻分类等等。

数据中热点话题或事件的

发现。

77

1

1概述——应用场景

数字图书馆服务文章推荐

通过SOM神经网络等方法，可以将发现用户的兴趣模式并用于信息过滤和

高维空间的文档拓扑保序地映射到信息主动推荐等服务

二维空间，使得聚类结果可视化。

热点追踪其他

与文本分类不同，文本聚类不需要知搜索引擎联想功能，相关资源推荐推

道每个类别是什么，更适合网络热点荐，改善文本分类的结果。

追踪。

88

1概述——应用场景

多文档自动文摘：Newsblaster：