文本挖掘技术在短信息过滤中的应用研究的中期报告.docxVIP

文本挖掘技术在短信息过滤中的应用研究的中期报告

一、研究背景

随着社交媒体、即时通讯等网络应用的普及，人们日常生活中所接触到的信息种类变得越来越丰富和繁琐，这些信息中包含了很多垃圾信息或者不相关信息。如何Filter掉这些无用信息并提高信息的质量，已经成为信息处理领域中关注的重点问题之一。

二、研究目的

本研究旨在基于文本挖掘技术，研究如何快速和准确地过滤短文本信息中的垃圾信息和不相关信息，提高信息检索的效率和准确性。

三、研究方法

本研究将采用以下方法：

1.数据收集和预处理

在实验之前，我们将收集一定数量的短文本信息（如微博、短信等）和自己提供的人工标注数据集，在这些数据基础上，对文本数据进行预处理，包括分词、去除停用词（如“的”，“是”等）和对文本进行清洗等。

2.特征提取和选择

在预处理之后，我们将采用TF-IDF、Word2Vec、主题模型等多种特征提取方式，并使用奇异值分解、信息增益和卡方检验等多种特征选择方法，筛选出最具有辨别性的特征。

3.分类算法选择和模型训练

我们将采用SVM、朴素贝叶斯、逻辑回归等多种分类算法进行预测，选择最适合我们的数据的分类模型，并使用交叉验证等方式对模型进行评估和优化。

四、研究进展

1.数据收集和预处理

已经收集微博等短文本，预处理完成。

2.特征提取和选择

已经实现了TF-IDF和Word2Vec，正在实现主题模型。正在实现