结合权重因子与特征向量的文本聚类研究与应用-计算机技术专业论文.docxVIP

Ab Abstract PAGE PAGE III methods by doing experiment which proved that the improved method has significantly improved the accuracy of the text clustering. 3、Finally, the improved text clustering algorithm which combined the weighting factors and feature vector is applied to find the hot spot of public opinion, made a detailed analysis and process arrangements on the specific application. The experiment results show that the improved method has great helpful for hot spot of public opinion and warning research. Key words: text clustering; weighting factor; feature vector; genetic K-means; genetic control factor ; public opinion 江西 江西理工大学硕士学位论文 目录 PAGE PAGE IV 目 录 摘 要 I Abstract II 第一章 绪 论 1 1.1 课题研究的背景及意义 1 1.2 研究现状与困难 2 1.2.1 国内外研究现状 2 1.2.2 面临的困难 2 1.3 本论文的主要工作和结构安排 4 1.3.1 本论文的主要研究内容 4 1.3.2 文章的结构安排 4 第二章 文本聚类相关技术概述 6 2.1 文本预处理 6 2.1.1 文本分词技术 7 2.1.2 去除停用词和低频词 8 2.1.3 同义词的并归 9 2.2 文本特征选择 9 2.2.1 特征选择方法 9 2.3 降维处理 11 2.4 文本聚类方法 11 2.5 聚类统计量和评估 12 2.5.1 统计量 12 2.5.2 聚类评估 13 2.6 聚类评价函数 14 2.6.1 F1-measue 指标 14 2.6.2 平均准确率 15 2.7 小结 15 PAGE PAGE VI 第三章 结合权重因子与特征向量改进的文本预处理方法 16 3.1 文本的表示方法 16 3.2 特征词权重的计算方法 17 3.3 文本相似度计算方法 18 3.4 改进的文本预处理方法 19 3.4.1 通过权重因子改进 TF-IDF 算法 19 3.4.2 根据特征向量修改表示方法 19 3.4.3 重构余弦相似度计算方法 20 3.4.4 聚类步骤及流程图 20 3.5 实验分析 21 3.5.1 特征词选取和测试环境 21 3.5.2 测试标准 22 3.5.3 实验过程 22 3.5.4 实验结果分析 23 3.6 小结 25 第四章 遗传控制因子改进的遗传 K 均值文本聚类算法 26 4.1 遗传 K-均值 26 4.1.1 K-均值 26 4.1.2 遗传算法 27 4.1.3 遗传 K-均值算法 28 4.2 GGKM 文本聚类算法 29 4.2.1 遗传控制因子(GCF) 30 4.2.2 适应度函数设计 31 4.2.3 GGKM 算法算子操作 31 4.2.4 准则函数设计与终止条件 33 4.2.5 GGKM 步骤及流程图 34 4.3 文本聚类方法实验 36 4.3.1 实验设计 36 4.3.2 评价标准和参数设置 36 4.3.3 降维处理 37 4.3.4 实验步骤与结果分析 37 4.4 小结 41 第五章 GGKM 在舆情热点发现的应用 42 5.1 舆情热点发现 42 5.1.1 舆情分析步骤 42 5.1.2 舆情热点发现与流程图 42 5.2 实验分析 43 5.2.1 实验介绍 43 5.2.2 结果分析 44 5.3 小结 45 第六章 结论与展望 46 参 考 文 献 47 致 谢 50 攻读学位期间的研究成果 51 第一 第一章 绪 论 PAGE PAGE 1 第一章 绪 论 1.1 课题研究的背景及意义 网络的出现给人们的生活带来了翻天覆地的变化，使人们进入了一个数字化时代，而 互联网已经成为影响我国社会经济发展、改变人们生活模式的关键行业。现在有越来越多 的人通过网络进行通信