数据挖掘论文：文本分类的属性选择与多标记转换方法研究.docVIP

数据挖掘论文：文本分类的属性选择与多标记转换方法研究 【中文摘要】随着信息技术的迅速发展和普及,文本信息呈现爆炸式增长趋势.海量的文本信息使人们迫切需要文本分类技术来节约人力与财力,提高分类效率.因此,文本分类技术成为一项目趋重要的研究课题.本文的研究是提升文本分类的效果.为了实现这个研究,本文从属性选择及多标记转换方法两个方面展开了深入的研究,取得了一些研究成果.首先,本文对文本分类问题所涉及到的分词处理、特征表示、特征提取、分类算法、性能评价等5个相关步骤进行了技术上的综述,并通过系统设计与实现阐述了文本分类的整个过程.在此研究基础上,对属性选择和多标记指派模型分别展开了深入的研究.其次,对于属性选择问题,通过研究和实验指出了现有属性选择算法的不足,利用限制文档分布率过滤了高频噪声词,并提出了将词频与文档频率相结合的综合评价策略.基于文档频率、信息增益、互信息、χ2估计法等属性选择方法,利用所提出的综合评价策略进行了改进,通过对比实验分别验证了使用所改进的4种属性选择方法比原始方法可以获得更好的分类效果.第三,多标记分类是文本分类领域中重要与复杂的问题.本文深入研究了多标记文本分类建模和学习方式,并对各种多标记转换方法进行了分析与比较,针... 【英文摘要】Textual data have been increased sharply with the rapid development of information technology. People have to save their manpower and financial resources by using text classification technology. Therefore, text classification research has become more and more important. The purpose of this paper is to enhance the performance of text classification. In order to achieve this goal, we choose two issues to study which are the feature selection and the transformation for multi-label textual data. We also achieve... 【关键词】数据挖掘 文本分类 属性选择 多标记文本 【英文关键词】Data Mining Text Classification Feature Selection Multi-label Document 【目录】文本分类的属性选择与多标记转换方法研究 致谢 5-6 摘要 6-7 ABSTRACT 7-8 1 引言 12-16 1.1 研究背景 12-13 1.2 研究意义 13-14 1.2.1 属性选择 13 1.2.2 多标记学习 13-14 1.3 本文主要研究工作 14 1.4 本文组织结构 14-16 2 文本分类相关技术 16-33 2.1 分词处理 17-20 2.1.1 词的界定 17-18 2.1.2 去除停用词 18 2.1.3 词干抽取 18 2.1.4 词语切分 18-19 2.1.5 分词工具 19-20 2.2 特征表示 20-23 2.2.1 特征表示模型 20-21 2.2.2 权值计算 21-23 2.2.3 不同权值计算方法的比较 23 2.3 特征提取 23-25 2.3.1 特征抽取 24 2.3.2 特征选择 24-25 2.4 分类算法 25-29 2.4.1 基于规则的方法 25 2.4.2 基于统计的方法 25-29 2.5 性能评价 29-32 2.5.1 正确率 29 2.5.2 召回率 29-30 2.5.3 F-测度值 30 2.5.4 微平均和宏平均 30-31 2.5.5 BEP测度值 31 2.5.6 11点平均正确率 31-32 2.6 本章小结 32-33 3 属性选择方法及改进 33-43 3.1 属性选择方法 33-36 3.1.1 文档频率 33-34 3.1.2 信息增益 34 3.1.3 交叉熵方法 34 3.1.4 互信息 34-35 3.1.5 χ~2估计 35 3.1.6 文本证据权 35-36 3.2 常见属性选择方法的分析及不足 36-37 3.2.1 属性选择方法分析与比较 36 3.2.2 现有方法的不足 36-37 3.3 对属性选择的改进 37-40 3.3.1 改进算法的整体思想 38-39 3.3.2 改进的文档频率法 39 3.3.3 改进的信息增益法 3