基于文本数挖掘的硕士论文分类技术.docVIP

　　1分类方法的选取 　　1.1硕士论文数据的特点 　　研究生学位论文的摘要和关键词是高度非结构 化的文本数据，具有5个特点:文档特征提取时有大 量的候选特征、特征语义相关、特征存在多义和同义现象特征分布稀疏、基本线性可分。 　　1.2支持向量机方法在硕士论文自动分类中的优势 支持向量机以统计学习理论为基础，采用结构 风险最小化准则设计学习机器，较好地解决了非线性、高维数、局部极小点等问题。支持向量机在本文讨论的问题中具有以下特点和优势：1)支持向 量机具有坚实的理论基础和严格的推证过程，是针 对小样本空间进行优化的算法;2)支持向量机采用 结构风险最小化准则设计学习机器，折衷考虑经验 风险和置信范围;3)对于非线性问题，通过非线性 变换转换到高维的特征空间，在高维空间中构造线性判别函数来实现原空间中的非线性判别函数，巧 妙地解决了维数问题;4)支持向量机算法归结为一 个凸二次规划问题，从理论上说，得到的解将是全局 最优解;5)支持向量机通过学习，选择出只占训练 样本集中部分的支持向量;6)少数支持向量决定了 最终结果，这不但可以帮助我们抓住关键样本、“剔 除”大量冗余样本，而且注定了该方法不但算法简 单，而且具有较好的“鲁棒”性;7 )支持向量机参数 的选择影响着支持向量机的性能。 　　2硕士论文挖掘的过程 　　如图1所示，用支持向量机进行文本分类主要 分为4个过程：1)文本预处理;2)文本表示;3)特征 选择;4)吏用训练集训练文本分类器并对分类器分 类效果进行评估。对收集的文本进行标注，并把标 注好的文本集合分成2部分，一部分作为训练集并 利用分类算法训练分类器，使得分类器能尽量识别 特定类别的文本特征[ 另一部分作为测试集来测 试己被训练的分类器的效果。我们可以按一定的规 则划分训练集和测试集并不断的训练分类器，不断地对分类器进行评估。直到分类器达到我们要求的 效果，比如较高的准确率。 　　2 1实验数据的收集与打标 　　本文的训练集和测试集来源于1999-2008中国 优秀博硕学位论文库。同时收集了某高校计算机专业最近几年的硕士论文相关数据，用来分析和统计， 以便供科学研宄者和管理者参考。结合三级学科目录和某校学科建设规划，本文将计算机学科分为8 个研宄方向:多媒体应用技术、基于网络的计算机应 用技术、计算机仿真、计算机决策支持系统、计算机 图形图像处理、计算机信息管理系统、人工智能、信息安全。 　　从中国优秀博硕学位论文库中随机下载2 000 篇左右的博硕士论文，提取出每篇论文的中文摘 要和关键词，以.TXT文件的形式保存。人工打标 方式将其分到各个研宄方向中：多媒体应用技术 190篇、基于网络的计算机应用技术541篇、计算 机仿真246篇、计算机决策支持系统236篇、计算 机图形图象处理197篇、计算机信息管理系统183 篇、人工智能224篇、信息安全181篇。收集的某 高校计算机专业最近几年的硕士论文相关数据 450篇：02级45篇硕士论文，03级71篇硕士论 文，04级99篇硕士论文，05级94篇硕士论文，06 级141篇硕士论文。这些数据不参与打标，用来实现自动分类和分析。 　　2 2数据预处理 　　本文研宄对象是中文文本数据，只有当由单个 汉字组成的句子转化成词之后，才能进行文本表示，所以我们需要对中文文本进行分词。本文使用中科 院计算所项目“汉语词法分析系统ICTCLAS”，在此 表示感谢。在对文本进行分词后，文本就变成了词 集，但是词集中有很多虚词等在文章中仅起到结构作用，另外还有一些词在整个数据集中出现频率高 而在每篇文档中出现概率大致相等的词，对分类来 说作用不大，我们把这些词合称为停用词[ 对于 这些词，应该从特征集中去掉。停用词的选取对分类结果准确率有较大影响。 　　2. 3文本表示 　　对训练文档、待分类文档要做的第一件事就是 将它们从一个无结构的原始文本表示为结构化的可 处理的信息，然后才有可能对这些信息进行分析和处理。目前，在信息处理中，文本有向量空间模型、 语义网络、框架模型等表示方法。其中，向量空间模 型得到了广泛的应用。本文采用的是向量空间模型 来进行文本表示。 　　2 4特征选取 　　本文研宄的数据的特征是无结构化，当用特征向量对文档进行表示的时候，特征向量通常会达到几万维。所以必需降低特征空间的维数，提高分类 的效率和精度。特征选择就是一种有效的降维技术。本文采用的是信息增益(infomaticn gain E) 方法来进行特征选取，对于词条t和文档类别^用 E考察文档类别c中出现和不出现词条的文档频 数来衡量词条tX寸文档类别c的信息增益。我们采 用如下定义 　　(1试中：P(q)表示q类文档在语料中出现的概 率;P(t)表示语料中包含词条t的文档的概率; P(cs|