基于粗糙集理论的文本自动分类研究-计算机应用技术专业论文.docxVIP

南京理工大学博士学位论文 南京理工大学博士学位论文 基于辊糙集理论的文本自动分类研究 摘要 文本自动分类是目前信息检索和自然语言处理领域的研究热点之一。九 十年代以后，机器学习方法逐步广泛应用于文本自动分类。基于机器学习 的文本自动分类是一个非常复杂的信息处理任务，目前仍然面临着许多亟 待解决的难题。本文将针对文本自动分类涉及的几个主要问题进行比较深 入的研究和探索。具体研究内容和创新性研究成果概括如下： (1)基于N-gram的中英文文本表达方法。文本表达是指将表达文献主 题内容的词汇抽取出来的过程。常用的向量空间表达法主要采用TF／IDF等 权重法。该类权重法普遍存在两大缺点：一是需要计算词汇在整个数据集 中频率，标引效率较低；二是不能直接应用于中文等东方语种文献。否则， 必须首先解决分词技术问题。本文的研究成果是提出了一种不需要进行中 文分词，且不依赖文本数据集，能够同时适宜于中英文文献的文本表达方 法。该方法的主要创新点包括：提出了基于N-Gram的GF／GL权重法，能够 根据单篇文献中各个N-gra珥的出现频率和长度计算它们表达文献主题内容 的重要性；提出了根据文献N-gram权重值和子父串关系筛选文献关键词的 算法。该算法不需要复杂的参数定义，能够灵活控制文献标引深度和标引 专指度。实验结果表明，本文提出的文本表达方法能够获得比TF／IDF更优 的标引性能。 (2)标引词的语义异构性处理。通过文本表达获得的标引词，通常是没 有进行语义规范控制的自由词。如果直接将这些标引词作为特征项输入文 本自动分类算法，会直接导致计算时间复杂度的增加和分类性能的降低。 人工方法和经典相似度计算方法是目前建立标引词语义转换关系的主要方 式。本文的研究成果是提出了一种基于粗糙集理论和索引语言理论的标弓I 词语义转换模型，可以用于建立来源于多个索引语言的标引词之间的语义 关系，解决标引词的语义异构性问题。该模型的优点表现在：克服了人工 转换方法成本高、效率低的缺点；克服了经典相似度计算方法单向性和不 能明确定义标引词之间语义关系的缺点；能够快速有效地实现多个索引语 言在不同兼容水平上的标引词语义双向转换；能够较大范围地集成具有语 义关系的标引词，克服特征抽取方法受限于数据集的缺点。该方法既可用 于文本表达结果的规范控制，也可用于文献检索系统中多种索引语言的自 动语义集成，从而实现应用单种索引语言进行跨数据库检索。 (3)粗糙集理论在文本自动分类中的应用问题研究。决策树、神经网络、 摘要 摘要 博士论文 支持向量机和贝叶斯等机器学习方法已经广泛用于文本自动分类。产生于 20世纪八十年代初的粗糙集理论是一种处理模糊和不确定性知识的数学工 具。租糙集理论的最大特点在于从知识分类的角度分析概念之间、分类对 象之间和属性之间的关系。基于粗糙集理论的分类系统一般不需要相关数 据集合外的任何先验知识，通过知识约简等简单操作便可以推导出易于理 解和验证的分类规则。因此，从理论上讲，租糙集理论在大规模文本自动 分类任务中应该具有良好的应用前景。本文的研究成果是设计了一个基于 粗糙集理论的文本自动分类方案。创新性研究工作主要包括：提出了一种 可以简单有效自动识别同义词的方法；提出了一种新型的特征项重要性计 算方法和属性约简算法，以确保特征项选择在全局和局部都达到最优化； 提出了一种能够在尽可能保证分类准确度的情况下，提高规则匹配能力的 上下近似规则生成算法和一系列规则匹配方法；提出了一种能够根据输入 新文献与分类规则的匹配状态自动扩展新类别的方法，避免了频繁维护训 练集和更新分类规则的难题。实验结果表明，本文设计的分类系统可以获 得比较令人满意的性能。通过进～步完善，可以推广应用于提供分类服务 的各类文献信息检索系统。 关键词z文本表达关键词抽取粗糙集理论语义异构性分类算法 文本自动分类分类规则机器学习 Ⅱ 南京理工大学博士学位论文 南京理工大学博士学位论文 基于粗糙集理论的文本自动分类研究 Abstract Automatic text categorization(ATC)is presently one of the hottest research issues in information retrieval and natural language processing．Since 1990’s machine learning approaches have been popularly appfied in ATC．A1though they have achieved better performance than traditional ones，t}ley still