分类模型的不匹配问题及其解决方法-计算机科学与技术专业论文.docx

Classified Index: TP181 U.D.C: 004.625 Dissertation for the Master Degree in Engineering MODEL MISFIT IN CLASSIFICATION AND ITS SOLUTION Candidate： Hanjing SU Supervisor： Prof. Xiaofei XU Associate Supervisor： Prof. Yunming YE Academic Degree Applied for： Master of Engineering Speciality： Computer Science Technology Affiliation： Shenzhen Graduate School Date of Defence： Dec, 2010 Degree-Conferring-Institution： Harbin Institute of Technology I I 摘 要 摘 要 随着计算机软硬件技术的不断发展，大量的数据得以收集。与此同时，原有 的数据处理及分析技术面临着越来越多的挑战。分类是机器学习和数据挖掘的一 项基本任务，如何构建泛化能力更强的分类器一直是计算机领域的热点问题。 大多数分类技术都是基于一定的假设建立模型的。当数据匹配模型时，分类 效果会很好；而当不匹配时，分类的效果往往会很差。如何解决分类模型的不匹 配问题是本文的核心议题。概括来讲，本文的主要工作包括以下几个方面： 1) 介绍了一种新的解决复杂、高维数据的基于聚类的分类方法（Decision Cluster Classifier，DCC），通过分析指出其在特征异构时会导致模型 不匹配的问题，并提出了一种新的基于路径的分类策略 PDCC 以解决 DCC 的模型不匹配问题。 2) 提出了一种新的决策树构建方法以用来集成随机森林。一般来讲，决策 树容易产生过拟合现象，这也是一种比较特殊的模型不匹配问题。目前， 用来解决这一问题的主要方法是通过集成多棵随机决策树的方式来构 建集成分类器。但现有方法存在效率低下，差异性难以控制等问题。本 文提出了一种新的基于专属随机决策树的随机森林算法，以有效解决多 类数据中决策树的模型不匹配问题。 3) 提出了一种新的半监督分类算法以解决聚类标记(Cluster-and-Label） 的模型不匹配问题。半监督分类一般基于一定的假设运行，其中聚类假 设是一个最常用的假设。聚类标记法可以简单看作直接基于聚类假设运 行的一类半监督学习技术，但它的性能受到聚类质量的严重制约。本文 则提出一种层次聚类树的技术以解决这一问题。 关键词：聚类；分类；模型不匹配；半监督分类； II II 哈尔滨工业大学工学硕士学位论文 Abstract With the development of computer hardware and software technology, more data can be collected. At the same time, the original data processing and analysis technology face new challenges. Classification is a basic task in machine learning and data mining, how to build a classifier with strong generalization ability has been a hot topic. Most classification techniques are based on some underlying models and/or assumptions. When the data fits the model well, the classification accuracy can be very high. However, when the underlying model does not fit the data well, the performance of the resulting classifiers can be quite poor. In this paper, we focus on how to solve the model misfit in classification. The main work here includes: Decision Clusters Classifier (DCC), which is a type of clustering-b