knn算法改进及基于allconfidence模式的分类算法探讨-improvement of knn algorithm and discussion of classification algorithm based on all confidence pattern.docxVIP

第一章 第一章 绪论漳州师范学院工学硕士学位论文漳州师范学院工学硕士学位论文 PAGE PAGE 13 PAGE PAGE 10第一章 绪论1. 1 研究背景和意义数据挖掘[1]，就是从大量的、不完全的、有噪声的、模糊的、随机的数据中, 提取 隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。其中,分类 挖掘是数据挖掘领域中的研究课题之一。分类挖掘就是研究一组已知其类别的数据对象〔训练数据集〕的属性与其类别间的关系, 发现其规律(分类的规则), 以用来对未知类 别的数据对象做出类别判断。 分类[2]是数据挖掘的一个重要任务, 很多数据挖掘问题都可以转化为分类问题。分 类的目的在于运用分类方法构建一个分类函数或分类模型(也常常称作分类器),该模型 可以将输入数据（比如数据库中的数据项）映射到给定类别中的一个类别。比如根据个 人资料预测客户是否会流失，这里就把顾客分为将流失与不会流失两个类别，再根据输 入的个人资料将该客户映射到两个类中的一个里去。同时分类方法在很多领域得到了广 泛应用，比如决策树方法在医学诊断领域[3-5],雷达型号识别[6]的应用，KNN分类算法应 用于车牌识别[7],风预报[8],图像分类[9]等方面,贝叶斯分类在入侵检测[10-11]以及垃圾分类 [12-13]的应用和神经网络应用于贷款违约识别[14]研究中等等。 分类方法分为两种：一种是先提取规则建立模型然后进行分类,另一种是懒散学习。 基于关联规则的分类算法[1]就是利用标准关联规则挖掘算法挖掘出有关的关联规则，即 关联规则的右部为类别，然后从已发现的关联规则中选择高优先度的规则来进行分类， 也就是如果有多条关联规则的左部相同，而右部为不同的类，则选择具有最高置信度的 规则作为可能规则，最后用于未知记录的分类,能够获得较高的准确率[15]。KNN 分类方 法则属于后者，它并不需要产生额外的数据来描述规则，它的规则就是数据（样本）本 身，它是将所有训练样本首先存储起来，当要进行分类时，就临时进行计算处理，KNN 分类算法具有实验简单，适应性强等优点。 1. 2 分类概述1. 2. 1 什么是分类分类[1]是这样的过程，它找出描述并区分数据类或概念的模型（或函数），以便能够使用模型预测类标记未知的对象类。导出模型是基于对训练数据集（即其类标记已知的数据对象）的分析。1. 2. 2 分类的过程数据分类过程主要包含两个步骤：第一步，建立一个描述已知数据集类别或概念的 模型：该模型是通过对数据库中各数据行内容的分析而获得的。每一数据行都可认为是 属于一个确定的数据类别，其类别值是由一个属性描述(被称为类别标记属性)。第二步， 利用所获得的模型进行分类操作，首先对模型分类准确率进行估计，它利用一组带有类 别的样本进行分类测试(测试样本随机获得且与训练样本相互独立)。对于一个给定数据 集所构造出模型的准确性可以通过由该模型所正确分类的(测试) 数据样本个数所占总 测试样本比例得到。如果一个学习所获模型的准确率经测试被认为是可以接受的，那么 就可以使用这一模型对未来数据行或对象(其类别未知) 进行分类。利用训练数据集学 习并获得分类规则知识(模型)；利用学习获得的分类规则(模型)，对已知测试数据进行 模型准确率的评估，以及对未知类别的新数据(类别) 进行分类预测。 1. 2. 3 分类算法近年来, 分类算法仍是一个研究热点，因而涌现出了大量的分类算法,但是不同的 分类方法有不同的特点，也存在着不同的缺陷。接下来介绍几种经典的分类算法。 1. 2. 3. 1 KNN 算法最近邻法是由Cover和Hart于1967年在[16]中提出的， k -近邻法[17]是最近邻法的一个 显然的推广，当 k ＝1时，k -近邻法就是最近邻法。传统的KNN分类算法的基本原理是： 把未知样本与训练集中的样本进行相似度的计算，然后选取它的 k 个近邻，最后看这 k 个近邻中多数属于哪个类别，就把未知样本判断为哪一类。 从KNN算法的基本原理可以看出该算法必须知道两个前提：相似度的度量以及最近 邻样本的数目 k 。 k 表示选择相似样本的数目，相似度尺度对应一个非负的函数，用来 刻画不同样本间的相似性程度。 k -近邻法(KNN)是一种典型的懒惰学习算法,所有的计算都推迟到进行分类的时 候。KNN分类方法[18]具有实验简单，适应性强；概念清晰、易于实现；不需要产生额外 的数据来描述规则，它的规则就是训练数据（样本）本身并不是要求数据的一致性问题； 在类别决策时，只与极少的相邻样本有关；最直接地利用了样本和样本之间的关系，减少了类别特征选择不当对分类结果造成的不利影响，可以最大程度地减少分类过程中的误差项等诸多优点；但同时也存在分类速度慢、分类过程中相似