KNN演算法--通俗易懂的机器学习理论介绍.docVIP

KNN演算法 May 16th, 2007 by mmdays 原文为繁体转化过来，欢迎访问计算机视觉论坛： Posted By Mr. Thursday /2007/05/16/knn/ 各位看到标题，如果没有听过NN算法，会不会觉得疑惑：KNN是甚么呢？是不是CNN看久了，就变成DNN、ENN、最后变成KNN了呢？当然不是啦 XD！KNN全名是k-th nearest ，中文意思是「第k位最接近的邻居」。甚么是「第k位最接近的邻居」呢？假设在一个广场上，有100个朋友，每位朋友都是你的邻居，最接近你的邻居，就是「第一位距离最近的邻居」了，比第一位稍微远一点的邻居，就是「第二位距离最近的邻居」了，以此类推，第10位距离最近的邻居，就是k=10的时候了。 至于KNN算法是甚么，又有甚么特别呢？之前提过了「人工智能与机器学习」。KNN算法就是一种机器学习的算法。在进一步探讨甚么是KNN算法之前，我们先介绍一下甚么是算法。算法可以看成是一种「步骤」的集合。举例来说：我们煮一道菜，第一步是先洗菜，第二步切菜，第三步放油，第四步快炒，第五步加点水闷几分钟，第六步再炒几分钟，最后第七步加盐和味精，然后炒到菜煮熟为止。算法就是这样子，把工作分成详细的步骤，有些步骤可能会重复执行，象是菜不够咸，就再加点盐，一直到口味对了为止。有时候会依照情况的不同而有不同的步骤，象是过马路的时候，如果是红灯，我们重复「等待」的步骤，如果是绿灯，我们会进行「走路过斑马线」的步骤。 由于计算机本身就是执行一道一道的指令，因此算法详细列出来的步骤，已经很接近计算机执行工作的语言。至于KNN算法又是由哪些步骤所组成的呢？在这之前，我们再稍微提一下KNN算法和机器学习之间的关系。之前在「人工智能与机器学习」的文章中稍微提了一下，机器学习就是让机器接收外界输入的资料以后，依照某种算法(一些步骤的集合)，训练出一种模型，这个模型是一种从资料学习出来的东西，有了这个东西，机器看到新的资料的时候，不会空空如也，而是有某种程度的经验和智慧，可以了解新的资料了。 在这个过程中，有两种训练的方法：监督式和非监督式的学习。所谓监督式的学习，是指在训练机器学出一个模型的之前，会先有一段训练的时间，在这段时间里面，每一笔资料会有一个正确答案，机器学习以后，会根据答案调整自己学习的方法。举例来说：我们学习数学的时候，可能会练习一些题目，练习以后，会对一下答案，如果算错了，就会调整自己的计算方式，或是检查有没有粗心算错的地方。机器学习里面的监督式学习正是如此，训练之后，才开始有预测的阶段，这个时候输入机器的资料没有正确答案，机器必须根据他之前学习的模型来判断，预测新的资料应该输出哪一个正确答案，而不像再训练阶段的时候，输入的资料会有人类提供的正确答案了。 另外一种非监督式的学习，则是连训练的阶段都没有。我们只给予机器简单的学习方法，或是一个简单的价值观，然后就开始把资料输入机器，让机器自行判断正确答案。举例来说：我们还没上小学之前，已经有了一些基本的说话能力。我们从婴儿开始哑哑学语，我们并不晓得，甚么是主词、动词、受词。我们可能连注音符号都不晓得。但是我们的父母一直跟我们讲话，我们有一天就突然蹦出一些词，第一句可能是「妈妈」！第二句可能是「爸爸」！之后可能开始简单的对话，最后在上小学之前，我们至少会问简单的问题，老师讲的句子也都听的懂，才有办法起立、立正、敬礼，还有学习注音符号，练习写字了。非监督式的学习就是类似如此，我们给机器资料，简单的规则和价值观，剩下的就交给机器一边学习一边预测正确答案是甚么了。 KNN就是一种非监督式的学习法。首先，我们要替每一笔资料定出一个位置，象是下图： 我们的目标是要机器学会怎样子分出红点和蓝点。每个点在平面上有个位置，分别用(x,y)来代表，举个例子来说：红点代表女生的大头照，蓝点代表男生的大头照，x轴代表照片中头发的长度，y轴代表照片中脸面积的大小。现在机器已经知道某些点是男生的大头照(蓝色的点)、某些是女生的大头照(红色的点)。当一张新的大头照输入机器以后(图片里面打问号没有颜色的点)，KNN算法就先计算这个点，和其他已经知道男生或女生的资料点之间的距离(图里面画了几条线代表在计算距离)。今天KNN的K如果设定成1，也就是(1-NN)的话，代表机器会找第一位距离最近的点，然后看这个点是男生(图中蓝色点)或是女生(图中红色点)。如果这个点是男生，那么我们也预测刚才打问号的这个点(新的资料点)是男生的大头照。之后这个问号点就变成蓝色的，然后继续反覆同样的动作在下一个新输入的资料点，预测新的问号点是男生或是女生。 如果k=3，也就是使用3-NN学习，情况会变成怎样子呢？机器同样先计算图中打问号的点和各个颜色的点的距离，接着选出前三名距离最近的点，然后看看里