感知机理论的研究综述.docVIP

感知机理论的研究综述 　　近年来，机器学习在各个领域发挥出了出色的表现，在自然语言处理，图像识别，推荐系统等领域都发挥了巨大的作用，成为了当前十分热门的一个学科领域，这引起了笔者的关注和研究。本文主要介绍了机器学习领域的感知机算法，通过感知机算法的概念、思想，以及理论等方面，全面地介绍了感知机算法在解决线性可分的二分类问题中发挥的作用，并通过它的实际应用以及算法自身的特点，对它未来的发展和完善做出了展望。 　　【关键词】感知机 线性分类器 机器学习 　　1 引言 　　随着计算机技术的发展以及各种数据及资源的飞速增长。为了有效地管理和利用各种各样的数据，通过对大量数据的学习使机器具有认识问题和解决问题的能力，这就是机器学习。 　　机器学习作为人工智能的核心内容，已经开始作为一个独立的学科领域飞速发展，并渗透于生活中的各个领域。机器学习的整体思路是定义一个有效的目标模型和一个可以衡量目标模型优劣程度的损失函数，通过对数据的学习一步步地优化目标模型使得损失最小的方式来求出最优模型，最终可以利用这个目标模型来完成各种任务。 　　感知机是机器学习算法中第一个具有重要学术意义的基础算法，它具有运算简单，收敛速度快，具有实用价值等特点，是机器学习领域重要的算法之一，同时也是著名的机器学习算法支持向量机（SVM）的基础。 　　2 概念 　　在McCulloch 与Pitts 模型的基础上 Rosenblatt 首先提出了感知机算法。感知机模型是一个线性分类器，它的目标是通过训练数据训练出能够将数据进行线性二分类的分离超平面。 　　感知机虽然结构简单，但能够学习并解决多种复杂的问题。感知机主要的本质缺陷是它不能直接处理线性不可分问题，以及解决方案的非最优化。 　　3 感知机原理 　　3.1 感知机模型 　　感知机模型就f（x）=sign（w*x+b），即目标模型，我们要做的就是通过已知的数据学习训练得出w和b这两个未知参数，得到了这两个参数也就等同于训练出来我们的目标模型。 　　如下由输入空间x到输出空间f（x）的函数称为感知机的模型： 　　f（x）=sign（w.x+b） 　　其中w叫做权值（weight）或权值向量，w（w1，w2，w3，…，wn），来表示各个输入对于输出的重要程度，b叫做偏置（bias）用来调整整体结果和阈值之间的关系。 　　sign为符号函数： 　　感知机模型的原理：每一组参数值实际上就对应了一个目标模型，所以只要得出目标参数也就得出了目标模型。 　　我们要初始化参数，然后根据已知的数据来判断这个模型是否符合我们的期望，如果不符合，那么我们根据感知机的学习策略来更新参数，这样得到了一个新的模型，然后再进行判断这个新的模型是否符合我们的期望，如此循环，直至找到符合我们期望的模型。 　　3.2 感知机的学习策略 　　在数据集线性可分的前提下，感知机的学习目标是通过已知数据训练出一个超平面，这个超平面需要具有如下特性：能够将训练集中的两类样本点完全正确分类。为了找到这个超平面，即确定感知机模型参数w，b，需要确定一个学习策略，即定义一个损失函数，来衡量目标模型的优劣，损失函数极小化的过程就是目标模型优化的过程。所以求解目标模型，就可以转换为求解损失函数的最小值。 　　如何定义损失函数？一个自然选择是误分类点的总数，通过误分类点的综述来衡量当前感知机模型的优劣，但是这样的损失函数存在一个严重的问题：对于数据量较小的训练集，我们可以通过这样损失函数找到目标模型，但是当数据集的?稻萘拷洗笫保?我们需要通过计算来求出当前损失函数的最小值，而此时的损失函数关于w，b不是连续可导函数，这样会严重影响我们求出损失函数最小值的效率。所以感知机的损失函数采用另一种形式来定义：计算所有点到超平面的总距离，这样当损失函数为最小值时，意味着所有样本点分类正确，此时损失函数的参数即为目标模型的参数。 　　感知机f（x）=sign（w.x+b）模型的损失函数定义为（重点）： 　　L（w，b） = -∑yi（w*xi+b） 　　为第i组数据的输入和输出，（w*xi+b）是根据当前模型对x做出的预测值，yi是对应于xi的真实值，当一个样本被分类正确时（即取阈值为0时，预测值和真实值都大于0或者都小于0），它的输出是负值，分类错误时，输出值是正值，即损失函数的最小值意味着最多的正确分类点。 　　首先我们需要初始化一组参数，即初始化一个超平面，然后通过梯度下降法不断地极小化目标函数，即对损失函数L（w，b） = -∑yi（w*xi+b）分别对w，b求偏导，以求出损失函数最小值。 　　随机选取一个误分类点 （xi，yi），对 w和b 进行更新： 　　w←w+ηyixi 　　b←b+ηyi 　　其中 η 是