梯度下降算法说明.docVIP

梯度下降算法说明及实现 哈尔滨工业大学深圳研究生院 生物计算研究中心 1 算法说明 （1）目的 假设我们有一个包含n个样本的集合D={x1，x2，…，xn}，一些标记为ω1，另一些标记为ω2，其中ω1，ω2记作y，作为样本的输出。我们希望用这些样本来确定一个判别函数gx= at （2）原理 首先从随意选择的一个权向量a(0)开始，计算梯度向量?J(a(0))，下一个值a(1)由自a(0)向下降最陡的方向移一段距离而得到，即沿着梯度的负方向。通常a( a 计算，η是正的比例因子，或者说是用于设定步长的“学习率”，可以是较小的常数，一般手工设置，?J(a(k))是ak的梯度。我们希望这样得到的一个权向量序列最终收敛到是J(a)极小化的解上。按照上面的梯度下降法迭代公式进行若干次迭代搜索，每次迭代的初始点取上次迭代的终点，即可使迭代点逐步逼近目标函数的极小点。其迭代的终止条件可采用点距准则或梯度准则，即当 其中，?Ja=[?J?a0, J 中得到组成这个梯度向量的分量?J?ai，其中g(x)是训练样例的目标输出，即预测值，每一个训练样本X都有m个属性值，Z是线性单元对训练样例的输出 ? = = = = 其中xi 表示样本的第i a 推广到有n个样本的集合时则有： a （3）一些变量及规格 X 一个n行m列的矩阵 y一个具有n列的行向量 a一个具有m列的行向量 xj表示第j个样本向量，是一个具有m个 yj表示第j个 xi j表示第j个样本的第 2 算法实现步骤 给定初始点a(0)∈Rn,迭代精度ε 置0?k。 计算迭代点a(k)的梯度 ? 计算迭代新点ak 检验是否满足迭代终止条件||ηk?Jak||是否小于迭代精度，若小于，停止迭代， 置k+1?k，返回步骤(3)进行下一次迭代计算。 3 算法伪代码 Begin initialize a,阈值ε，ηk，k? do k?k + 1 a ? a until |ηk? return a end 4 梯度下降算法应用 简介 训练样本集中一共有80张人脸样本，主要来自于两个不同的人，没人四是张。首先处理人脸图像数据，将其归一化，一方面一张图像累加为一行数据，灰度级处理为0-1之间，防止溢出。然后调用梯度下降算法，假设判别函数是线性的，找出最优的权向量。最后输入测试样本，同样对测试样本归一化处理，使用判别函数对人脸图像进行判别。 实现步骤 读入测试样本（80张人脸样本，灰度图像）。 将这些图像做归一化处理，即将整个图像的数据归一化为一行，如x= 123 得到测试样本后，调用梯度下降算法，假设线性判定函数，获得最优权向量a。 输入测试样本，同样做归一化处理。 将测试样本带入假设的线性函数中，求出函数值。 通过函数值判断测试样本的类别。 输出图像。 运行gradient.m文件，选择训练样本集。 Figure 1 单击Ok键，得到测试结果，如下图所示：一共有10个测试样本，测得的值分别为： Figure 2 Figure 3 Figure 4 （1）徐勇教授个人主页： /default.html （2）《模式分类》机械工业出版社、中信出版社，Richard O.Duda, Peter E.Hart, David G.Stork著，李宏东、姚天祥译，第五章，5.4.2 梯度下降算法，183-185