模式识别(三)数学知识补充.pdf

武汉大学计算机学院本科生课程 模式识别数学知识补充 武汉大学计算机学院 袁志勇 Email: yuanzywhu@163.com 一. 牛顿迭代法 牛顿迭代法是牛顿在17世纪提出的一种在实数 域和复数域上近似求解方程根的方法。 多数方程不存在求根公式，因此求精确根非常 困难，甚至不可能，从而寻找方程的近似根就显得 特别重要。方法是使用函数f(x) 的Taylor级数的前 面几项来寻找方程f(x) = 0 的根。 牛顿迭代法是求方程根的重要方法之一，其 最大优点是在方程f(x) = 0 的单根附近具有平方收 敛，而且该法还可以用来求方程的重根、复根。该 方法广泛应用于科学计算的计算机编程中。 设r是f(x) = 0 的根，选取x0作为r初始近似值，过点 (x0,f(x0))做曲线y = f(x) 的切线L，L的方程为y = f(x0)+f’(x0)(x-x0) ，求出L与x轴交点的横坐标 x1 = x0- f(x0)/f’(x0) ，称x1为r的一次近似值。过点(x1,f(x1))做曲 线y = f(x) 的切线，并求该切线与x轴交点的横坐标 x2 = x1-f(x1)/f’(x1) ，称x2为r的二次近似值。重复以上过 程，得r的近似值序列，其中 ： x(k+1)=x(k)-f(x(k))/f(x(k)) 称x(k+1)为r的k+1次近似值，上式称为牛顿迭代公式。 解非线性方程f(x)=0 的牛顿法是把非线性方程线性 化的一种近似方法。把f(x)在x0点附近展开成Taylor级 数 f(x) = f(x0)+(x-x0)f‘(x0)+(x-x0)2*f’(x0)/2! +… 取其 线性部分，作为非线性方程f(x) = 0 的近似方程，即 Taylor展开的前两项，则有f(x0)+f’(x0)(x-x0)=f(x)=0 。 设f‘(x0) ≠0，则其解为x1=x0-f(x0)/f’(x0) 。这样，得到 牛顿法的一个迭代序列：x(k+1)=x(k)-f(x(k))/f(x(k)) 。 二. 梯度(Gradient) 在单变量的实值函数的情况，梯度就是导数。若实值 函数为线性函数，梯度就是该直线的斜率。 在二元函数的情形，设函数z=f(x,y)在平面区域D 内具 有一阶连续偏导数，则f(x,y)在对应点P(x,y) ∈D上的梯度 为一个二维向量： f ⎡ ⎤∂ ⎢ ⎥ ∂x f (x ,y ) Grad [f (x ,y )] ⎢ ⎥ ∇ f ⎢ ⎥∂ ⎢ ⎥ ∂y ⎣ ⎦ 2 ⎛ ⎞2 f f ⎛ ⎞∂ ∂ / [ ( , )] 梯度的模 幅度 Grad f x y ⎜ ⎟ =+⎜ ⎟