3.16 最小二乘算法.ppt

*3.3模糊辨识和估计算法3.3.2最小二乘算法广义上讲，可以把模糊建模解释为用一种自然语言定性描述系统特性的等效模型。狭义上讲，模糊建模是用模糊量描述系统。模糊量包括模糊数和模糊集合。这里所说的定性模型是与系统动态特性的语言描述相一致的广义模糊模型。1.成批最小二乘算法首先通过讨论线性系统辨识问题，介绍用于训练模糊系统的成批最小二乘算法。令g为要辨识的物理系统，把这个系统产生的输入输出实验数据定义为训练集合G。线性系统辨识模型为式中和分别是k时刻系统的输入和输出。*3.3模糊辨识和估计算法这种情况下，可定义如下函数:3-20式中不是一个模糊系统，令，这样和是维向量，通常称为回归向量（regressionvectors）。总之，系统辨识是用数据集合G调整，使得对于所有的，满足。对于线性系统辨识，为了构成数据集合G，选择，,并令。要完成辨识，必须选择合适的初始条件。下面推导成批最小二乘算法，定义*3.3模糊辨识和估计算法下面推导成批最小二乘算法，定义是维输出数据向量。式中是G的元素（即满足）。令是一个由嵌入的数据向量组成的维矩阵，即满足是用近似数据对所产生的误差。定义，使得*3.3模糊辨识和估计算法对于给定的值，选择作为衡量所有实际观测值和计算值之间近似程度高低的指标。要通过挑选使得最小。注意对是收敛的，这样局部最小就是全局最小。如果对求偏导，并令偏导数等于0，则得到的方程，即得到了未知参数的最好估计值（从最小二乘意义上讲）。另一种得到最好估计值的方法如下：假设是可逆的，令可完成它的平方形式（只在方程的末尾加了一项，又减了同一项）。这样，*3.3模糊辨识和估计算法方程的第一项与无关，故不能通过这一项减小，因此可忽略第一项。为得到最小的值，选择使得第二项等于零。用标记使最小的值。注意：因为可以使上面方程的后一项等于零，因此3-21这就是成批最小二乘公式。利用该公式，可以从嵌入和的“批量”数据直接计算最小二乘估计值。如果挑选系统的输入使得系统能充分激励[6]，那么就能确保是可逆的。如果数据是来自具有未知参数和的线性对象，则对于足够大的M能得到对象参数的精确估计。*3.3模糊辨识和估计算法在加权成批最小二乘估计中，令3-22式中，可以是对角阵，其对角线元素，非对角线元素等于零。这些用于增加G中某些元素的重要性。2.递推最小二乘算法已证明成批最小二乘算法对于各种实际应用是非常成功的，但是从本质上讲，它是离线算法。显然当M较小时，可以对收集到的所有数据重复批量计算，但是由于求逆的计算以及和Y的维数都取决于M，随着收集数据的增加，成批最小二乘的计算就会变得不可能。下面介绍成批最小二乘算法的递推形式，即每当得到一对新数据时，就更新估计值。*3.3模糊辨识和估计算法递推算法在计算中没有用过去所有时刻的数据，也没有计算的逆。考虑连续增加G的大小，假设在每一步G增加1，令为时间指数，i满足。令3-23用表示基于K-1时刻数据对的最小二乘估计值，称为协方差矩阵。假设对所有的k，是非奇异的，令从累加和中提取出最后一项，可