盲源分离手册,独立组分分析及应用.docVIP

P209 6.4。迭代搜索算法：总则 向量q，无关的常数因子，通过：公式6.20 和Y = QTZ给出，并且可以很容易地逼近其在样本估计观察信号块，因为 公式6.21 其中ZT=[Z（1），Z（2）。。。 Z（T）和YT= [Y（1），Y（2）。。 Y（T）的。] T。本节中所述的通用的迭代优化技术特别适合于批处理模式操作。古典迭代优化的结果是基于二阶函数Υ（）周围的B点的泰勒级数展开： 公式6.22 在上面的方程，梯度向量?Υ(b) = ?Υ(b) , ?Υ(b) , . . . , ?Υ(b)T ?b1 ?b2 ?bP， HΥ (b) ∈ RP ×P是Hessian矩阵的Υ（）在B计算机。（i，j） - 这个矩阵的条目中包含的二阶导数的Υ（），定义为： ? 2Υ(b) [HΥ (b)]ij = . ?b ?b i j B0的一阶必要条件是静止或平衡点的Υ（）函数是?Υ（B0）= 0。二阶必要条件状态，一个固定的B0点，是当地最大，矩阵H（B）Υ0必须是负定或等价的，其所有特征值的实部必须是负数。这种情况很容易被来自泰勒展开式（6.22） 6.4.1.1梯度搜索 基于梯度的搜索可能是最基本的迭代优化技术。它依赖于梯度向量的概念，是在面向最大的地方在一个给定的B点的功能变化的方向。因此，更新的梯度方向向量b b+ = b + ?Υ(b) （6.23） 确保 Υ(b+) Υ(b) 如果有足够的小。看到这一点，它足以表达y（b+）当b+给出6.23式时，可按第一阶泰勒级数展开成6.22式： Υ(b +) ≈ Υ(b) + ?Υ(b)t (b +? b) = Υ(b) + ?Υ(b) 2 . P210 这个词是指为步长，学习率或适应系数。它决定了收敛速度和精度的解决方案之间权衡。收敛通常是大型的速度较快，但算法可能不能稳定密切足够有效的解决方案，这种现象被称为失调;如果太大，算法甚至可以搬走的解决方案，并没有收敛在所有。相反，一个很小的值，可以保证收敛，但以算法放缓为代价。因此，此参数有足够的选择是基于梯度方法的性能调整的关键。这种类型的算法的局部收敛是线性的：连续两次更新b和b+在一个固定的b0点附近，我们有【b+?b0】【b?b0】。 6.4.1.2牛顿搜索 基于梯度优化的主要限制是步长的选择参数和经常收敛速度慢。牛顿算法可以克服由于这些缺点，在成本增加的费用Hessian矩阵计算。再次，这个出发点迭代优化技术是泰勒展开式（6.22）更新b+得到这种近似的最大化。通过取消方面的梯度?Υ(b) + HΥ (b)(b+ ? b)，（b + - b）一阶必要条件。这导致牛顿更新： b+ = b ? H?1 (b)?Υ(b). （6.24） 牛顿算法二次收敛：附近的一个固定点b0连续两次更新b和b+确认kb+?b0kkb?b0k2。 备注梯度搜索的参数必须取决于是否目标函数是最大化或最小化，分别在上山或下坡的方向调整。这个选择上升/下降指定在的EQN更新长期前的标志。 （6.23）。相比之下，牛顿法搜索本地不加区别的最大值和最小值。 6.4.1.3约束的优化 回顾6.3，一些所谓的正交需要对比功能进行优化后提取白化受约束如q= 1向量。拉格朗日乘子技术可以被用来执行约束优化。为此，复合功能，所谓的拉格朗日，原始对比度和一个额外的术语表达约束： Υ(q) = Υ (q) +β2(1?kqk2). (6 .2 5 ) 此功能必须最大化q和拉格朗日乘数β。取消对β（6.25）衍生的强制约束，而到Q的梯度如下： ?Υ(q) = ?Υ(q) ? βq. （6.26） P211 因此，最佳的一对（q0，β0）验证拉格朗日条件： β0q0 =?Υ (q0). (6 .2 7 ) 这种平等更换成约束qTq0= 1得到最佳值的β： β0 =?Υ (q0)Tq0 (6 .2 8 ) 另一方面，拉格朗日（6.25）黑森州的计算公式如下： H?(q) =HΥ(q)?βI (6 .2 9 ) I是适当尺寸的单位矩阵。因此，在一个固定点Q0Hυ特征值修改β0在EQN给的。（6.28）。一个Q0足够的条件，是当地最大（6.25），修改后的特征值的实部为负数。然而，人们不应该忘记的优化进行了单位规范约束。为了满足这方面的限制，周围Q0差变化必须保持正交Q0。因此，当地的极大的必要条件，只涉及在Q正交补的特征向量的修改Hessian矩