共轭梯度法在信号处理中应用思考.docVIP

共轭梯度法在信号处理中应用思考 　　【摘要】文章简要回顾了共轭梯度法研究方面已有的丰富成果，以OFDM系统PAR（峰值平均功率比）的全局最优化问题为例，论述了共轭梯度法在信号处理中存在的新问题，即对步长的要求非常苛刻，并提出系统综合设计建议；最后，针对共轭梯度法如何在信号处理中得到更好的应用，提出了值得探讨的研究方向。 　　【关键词】共轭梯度 全局收敛性 PAR 最优化 　　1 引言 　　最优化问题[1]的一般形式为：min{f（x）|x∈D}，其中，x∈D是决策变量，f（x）为目标函数，为可行域。 　　通信信号处理领域中的优化问题大多数是非线性优化问题，其目标函数和约束函数中至少有一个是变量x的非线性函数的优化问题。此外，根据决策变量、目标函数和约束条件的不同，最优化问题还分成了整数规划、动态规划、网络规划、随机规划、几何规划、多目标规划等不同分支。 　　无约束最优化方法通常采用迭代方法求最优解，其基本思想是：从某个初始点x1出发，以目标函数值下降为原则，构造点列{xk}，使得点列{xk}中的某个点是问题的解。 　　设xk为第k次迭代点，dk为第k次搜索方向，每次迭代的αk需要满足dk=—Hkgk，αk为第k次的步长因子，则第k次迭代为： 　　从这个迭代格式可以看出，对于不同的步长因子αk和不同的搜索方向dk，构成了不同的迭代方法。 　　求步长因子αk的方法称为线搜索。线搜索的目的是，从xk出发沿dk方向寻找一个比xk更好的点作为下一个迭代点。要求f（xk+αkdk）=minα0f（xk+αdk），称这类线搜索为精确线性搜索。但是，在实际计算中，理论上精确的最优步长因子一般不容易得到，而且求解较精确的步长因子也需要花费相当大的工作量，因而，人们往往采用花费计算量较少的非精确线搜索。 　　常用的非精确线搜索方法有Wolfe线性搜索、强Wolfe线性搜索、推广的Wolfe线性搜索、Armijo线性搜索、Goldstein线性搜索等。 　　搜索方向dk是算法的核心，确定dk的不同方式对应于不同的算法，求解无约束优化问题的常用算法，包括最速下降法、牛顿法、拟牛顿法、共轭梯度法等。 　　（1）最速下降法。选择使得的值最小的dk作为下降方向，的值越小，函数局??下降速率越快，当dk=—gk时，的值最小。最速下降法具有存储量小、结构简单、易于实现等优点，具有良好的全局收敛性，但最速下降法收敛速度慢，仅具有线性的局部收敛速度。 　　（2）牛顿法。确定搜索方向dk的基本思想：利用目标函数的二次泰勒展开，并将其极小化，从而得到搜索方向，其中。牛顿法具有局部收敛速度快等优点，它具有二阶收敛速度。但是，牛顿法需要计算目标函数的二阶导数，而且当Hesse矩阵奇异时，牛顿方向可能不存在，或者存在但不是f（x）在xk处的下降方向。 　　（3）拟牛顿法。确立dk的基本思想：构造Hesse矩阵的逆近似Hk，使得dk=—Hkgk。拟牛顿法只需计算目标函数的一阶导数，而且大多数拟牛顿法是下降算法，具有良好的全局收敛性和超线性收敛速度。但是，拟牛顿法在每次迭代中都需要存储一个矩阵，而且确定下降方向需要求解一个线性方程组，该方程组的系数矩阵一般是稠密的，因而，该算法不适合求解大规模问题。 　　（4）共轭梯度法。要求dk关于目标函数的Hesse矩阵共轭，取dk=—gk+βkdk—1，其中参数βk的选取满足共轭性。共轭梯度法具有计算简便、存储量低等特点，具有较好的全局收敛性和较快的收敛速度，而且，该方法无需求解线性方程组，当用于二次函数极小值问题求解时，采用精确一维搜索的共轭梯度法，最多经n步迭代即可得到问题的解，即具有二次终止性。鉴于共轭梯度法以上优点，它是求解大规模最优化问题的主要方法之一。 　　2 共轭梯度法及其演变 　　上世纪50年代初，计算数学家Hestenes和几何学家Stiefel提出求解线性方程组Ax=b，x∈Rn的共轭梯度算法[2]。1964年，Fletcher和Reeves将其推广到非线性最优化领域，提出求一般函数极小值的共轭梯度法[3]。随后，Beale、Powell、Fletcher等著名最优化专家对非线性优化问题共轭梯度法进行了深入研究。但由于同时期出现的拟牛顿方法具有良好的计算表现和丰富的收敛性，从而使得研究人员忽视了共轭梯度法的潜力。随着计算机处理能力的快速发展，以及大量的大规模优化实际问题研究需要，共轭梯度法的理论研究再次得到人们的关注。 　　对于无约束优化问题： 　　（1）FR方法。Zoutendijk于1970年证明了，在意义下，采取精确线搜索的FR方法[4]对于一般非凸函数有全局收敛性。由于精确线搜索非常费时，在实际计算中，人们通常采用非精确线搜索方法。Dai和Yuan考虑相邻迭代点列的技巧，他们研究发现，只要FR方法的每个搜索