时间序列分析与动态数据建模..docVIP

第五章目录 第五章 极大熵谱估计 1 5.1 谱熵和极大熵准则 1 1．问题的提出 1 2．高斯过程的熵和熵率 1 3．功率谱和熵率的关系 3 5.2 极大熵准则的谱估计 6 5.3 极大熵谱估计的伯格算法 9 5.4 极大熵谱估计的LS—LUD算法 16 第五章 极大熵谱估计 1967年伯格(J．P．Burg)刚一发表：极大熵谱分析”的方法就在工程和科技界产生很大影响，成为相当流行的功率谱密度估计方法。伯格在谱估计准则的提出和具体算法上有所创新，由此演变出来的算法有很多种，被统称为“现代谱分析”。 5.1 谱熵和极大熵准则 1．问题的提出 从19世纪未舒斯特(Schuster)在利用富氏级数分析信号隐含的周期特性时提出了“周期图”，到1985年由伯来克曼和杜奇提出了谱估计的“间接法”和1965年FFT算法提出后流行的“直接法”，它们本质上都是把原序列经过开窗截取处理来获得对序列谱密度的估计。不论对数据加窗还是对自相关函数加窗，其目的都在于使谱估计的方差减小，然而加窗不可避免地产生频域“泄漏”，使功率谱失真，尽管在窗函数形式的选择和处理方法上做了很多分析研究，使得以周期图为基础的方法达到相当成熟和实用的程度，但是任何抑制旁瓣的方法都是以损失谱分辨力为代价的，这个难题在数据量少的情况下更为突出。 问题的实质是：在周期图估计中，我们对数据或是它的相关函数所做的加窗处理，等于是假定在窗口外数据(或自相关)为零，而窗口内的部分则加上某种形式的修正。这些人为措施使来自观察的信息受到了一定程度的歪曲。 伯格提出的新概念是；和估计的功率谱相对应的自相关和由观察数据算得的自相关一致，同时对已有的区段之外的自相关值采用外推的办法求取，而不是一概假定为零，外推的原则是使相应的序列在未知点上取值的可能性具有最大的不确定性，亦即不对结果人为地强添任何增加的信息。 数学家申农最早提出“熵”的概念，在统计学中用它作为各种随机试验的不肯定性程度的度量。在热力学和信息论中，“熵”都有其具体的物理背景和应用。后面介绍将会看到，满足熵极大的谱估计是自回归模型的谱。1971年凡登包士（Van Den Bos）证明，一维极大熵谱估计和自回归谱的最小二乘估计是等效的。尽管如此，伯格关于熵谱估计的概念和他对自回归参数的递推算法却独树一帜，随后还有人提出了各种改进算法，但要注意把极大熵概念本身同等法区别开来。 2．高斯过程的熵和熵率 假定我们研究的随机试验a只有有限个不相容的结果，它们相应的概率为，且满足，简单描述如下： 申农找到并证明了可以用这个量来度量的不肯定性的程度： 或简写成： 称为试验的熵 当随机变量的可能取值是连续的，则H定义式中的和式用积分代替 (5-1-1) 其中为随机变量，对数可以取10或取e为底，在比较熵的大小时并没有影响，下面为计算方便均以自然对数ln来定义，如x为正态随机变量，，则有 (5-1-2) 进一步，如果讨论的是时间序列的实现则这一过程的熵用下面N维积分表示： (5-1-3) 其中是联合概率密度函数，若时间序列是高斯的，则 (5-1-4) 其中为自协方差阵 (5-1-5) 它的i行j列元素为的均值，表均值向量。 将式（5-1-4）代入式（5-1-3）求过程x的熵 (5-1-6) 式（5-1-6）就是长度为N的正态时间序列的熵。若有正态白噪声（方差为），则 可求得其熵为 (5-1-7) 由于H随N增长而发散，定义熵率h为 (5-1-8) 故白噪声过程的熵率为 (5-1-9) 3．功率谱和熵率的关系 下面给出功率谱和熵率间的一些重要性质和关系。 （1）如果随机向量是随机向量，则由于 (5-1-10) 其中A是N×N非奇异矩阵，X的联合概率密度为，则由于 (5-1-11) 可得 (5-1-12) （2）若是一个稳定的因果系统的输入，该系统的传递函数为G(B)（这在单位园内无极点），系统单位脉冲响应为。设在时开始输入，因而系统输出是平稳的，以 (5-1-13) 其中 (5-1-14) 证明：若在t=0时开始输入，则系统输出为 (5-1-15) 。式（5-1-15）是随机变量