- 1、本文档共8页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
《系统辨识》第16讲要点
第7章 梯度校正参数辨识方法
7.6 随机逼近法
随机逼近原理
考察以下模型的辨识问题:
其中,为均值为零的噪声。
定义准则函数:
求该准则函数的负梯度,得:
令上式为零,有:
(A)
则可求得使得的参数估计值。
一般来说,由于噪声的统计性质是未知的,因此方程(A)无法得到精确的解,随机逼近参数估计法要解决的问题就是如何用随机逼近原理来求解方程(A)。
回归函数:设和是两个随机变量(向量),是可以观测的,不可观测,但与之间有一定的统计关系。我们希望用的某一函数来作为的预测,记作,使得达到最小。若满足:,则称为的最佳均方预测。
定理:若存在,则。称:
为关于的回归,或称为关于的回归函数。
证明:等价于证明对于任意的Borel可测函数(连续函数),有:
由于:
而
因此有:
故:,即条件数学期望是对的最佳均方预测。
例如:设,用预测,求。
解:先求关于的条件分布密度,
即
因此得:
。
当我们观察到的值为时,即时,则是一切对的估计值中在均方意义下误差最小的一个。
随机逼近原理:给定,设方程:
(B)
有唯一的解。解析解不好求,我们可以取的样本值,以及对应的样本值,记为,通过迭代,逐步逼近上述方程的解。
Robbins-Monro算法:
(C)
其中:称为收敛因子。如果满足:
(D)
则由(C)确定的在均方意义下收敛于方程(B)的解。
一般取:
另外:当满足以下条件时
由(C)确定的满足:
Kiefer-Wolfowitz算法:
目的:确定回归函数的极值点。
(E)
若收敛因子满足条件(D),则由(E)确定的收敛到回归函数的极值点。
考察准则函数的极值问题,若在点上取得极值,则的迭代算法为:
(F)
若收敛因子满足条件(D),则在均方意义下收敛于真值,即
随机逼近参数估计方法
考察参数辨识问题:
(G)
设准则函数为:
其中:为标量函数;表示时刻以前的输入输出数据集合。
准则函数的一阶负梯度为:
则参数辨识问题(G)可以归结为求解以下方程
由随机逼近原理,可得:
其中为满足条件(D)的收敛因子。
若具体的准则函数取:
则有:
下面考察以下参数辨识问题:
(H)
其中:是均值为零,方差为的白噪声,输入输出带有噪声,即
其中和分别是均值为零,方差为和的白噪声,并且、、和两两不相关,且
令:
则模型(H)化为最小二乘格式:
其中的噪声具有以下性质:
取准则函数:
利用随机逼近原理,可得参数值的随机逼近算法:
(I)
收敛因子必须满足条件(D),一般取或。
注意,(I)式算法所获得的参数估计是有偏的估计,因为有:
因为
由此可以得到修正的无偏算法(RSAA):
(J)
可以证明由(J)获得的估计值在均方意义下是一致收敛的,即
随机牛顿法
研究随机逼近法的估计式子:
假定取定收敛因子,则当搜索点接近准则函数的极小值时,这种算法的收敛速度变得很慢,为此我们可以采用如下牛顿算法:
(K)
其中:表示准则函数的关于的二阶导数,称为Hessian矩阵,它是一对称矩阵。
若准则函数是一确定性函数,则牛顿算法(K)有较快的收敛速度和辨识精度。若准则函数取回归函数,即,则Hessian矩阵不易求,因此牛顿算法不能适用。一般来说,对于随机问题,我们采用以下随机牛顿算法
其中:
且是Hessian矩阵在点上的近似形式,在特定的准则函数下,它可以用随机逼近法确定。
下面考察以下辨识问题:
取准则函数:
则有:
且Hessian矩阵为:
设是Hessian矩阵在时刻的估计值,则有
由Robbins-Monro算法,得的随机逼近算法:
于是得到模型的随机牛顿算法(SNA)如下:
其中为满足条件(D)的收敛因子。
注意:随机牛顿法可以揭示许多辨识算法的内在统一性,从而导致辨识递推算法的一般结构,我们以后将涉及这方面的内容。
1
您可能关注的文档
- 《变态心理学》笔记.doc
- 《变态心理学》考纲笔记.doc
- 《健康心理学》笔记补充.doc
- 《健康心理学》表格.doc
- 《健康心理学》大纲.doc
- 《健康心理学》总提纲.doc
- 《临床心理学》笔记.doc
- 《临床心理学》笔记2.doc
- 《临床心理学》复习题.doc
- 《临床心理学》整理.doc
- 《GB/T 32151.42-2024温室气体排放核算与报告要求 第42部分:铜冶炼企业》.pdf
- GB/T 32151.42-2024温室气体排放核算与报告要求 第42部分:铜冶炼企业.pdf
- GB/T 38048.6-2024表面清洁器具 第6部分:家用和类似用途湿式硬地面清洁器具 性能测试方法.pdf
- 中国国家标准 GB/T 38048.6-2024表面清洁器具 第6部分:家用和类似用途湿式硬地面清洁器具 性能测试方法.pdf
- 《GB/T 38048.6-2024表面清洁器具 第6部分:家用和类似用途湿式硬地面清洁器具 性能测试方法》.pdf
- 《GB/T 18238.2-2024网络安全技术 杂凑函数 第2部分:采用分组密码的杂凑函数》.pdf
- GB/T 18238.2-2024网络安全技术 杂凑函数 第2部分:采用分组密码的杂凑函数.pdf
- 《GB/T 17215.686-2024电测量数据交换 DLMS/COSEM组件 第86部分:社区网络高速PLCISO/IEC 12139-1配置》.pdf
- GB/T 13542.4-2024电气绝缘用薄膜 第4部分:聚酯薄膜.pdf
- 《GB/T 13542.4-2024电气绝缘用薄膜 第4部分:聚酯薄膜》.pdf
文档评论(0)