基于高斯-牛顿法的非线性最小二乘指南.docVIP

基于高斯-牛顿法的非线性最小二乘指南

一、非线性最小二乘问题概述

在科学研究与工程实践中，我们常常会遇到这样一类问题：需要根据一组观测数据，拟合一个非线性模型，使得模型的预测值与实际观测值之间的误差尽可能小。这类问题被统称为非线性最小二乘问题。

与线性最小二乘问题不同，非线性最小二乘问题的模型函数无法表示为参数的线性组合。例如，在化学动力学研究中，反应速率常数与温度之间的关系通常遵循阿伦尼乌斯公式：$k=Ae^{-E_a/(RT)}$，其中$k$是反应速率常数，$A$是指前因子，$E_a$是活化能，$R$是气体常数，$T$是绝对温度。如果我们要根据不同温度下测得的反应速率常数来估计$A$和$E_a$，这就是一个典型的非线性最小二乘问题。

非线性最小二乘问题的一般形式可以表示为：$$\min_{\boldsymbol{x}}S(\boldsymbol{x})=\sum_{i=1}^{m}r_i(\boldsymbol{x})^2$$其中，$\boldsymbol{x}\in\mathbb{R}^n$是待估计的参数向量，$m$是观测数据的数量，$r_i(\boldsymbol{x})=y_i-f(\boldsymbol{x},\boldsymbol{t}_i)$是残差函数，$y_i$是第$i$个观测值，$f(\boldsymbol{x},\boldsymb