数据处理与 试验设计6教材编辑.ppt

2. 线性代数模型的回归分析方法; 这类经验模型大多数是线性代数模型，或可化为线性代数模型。因此，模型参数值的估计和模型检验常常采用回归分析方法。;对一组给定的实验数据，根据经验给出一个线性代数模型，确定变量与自变量之间的定量关系，即确定待定参数值； 对所建立方程的可信度进行统计检验； 从影响某一观测变量的许多自变量中，判断哪些变量对观察变量的影响是显著的，哪些是不显著的； 建立“最优”回归方程的方法——逐步回归方法； 5. 利用所得的回归模型进行预测和控制；; “黑箱”的输入就是一些自变量的因子x1、x2、x3、??????xp，输出就是观察变量y。虽然不能确切知道过程内部机理，但观察变量总可以表示为因子x1、x2、x3、??????xp的一个函数：;1. 模型对参数b是线性的，对自变量x 是非线性的，如：;本章中讨论的线性模型均是指对参数是线性的，通式可表达为： ; 利用经验模型描述一个具体过程有一定的任意性。主要是表现在函数选择上的任意性。;; 从数学上可以知道，如果有M个实验点，在理论上必定可以用一个高于M-1阶的多项式去拟合实验数据，并使所有的实验点都准确无误地落在该多项式的曲线上，经验告诉我们，由于实验测定存在误差，这样的曲线并不合理，曲线应该平滑地在实验点之间穿过。在无特殊的理论依据时，相邻的二个实验点之间不应该出现剧烈的振荡。所以，经常采用的方法是选择较低的多项式函数来拟合实验数据。但是，若所选择的多项式的阶数太低，也是不合理的。因此，如何选择适当的经验模型的函数形式是建立经验模型的一个重要而又麻烦的问题。所介绍的回归分析方法也只能解决这个困难问题的一部分，在许多情况下还是要依赖专业方面的经验。;2.2 线性代数模型参数的最小二乘估计法; 参数估计的任务就是要从M个实验数据中去寻找模型参数b0、b1、b2、??????bp的值。; 事实上，实验测定值总会存在误差，所以，对任何一个实验点来说，它并不是准确无误地等于模型的理论计算值。在M?p+1 时; 根据实验点的误差具体情况去求待定参数的估计值; 最佳的参数估计值不仅应该使残差??j ?小，而且应该使残差与实验误差?j的分布相当。; 线性代数模型的最小二乘估计值就是一种最佳估计值，它具有统计上的: 无偏性 有效性 当模型能正确描述过程，且参数估计值也为模型真值时，则残差?j等于实验误差?j。;最小 ;当;最小二乘估计值，就是使观察变量与回归值之间的偏差平方和最小的参数估计值 ;;正规方程组 ;;结构矩阵 (实验矩阵 ) ;实验数据表;;正规方程组 ;在系数矩阵;2.3 参数最小二乘估计值的数学期望和方差;2.3.1 最小二乘估计值 的数学期望;;2.3.2最小二乘估计值的方差; 方差是一矩阵，该矩阵对角上是各个参数的方差，非对角元是两个参数之间的协方差，称为参数方差协方差矩阵(简称协方差矩阵)。;;;;(参数的相关矩阵) ;y=b0+b1x1+b2x2+??????bpxp; 当模型能正确描述过程，且参数估计值也为模型真值时，则残差?j等于实验误差?j。所以最佳的参数估计值：;线性代数模型的最小二乘估计值-无偏性和有效性;;;;;;;;; 根据概率论的知识，可知方差的大小表示随机变量值波动的大小。从上述参数协方差矩阵计算式可看出，回归系数的波动大小不仅与误差的方差有关，而且还取决于实验数据中自变量与差。如果x值较分散，?x大，则方差的波动小（或者说方差小），可见估计值比较精确；反之，若自变量x是在一个较小的范围内取得，则就不会很精确。参数的方差不仅和?及x取值范围的大小有关，而且还与实验点数M有关。旦x值越分散，估计值就越精确。 ，的协方差Con(,)表示参数和之间的相关程度。通过上述讨论，为减少参数之间的相关程度和参数估计值的方差，除减小实验误差方差和增加实验点以外，还可以通过合理安排实验点的位置来达到。; 在实际问题中，尽管可以根据专业知识和经验做出观测变量y与自变量x1、x2、……、xp之间是否存在线性关系的假设，但是，在建立了回归方程以后，还是需要对是否确实存在线性关系计检验，即用方差分析的方法给出肯定或者否定的结论。; 观察变量y1、y2，……，yM之间的差异，是由两个方面引起的：;总的偏差平方和具有M-1个自由度 ;S总=S回+S残 ; 对M个实验点，总的偏差平方和具有M-1个自由度，回归平方和的自由度为p，残差平方和的自由度为M-p-1。在统计分析中，自由度是一个极其重要的概念，通常可以认为自由度等于变量个数减去加在该平方和算式上的约束条件数。总的偏差平方和中的约束条件是一个，所以，总的偏差平方和的