安全监控(线性回归、陀螺仪)安全监控(线性回归、陀螺仪).docVIP

线性回归[编辑] 带有一个自变量的线性回归 在统计学中，线性回归是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归。（这反过来又应当由多个相关的因变量预测的多元线性回归区别[来源请求]，而不是一个单一的标量变量。） 在线性回归中，数据使用线性预测函数来建模，并且未知的模型参数也是通过数据来估计。这些模型被叫做线性模型。最常用的线性回归建模是给定X值的y的条件均值是X的仿射函数。不太一般的情况，线性回归模型可以是一个中位数或一些其他的给定X的条件下y的条件分布的分位数作为X的线性函数表示。像所有形式的回归分析一样，线性回归也把焦点放在给定X值的y的条件概率分布，而不是X和y的联合概率分布（多元分析领域）。 线性回归是回归分析中第一种经过严格研究并在实际应用中广泛使用的类型。这是因为线性依赖于其未知参数的模型比非线性依赖于其位置参数的模型更容易拟合，而且产生的估计的统计特性也更容易确定。 线性回归有很多实际用途。分为以下两大类： 如果目标是预测或者映射，线性回归可以用来对观测数据集的和X的值拟合出一个预测模型。当完成这样一个模型以后，对于一个新增的X值，在没有给定与它相配对的y的情况下，可以用这个拟合过的模型预测出一个y值。 给定一个变量y和一些变量X1,...,Xp，这些变量有可能与y相关，线性回归分析可以用来量化y与Xj之间相关性的强度，评估出与y不相关的Xj，并识别出哪些Xj的子集包含了关于y的冗余信息。 线性回归模型经常用最小二乘逼近来拟合，但他们也可能用别的方法来拟合，比如用最小化“拟合缺陷”在一些其他规范里（比如最小绝对误差回归），或者在桥回归中最小化最小二乘损失函数的惩罚。相反，最小二乘逼近可以用来拟合那些非线性的模型。因此，尽管“最小二乘法”和“线性模型”是紧密相连的，但他们是不能划等号的。 理论模型[编辑] 给一个随机样本，一个线性回归模型假设回归子和回归量之间的关系是除了X的影响以外，还有其他的变量存在。我们加入一个误差项（也是一个随机变量）来捕获除了之外任何对的影响。所以一个多变量线性回归模型表示为以下的形式： 其他的模型可能被认定成非线性模型。一个线性回归模型不需要是自变量的线性函数。线性在这里表示的条件均值在参数里是线性的。例如：模型在和里是线性的，但在里是非线性的，它是的非线性函数。 数据和估计[编辑] 区分随机变量和这些变量的观测值是很重要的。通常来说，观测值或数据（以小写字母表记）包括了n个值 . 我们有个参数需要决定，为了估计这些参数，使用矩阵表记是很有用的。 其中Y是一个包括了观测值的列向量，包括了未观测的随机成份以及回归量的观测值矩阵： X通常包括一个常数项。 如果X列之间存在线性相关，那麽参数向量就不能以最小二乘法估计除非被限制，比如要求它的一些元素之和为0。 古典假设[编辑] 样本是在母体之中随机抽取出来的。 因变量Y在实直线上是连续的， 残差项是独立且相同分布的(iid)，也就是说，残差是独立随机的，且服从高斯分布。 这些假设意味着残差项不依赖自变量的值，所以和自变量X（预测变量）之间是相互独立的。 在这些假设下，建立一个显示线性回归作为条件预期模型的简单线性回归，可以表示为： 最小二乘法分析[编辑] 主条目：最小二乘法 最小二乘法估计[编辑] 回归分析的最初目的是估计模型的参数以便达到对数据的最佳拟合。在决定一个最佳拟合的不同标准之中，最小二乘法是非常优越的。这种估计可以表示为： 回归推论[编辑] 对于每一个，我们用代表误差项的方差。一个无偏误的估计是： 其中是误差平方和（残差平方和）。估计值和实际值之间的关系是： 其中服从卡方分布，自由度是 对普通方程的解可以冩为： 这表示估计项是因变量的线性组合。进一步地说，如果所观察的误差服从正态分布。参数的估计值将服从联合正态分布。在当前的假设之下，估计的参数向量是精确分布的。 其中表示多变量正态分布。 参数估计值的标准差是： 参数的置信区间可以用以下式子来计算： 误差项可以表示为： 单变量线性回归[编辑] 单变量线性回归，又称简单线性回归（simple linear regression, SLR），是最简单但用途很广的回归模型。其回归式为： 为了估计和，我们有一个样本 最小二乘法就是将未知量残差平方和最小化： 分别对和求导得到正规方程： 此线性方程组可以用克莱姆法则来求解： 协方差矩阵是： 平均响应置信区间为： 预报响应置信区间为： 方差分析[编辑] 在方差分析（ANOVA）中，总平方和分解为两