工程数学第22讲.pptVIP

工程数学第22讲 §3 一元线性回归 在客观世界中普遍存在着变量之间的关系. 变量之间的关系一般来说可分为确定性的与非确定性的两种. 确定性关系是指变量之间的关系可以用函数关系来表达的. 另一种非确定性的关系即所谓相关关系. 例如人的身高与体重之间存在着关系, 一般来说, 人高一些, 体重要重一些, 但同样高度的人, 体重往往不相同. 人的血压与年龄之间也存在着关系, 但同年龄的人的血压往往不同. 这些变量关系都是非确定性的. 回归分析是研究相关关系的一种数学工具. 能够帮助我们从一个变量取得的值估计另一变量所取的值. (一)一元线性回归 设随机变量Y与x之间存在着某种相关关系. 这里, x是可以控制或可以精确观察的变量, 如年龄, 试验时的温度, 施加的压力, 电压与时间等等. 即可以随意指定n个值x1,x2,...,xn. 因此干脆不把x看成随机变量, 而将它当作普通的变量.若Y的数学期望E(Y)存在, 其值随x的取值而定, 是x的函数, 将此函数记为mY|x 或 m(x), 称为Y关于x的回归函数, 讨论E(Y)=m(x)与x的函数关系. 对x取定一组不完全相同的值x1,x2,...,xn, 设Y1,Y2,...,Yn分别是在x1,x2,...,xn处对Y的独立观察的结果, 称 (x1,Y1),(x2,Y2),...,(xn,Yn) (3.1)是一个样本, 对应的样本值记为 (x1,y1),(x2,y2),...,(xn,Yn).现希望知道m(x)的形式, 在一些问题中, 可由专业知识知道, 否则, 可将每对观察值(xi,yi)在直角坐标系中描出它的相应的点, 这种图称为散点图. 例1 为研究某一化学反应过程中, 温度x(°C)对产品得率Y(%)的影响, 测得数据如下. 这里自变量x是普通变量, Y是随机变量. 由散点图大致看出m(x)具有线性函数a+bx的形式.设Y关于x的回归函数为m(x). 利用样本来估计m(x)的问题称为求Y关于x的回归问题. 特别, 若m(x)为线性函数: m(x)=a+bx, 此时估计m(x)的问题称为求一元线性回归问题. 假设对于x(在某个区间内)的每个值有 Y~N(a+bx, s2),其中a,b及s2都是不依赖于x的未知参数. 记e=Y-(a+bx), 对Y作这样的正态假设, 相当于假设 Y=a+bx+e, e~N(0,s2), (3.2)其中未知参数a,b及s2都不依赖于x. (3.2)称为一元线性回归模型, 其中b称为回归系数.则Y由两部分组成, 一部分是x的线性函数a+bx, 另一部分e~N(0,s2)是随机误差, 是人们不可控制的. (二)a,b的估计 取x的n个不全相同的值x1,x2,...,xn作独立试验, 得到样本(x1,Y1),(x2,Y2),...,(xn,Yn). 由(3.2)式 Yi=a+bxi+ei, ei~N(0,s2), 各ei相互独立, (3,3)于是Yi~N(a+bxi,s2), i=1,2,...,n. 由Y1,Y2,...,Yn的独立性知Y1,Y2,...,Yn的联合密度为 现用最大似然估计法来估计未知参数a,b. 对于任意一组观察值y1,y2,...,yn, (3.4)式就是样本的似然函数. 显然, 要L取最大值, 只要(3.4)右端方括弧中的平方和部分为最小, 即只需 取最小值. 令Q关于a,b的偏导数等于零: 得方程组 (3.7)式称为正规方程组. 由于xi不全相同, 正规方程组的系数行列式 故(3.7)有唯一的一组解. 解得b,a的最大似然估计值为 称为Y关于x的经验回归方程, 简称回归方程, 其图形称为回归直线. 今后将视方便而使用(3.9)或(3.10). 为了计算上的方便, 引入下述记号: 这样a,b的估计值可写成 例2(续例1) 设在例1中的随机变量Y符合(3.2)所述的条件, 求Y关于x的线性回归方程.解 现在n=10, 所需计算列表如下(表9.17): 于是得到回归直线方程 (三)s2的估计由(3.2),E{[Y-(a+bx)]2}=E(e2)=D(e)+[E(e)]2=s2这表示s2愈小, 以回归函数m(x)=a+bx作为Y的近似导致的均方误差就愈小. 这样, 利用回归函数m(x)=a+bx去研究随机变量Y与x的关系就愈有效. 然而s2是未知的, 因而需要利用样本去估计s2. 为了计算Qe, 将Qe作如下分解: 可以证明, 作为统计量的残差平方和Qe服从分布 即知E(Qe/(n-2))=s2. 这样就得到了s2的无偏估计量: 例3(续例2) 求例2中s2的无偏估计.解 由表9.17, 得 (四)线性假设的显著性检验 在以上的讨论中, 我们假定了关于