《概率论与数理统计》第九章_回归分析_9.1.pptVIP

第九章 回归分析 §9.1 回归分析的基本概念与最小二乘法 上一页 下一页 概率论与数理统计教程（第四版） 目录 结束 返回 现实世界中,某个变量与其它一个或多个变量之间常存在着一定的关系.一般说来,变量之间的关系可分为两类: 确定性的关系(函数关系) 非确定性的关系 §9.1 回归分析的基本概念与最小二乘法 §9.1 回归分析的基本概念与最小二乘法 例如: 人的体重与身高 农作物单位面积的产量与施肥量 居民的消费水平与收入水平 这些变量间的关系都很密切,但却不能够用函数关系来表达.变量之间的这种非确定性关系称为相关关系. 对于具有相关关系的变量,虽然不能找到它们之间的精确表达式,但是通过大量的观测数据,可以发现它们之间存在一定的统计规律性,数理统计中研究变量之间相关关系的一种有效方法就是回归分析. 设有两个变量X 和Y ,其中X 是可以精确测量或控制的非随机变量,而Y 是随机变量, X 的变化将使Y 发生相应的变化,但它们之间的变化关系是不确定的,若当X 取得任一可能值 x 时, Y 相应地服从一定的概率分布,则称随机变量Y 与变量X 之间存在着相关关系. §9.1 回归分析的基本概念与最小二乘法 设进行n 次独立试验，测得试验数据如下表： §9.1 回归分析的基本概念与最小二乘法 §9.1 回归分析的基本概念与最小二乘法 §9.1 回归分析的基本概念与最小二乘法 §9.1 回归分析的基本概念与最小二乘法 §9.1 回归分析的基本概念与最小二乘法 §9.1 回归分析的基本概念与最小二乘法 §9.1 回归分析的基本概念与最小二乘法 §9.1 回归分析的基本概念与最小二乘法 §9.1 回归分析的基本概念与最小二乘法 思考题 什么是最大似然估计法？ 最大似然估计法与最小二乘法是否等价？ 当回归函数是参数的线性函数时, 在最小二乘估计中得到了关于参数的线性方程组. 那么, 这个线性方程组有唯一解吗？有唯一解的条件是什么？ §9.1 回归分析的基本概念与最小二乘法 通常把点画在直角坐标平面上,得到散点图如下: 我们的问题是,如何根据这组观测值用“最佳的”形式来表达变量与之间的相关关系? 比较合理的想法就是,取时随机变量的数学期望作为时的估计值,即 于是,我们的问题就归结为:如何根据试验数据合理地选择参数的估计值,使方程 在一定的意义下“最佳地”表现变量与之间的相关关系. 在中,分别求S对的偏导数,并令它们等于零,就得到 因为在n次独立试验中得到观测值,所以利用最大似然估计法估计未知参数时,我们有似然函数 解这个方程组,求出参数的估计值,即可得到回归方程.但是一般说来,解这个方程组是困难的,仅当回归函数是参数的线性函数时,方程组变成线性方程组,可以比较容易地求得这些参数的估计值. 解决上述问题的方法,可以利用所谓的最小二乘法,即要求选取中的参数,使得观测值与相应的函数值的偏差平方和为最小. 其中及分别是变量及随机变量在第次试验中的观测值. 显然,当变化时,是的函数,记作 于是,我们可以用一个确定的函数关系式 大致地描述与之间的相关关系,函数称为关于的回归函数,方程称为关于的回归方程.回归方程反映了的数学期望随的变化而变化的规律性. 然而,要找到合适的回归函数是很困难的,通常总是限制为某一类型的函数.函数的类型可以由与被研究问题的本质有关的物理假设来确定;若没有任何理由可以确定函数的类型,则只能根据在试验结果中得到的散点图来确定. 在确定了函数的类型后,就可以设 其中为未知参数. 我们从概率论的观点来说明最小二乘法的理论根据.设当变量取任意实数时,随机变量服从正态分布,即的概率密度为: 其中,而是不依赖于的常数. 要使似然函数L取得最大值,则应使上式指数中的平方和 取最小值.这就是说,为了使观测值出现的可能性最大,应当选择参数,使得观测值与相应的函数值的偏差平方和为最小.这就是最小二乘法的概率意义.