神经网络与回归方法分析(数学建模)选编.doc

 PAGE \* MERGEFORMAT 25 1 多元回归与神经网络的应用 摘要 本文主要是通过整理分析数据,以得出题目中所给出的与的函数关系.由于数据并不是很充足，我们选择了所有数据为样本数据和部分数据为验证数据。我们首先采用了多元回归方法，由于数据之间并没有明显的线性或者其它函数关系，模型很难选择，得到的结论对于来说残值偏大，效果很差，于是我们引用了BP神经网络，经过选择合适的参数，多次训练得到合适的网络，拟合得到了相对精确的结果，并进行了验证，最后将三种模型进行了对比。 关键字: 多元线性回归 多元非线性回归 最小二乘法 牛顿法 BP神经网络 1.问题重述 现实生活中,由于客观事物内部规律的复杂性及人们认识程度的限制,人们常收集大量的数据,基于数据的统计分析建立合乎基本规律的数学模型,然后通过计算得到的模型结果来解决实际问题.回归分析法和神经网络是数学建模中常用于解决问题的有效方法.本文要解决的主要问题是:通过对所给数据的分析,分别用回归方法或神经网络来确立与之间的函数关系，并验证结论。 2.问题分析 题目要求我们使用神经网络或回归方法来做相关数据处理，相比较之下，我们对回归方法比较熟悉，所以首先选取了回归方法。得到相关函数，并分析误差，再利用神经网络模型建立合理的网络，进行误差分析并和前者比较，得出合理的结论。 3.符号说明 的自变量个数回归系数残差Q偏差平方和分别为两个变量序列的均值第一层网络与第二层网络之间的权值第二层神经元的阈值第二层与第三层之间的权值第三层神经元的阈值第二层与第三层权值调整量第二层与第三层阈值调整量第一层与第二层权值调整量第一层与第二层阈值调整量 Logsig函数Tansig函数偏差平方和观察值回归值估计参数回归平方和（p-1）个变量所引起的回归平方和（即除去） 偏回归平方和 4.模型建立与求解 4.1多元回归方法 它是研究某个变量与另一些变量的函数关系.主要内容是从一组样本数据出发,通过合理分析得到正确的函数关系，建立相应的表达式，并通过相关软件处理得到相应的系数。 4.1.1多元线性回归方法 1.回归模型的一般形式为：Y= 其中是待估计参数，e是随机误差即残差。残差服从均数为0，方差为的正态分布。这就是线性回归的数学模型。 ，，，， 那么多元线性回归数学模型可也写成矩阵形式： 其中的分量是独立的。 2.参数的最小二乘估计.为了估计参数，我们采用最小二乘估计法.设分别是参数的最小二乘估计，则回归方程为 由最小二乘法知道，应使得全部观察值与回归值的偏差平方和Q达到最小，即使 =最小 所以Q是的非负二次式，最小值一定存在。根据微积分中的极值原理，应是下列正规方程组的解： 显然，正规方程组的系数矩阵是对称矩阵，用A来表示，则，则其右端常数项矩阵B亦可以用矩阵X和Y来表示：，所以可以得到回归方程的回归系数： 3.由于利用偏回归方程和可以衡量每个变量在回归中所起的作用大小（即影响程度），设是p个变量所引起的回归平方和，是（p-1）个变量所引起的回归平方和（即除去），则偏回归平方和为 就是去掉变量后，回归平方和所减少的量。 4.建立模型 模型的求解 我们通过MATLAB，求得其回归系数，并最终得到与的函数关系： 同时通过MATLAB可以得出与的误差结果如下： 由此,我们可得出结论,采用多元线性回归得出的函数关系对于残差太大,效果很差,对于的拟合也并不是很完美。 4.1.2非线性回归方法 1.数据标准化 我们选用的是非线性模型LSE的Gauss-Newton算法： 采用Z-score标准化法，即对序列进行变换： ， （1其中，，，则构成新序列，均值为0，方差为1. 。 首先考虑单参数的非线性回归模型： 其残差平方和函数为 要使取极小值，则令其一阶导数为0，来求.一个近似的方法是用Taylor近似展开来代替。设的初值为，则在点附近函数有近似Taylor展式： 可以求的其导数值，简记为： 则 即为线性回归 的残差和.上式被称为拟线