神经网络与回归方法(数学建模)案例.docVIP

多元回归与神经网络的应用 摘要 本文主要是通过整理分析数据,以得出题目中所给出的与的函数关系.由于数据并不是很充足，我们选择了所有数据为样本数据和部分数据为验证数据。我们首先采用了多元回归方法，由于数据之间并没有明显的线性或者其它函数关系，模型很难选择，得到的结论对于来说残值偏大，效果很差，于是我们引用了BP神经网络，经过选择合适的参数，多次训练得到合适的网络，拟合得到了相对精确的结果，并进行了验证，最后将三种模型进行了对比。 关键字: 多元线性回归 多元非线性回归 最小二乘法 牛顿法 BP神经网络 1.问题重述 现实生活中,由于客观事物内部规律的复杂性及人们认识程度的限制,人们常收集大量的数据,基于数据的统计分析建立合乎基本规律的数学模型,然后通过计算得到的模型结果来解决实际问题.回归分析法和神经网络是数学建模中常用于解决问题的有效方法.本文要解决的主要问题是:通过对所给数据的分析,分别用回归方法或神经网络来确立与之间的函数关系，并验证结论。 2.问题分析 题目要求我们使用神经网络或回归方法来做相关数据处理，相比较之下，我们对回归方法比较熟悉，所以首先选取了回归方法。得到相关函数，并分析误差，再利用神经网络模型建立合理的网络，进行误差分析并和前者比较，得出合理的结论。 3.符号说明 的自变量个数 回归系数 残差 Q 偏差平方和 分别为两个变量序列的均值 第一层网络与第二层网络之间的权值 第二层神经元的阈值 第二层与第三层之间的权值 第三层神经元的阈值 第二层与第三层权值调整量 第二层与第三层阈值调整量 第一层与第二层权值调整量 第一层与第二层阈值调整量 Logsig函数 Tansig函数 偏差平方和 观察值 回归值 估计参数 回归平方和 （p-1）个变量所引起的回归平方和（即除去） 偏回归平方和 4.模型建立与求解 4.1多元回归方法 它是研究某个变量与另一些变量的函数关系.主要内容是从一组样本数据出发,通过合理分析得到正确的函数关系，建立相应的表达式，并通过相关软件处理得到相应的系数。 4.1.1多元线性回归方法 1.回归模型的一般形式为：Y 其中是待估计参数，e是随机误差即残差。残差服从均数为0，方差为的正态分布。这就是线性回归的数学模型。 ，，，， 那么多元线性回归数学模型可也写成矩阵形式： 其中的分量是独立的。 2.参数的最小二乘估计.为了估计参数，我们采用最小二乘估计法.设分别是参数的最小二乘估计，则回归方程为 由最小二乘法知道，应使得全部观察值与回归值的偏差平方和Q达到最小，即使 最小 所以Q是的非负二次式，最小值一定存在。根据微积分中的极值原理，应是下列正规方程组的解： 显然，正规方程组的系数矩阵是对称矩阵，用A来表示，则，则其右端常数项矩阵B亦可以用矩阵X和Y来表示：，所以可以得到回归方程的回归系数： 3.由于利用偏回归方程和可以衡量每个变量在回归中所起的作用大小（即影响程度），设是p个变量所引起的回归平方和，是（p-1）个变量所引起的回归平方和（即除去），则偏回归平方和为 就是去掉变量后，回归平方和所减少的量。 4.建立模型 模型的求解 我们通过MATLAB，求得其回归系数，并最终得到与的函数关系： 同时通过MATLAB可以得出与的误差结果如下： 由此,我们可得出结论,采用多元线性回归得出的函数关系对于残差太大,效果很差,对于的拟合也并不是很完美。 4.1.2非线性回归方法 1.数据标准化 我们选用的是非线性模型LSE的Gauss-Newton算法： 采用Z-score标准化法，即对序列进行变换： ， （1其中，，，则构成新序列，均值为0，方差为1. 。 首先考虑单参数的非线性回归模型： 其残差平方和函数为 要使取极小值，则令其一阶导数为0，来求.一个近似的方法是用Taylor近似展开来代替。设的初值为，则在点附近函数有近似Taylor展式： 可以求的其导数值，简记为： 则 即为线性回归 的残差和.上式被称为拟线性模型.其最小二乘估计是 如果我们有的初值，就可以得到另一个新值，进而可以得到一个序列，写出一个迭代表达式，即与的关系。若在迭代过程中有 ，即的一阶导数为0，此时取得一个极值。 为了避免迭代时间过长或迭代来回反复，可以引入进步长控制函数， 由计算机程序根据误差自动调整.上述算法一般称为Gauss-Newton算法. 2.建立非线性回归模型：采用多元二次多项式函数 设函数： 通过Gauss-Newton算法和MATLAB计算最终得出以下结果： 通过MATLAB编写相应程序所得结果如下： 的残差图 由图可以明显看出误差很大，拟合效果不好。综合多元非线性和多元线性这两种模型，我们可以发现并不适合这两种模型，