从线性回归到神经网络.pdfVIP

作者： 武汉大学遥感信息工程学院硕士研究生 王艺程 日期： 2015年10月 邮箱： wyc@ 0.从线性回归到深度学习 0.1. 一元线性回归 • 假如有数据（X,Y ）,想用X预测Y 的值，采用一个超简单的预测模型： = 在这个给定模型下，总会有一个合适的w值，使得估计值Y与真实值尽量 接近，怎么得到这个合适的w值呢？ 训练样本少时，可以使用协方差矩阵帽子矩阵拉格朗日乘数法最小二乘法balabala… 训练样本很多时，可以介样做： （迭代更新） 随机给定初始w值，逐一查看训练样本并更新w值，变化量 ∆ = − 也就是每次都微调一点w ，使得当前一组样本数据下Y和Y更接近一些。