机器学习—常见的几种回归分析.pdf

回归学习 School of Information and Mathematics 2 of 内容概要 36 1、线性回归 2、多元线性回归 3、代价函数 4、多项式回归 5、逻辑回归 6、岭（Ridige ）回归 7、Lasso回归 8、ElasticNet回归 3 of 回归学习 36  回归属于有监督学习中的一种方法。该方法 的核心思想是从连续型统计数据中得到数学 模型，然后将该数学模型用于预测或者分类。 该方法处理的数据可以是多维的。  回归是由达尔文的表兄弟Francis Galton发明的。Galton于1877年完成了第一 次回归预测，目的是根据上一代豌豆的种子（双亲）的尺寸来预测下一代豌豆 种子（孩子）的尺寸（身高）。Galton在大量对象上应用了回归分析，甚至包 括人的身高。他得到的结论是：如果双亲的高度比平均高度高，他们的子女也 倾向于平均身高但尚不及双亲，这里就可以表述为：孩子的身高向着平均身高 回归。Galton在多项研究上都注意到了这一点，并将此研究方法称为回归。 4 of 线性回归介绍 36 例子 假如你刚刚搬到学校，需要知道在你学校周围的房价，设计 一个数据回归程序。 距离学校的距 卧室数目 房租 离 2.30km 1 1600 5.06km 2 2000 4.33km 2 2100 1.09km 1 1500 … 1.50km 1 ? 2.70km 1.5 ? 5 of 线性回归介绍 36 例子 假如你刚刚搬到学校，需要知道在你学校周围的房价，设 计一个数据回归程序。 房 房 租 租 1.0/距离 房间 距离 6 of 回归学习 36 问题引入 假设有一个房屋销售的数据如下： 如果来了一个新的面积，假设在销售价钱的 记录中没有的，怎么处理？ 面积(m^2) 销售价钱 （万元） 解决方法：用一条曲线去尽量准的拟合这些 数据，然后如果有新的输入过来，我们可以 123 250 在将曲线上这个点对