机器学习中的数学的.pdf

1 / 41 机器学习中的数学(1)(1)- 回归(regression)、梯度下降(gradient descent)(gradient descent) 前言: 这个系列主要想能够用数学去描述机器学习这个系列主要想能够用数学去描述机器学习，想要学好机器学习，首先得去理解其中的数学意义首先得去理解其中的数学意义， 不一定要到能够轻松自如的推导中间的公式不一定要到能够轻松自如的推导中间的公式，不过至少得认识这些式子吧，不然看一些相关的论不然看一些相关的论 文可就看不懂了，这个系列主要将会着重于去机器学习的数这个系列主要将会着重于去机器学习的数学描述这个部分，将会覆盖但不一定将会覆盖但不一定 局限于回归、聚类、分类等算法分类等算法。 回归与梯度下降： 回归在数学上来说是给定一个点集回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是如果这个曲线是 一条直线，那就被称为线性回归那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归就被称为二次回归， 回归还有很多的变种，如如locally weighted 回归，logistic 回归，等等等等，这个将在 后面去讲。 用一个很简单的例子来说明回归用一个很简单的例子来说明回归，这个例子来自很多的地方，也在很多的也在很多的open source 的软件中看到，比如说比如说weka 。大概就是，做一个房屋价值的评估系统做一个房屋价值的评估系统， 一个房屋的价值来自很多地方自很多地方，比如说面积、房间的数量 （几室几厅几室几厅）、地段、 朝向等等，这些影响房屋价值的变量被称为特征这些影响房屋价值的变量被称为特征(feature)，featurefeature 在机器学习中 是一个很重要的概念，有很多的论文专门探讨这个东西有很多的论文专门探讨这个东西。在此处，，为了简单，假 设我们的房屋就是一个变量影响的设我们的房屋就是一个变量影响的，就是房屋的面积。 假设有一个房屋销售的数据如下假设有一个房屋销售的数据如下： 面积(m^2) 销售价钱 （万元万元） 123 250 150 320 87 160 102 220 这个表类似于帝都5 环左右的房屋价钱环左右的房屋价钱，我们可以做出一个图，xx 轴是房屋的面 积。y 轴是房屋的售价，，如下： 2 / 41 如果来了一个新的面积，，假设在销售价钱的记录中没有的，我们怎么办呢我们怎么办呢？ 我们可以用一条曲线去尽量准的拟合这些数据我们可以用一条曲线去尽量准的拟合这些数据，然后如果有新的输入过来然后如果有新的输入过来，我们 可以在将曲线上这个点对应的值返回可以在将曲线上这个点对应的值返回。如果用一条直线去拟合，可能是下面的样可能是下面的样 子： 绿色的点就是我们想要预测的点绿色的点就是我们想要预测的点。 首先给出一些概念和常用的符号首先给出一些概念和常用的符号，在不同的机器学习书籍中可能有一定的在不同的机器学习书籍中可能有一定的差别。 房屋销售记录表 - 训练集训练集(training set)或者训练数据(training data), (training data), 是我们流程 中的输入数据，一般称为一般称为x 房屋销售价钱 - 输出数据输出数据，一般称为y 拟合的函数 （或者称为假设或者模型或者称为假设或者模型），一般写做 y = h(x) 训练数据的条目数(#training set), (#training set), 一条训练数据是由一对输入数据和输出数据组一条训练数据是由一对输入数据和输出数据组 成的 输入数据的维度(特征的个数特征的个数，