斯坦福大学机器学习笔记完整版.pdfVIP

CS229

机器学习

(个人笔记)

目录

(1)线性回归、logistic回归和一般回归1

(2)判别模型、生成模型与朴素贝叶斯方法10

(3)支持向量机SVM（上）20

(4)支持向量机SVM（下）32

(5)规则化和模型选择45

(6)K-means聚类算法50

(7)混合高斯模型和EM算法53

(8)EM算法55

(9)在线学习62

(10)主成分分析65

(11)独立成分分析80

(12)线性判别分析91

(13)因子分析103

(14)增强学习114

(15)典型关联分析120

(16)偏最小二乘法回归129

这里面的内容是我在2011年上半年学习斯坦福大学《机器学习》课

程的个人学习笔记，内容主要来自AndrewNg教授的讲义和学习视

频。

另外也包含来自其他论文和其他学校讲义的一些内容。每章内容主

要按照个人学习时的思路总结得到。

由于是个人笔记，里面表述错误、公式错误、理解错误、笔误都会

存在。更重要的是我是初学者，千万不要认为里面的思路都正确。

如果有疑问的地方，请第一时间参考AndrewNg教授的讲义原文和

视频，再有疑问的地方可以找一些大牛问问。

博客上很多网友提出的问题，我难以回答，因为我水平确实有限，

更深层次的内容最好找相关大牛咨询和相关论文研读。

如果有网友想在我这个版本基础上再添加自己的笔记，可以发送

Email给我，我提供原始的worddocx版本。

另，本人目前在科苑软件所读研，马上三年了，方向是分布式计

算，主要偏大数据分布式处理，平时主要玩Hadoop、Pig、Hive、

Mahout、NoSQL啥的，

关注系统方面和数据库方面的会议。希望大家多多交流，以后会往

博客上放这些内容，机器学习会放的少了。

Anyway，祝大家学习进步、事业成功！

对回归方法的认识

JerryLead

csxulijie@

2011年2月27日

1摘要

本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识。前四

节主要讲述了回归问题，属于有监督学习中的一种方法。该方法的核心思想是从离散的统计

数据中得到数学模型，然后将该数学模型用于预测或者分类。该方法处理的数据可以是多维

的。

讲义最初介绍了一个基本问题，然后引出了线性回归的解决方法，然后针对误差问题做

了概率解释。

2问题引入

假设有一个房屋销售的数据如下：

面积(m^2)销售价钱（万元）

123250

150320

87160

102220

……

这个表类似于北京5环左右的房屋价钱，我们可以做出一个图，x轴是房屋的面积。y轴是

房屋的售价，如下：

如果来了一个新的面积，假设在销售价钱的记录中没有的，我们怎么办呢？

我们可以用一条曲线去尽量准的拟合这些数据，然后如果有新的输入过来，我们可以在

将曲线上这个点对应的值返回。如果用一条直线去拟合，可能是下面的样子：

1

绿色的点就是我们想要预测的点。

首先给出一些概念和常用的符号。

房屋销售记录表：训练集(trainingset)或者训练数据(trainingdata),是我们流程中的输入数据，

一般称为x

房屋销售价钱：输出数据，一般称为y

拟合的函数（或者称为假设或者模型）：一般写做y=h(x)

训练数据的条目数(#trainingset),：一条训练数据是由一对输入数据和输出