统计学习精要重点分析.docx

统计学习精要(The Elements of Statistical Learning)课堂笔记系列 课程教材：The Elements of Statistical Learning? HYPERLINK /~tibs/ElemStatLearn/ /~tibs/ElemStatLearn/ 授课人：复旦大学计算机学院 吴立德教授 ?统计学习精要(The Elements of Statistical Learning)?课堂笔记（一） 前两天微博上转出来的，复旦计算机学院的吴立德吴老师在开?统计学习精要(The Elements of Statistical Learning)?这门课，还在张江...大牛的课怎能错过，果断请假去蹭课...为了减轻心理压力，还拉了一帮同事一起去听，eBay浩浩荡荡的十几人杀过去好不壮观！总感觉我们的人有超过复旦本身学生的阵势，五六十人的教室坐的满满当当，壮观啊。 这本书正好前阵子一直在看，所以才会屁颠屁颠的跑过去听。确实是一本深入浅出讲data mining models的好书。作者网站上提供免费的电子版下载，爽！ HYPERLINK /~tibs/ElemStatLearn/ /~tibs/ElemStatLearn/ 从这周开始，如无意外我会每周更新课堂笔记。另一方面，也会加上自己的一些理解和实际工作中的感悟。此外，对于data mining感兴趣的，也可以去 HYPERLINK / coursera听课~貌似这学期开的machine learning评价不错。我只在coursera上从众选了一门 「Model Thinking」，相对来说比较简单，但是相当的优雅！若有时间会再写写这门课的上课感受。笔记我会尽量用全部中文，但只是尽量... ------------课堂笔记开始-------- 第一次上课，主要是导论，介绍这个领域的关注兴趣以及后续课程安排。对应本书的第一章。 1. 统计学习是？从数据中学习知识。简单地说，我们有一个想预测的结果(outcome)，记为Y，可能是离散的也可能是连续的。同时，还有一些观察到的特征(feature)，记为X，X既可能是一维的也可能是多维的。对于每一个观测个体，我们都会得到一个行向量?(x1,...,xp)?，对应它的p个特征的观测值，以及一个观测到的结果值?y?。如果总共有N个个体，那么我们对于每个个体都会得到这些值，则有?(y1,...,yn)T?为观测结果的列向量以及X (n*p)矩阵。这样的数据称之为训练数据集（training set）。这里更多是约定一些notation。 2. 统计学习分类？一般说来，我们有个观测到的结果Y，然后找到一个适合的模型根据X预测Y，这样的称之为有监督的学习（supervised learning）。而有些时候，Y是无法观测到的，那么只是通过X来学习，称之为无监督的学习（unsupervised learning）。这本书主要侧重有监督的学习。 3. 回归和分类器。这个主要和Y有关。如果Y为离散，比如红黄蓝不同颜色，则称之为分类器（学习模型）；反之，若Y为连续，比如身高，则称之为回归（学习模型）。这里更多只是称谓上的区别。 4. 统计学习的任务？预测。通过什么来预测？学习模型（learning models）。按照什么来学习？需要一定的准则，比如最小均方误差MSE，适用于分类器的0-1准则等。基于这些准则、优化过的实现方法称之为算法。 5. 统计学习举例？ 分类器：依据邮件发信人、内容、标题等判断是否为垃圾邮件； 回归：前列腺特异抗原(PSA)水平与癌症等因素的关系； 图形识别：手写字母的识别； 聚类：根据DNA序列判断样本的相似性，如亲子鉴定。 6. 课程安排顺序？ 第二章，是对于有监督的学习模型的概览。 第三章和第四章将讨论线性回归模型和线性分类器。 第五章将讨论广义线性模型（GLM）。 第六章涉及kernel方法和局部回归。 第七章是模型评价与选择。 第八章是测侧重算法，比如最大似然估计，bootstrap等。本学期预计讲到这里。所以后面的我就暂时不列出了。 目测第二节开始将变得越来越难，前阵子自学第二章痛苦不已啊...一个LASSO就折磨了我好久。当时的读书笔记见： HYPERLINK /%e9%99%8d%e7%bb%b4%e6%a8%a1%e5%9e%8b%e8%8b%a5%e5%b9%b2%e6%84%9f%e6%82%9f/ \o 降维模型若干感悟 降维模型若干感悟 --------10.15补充--------- 上周写的时候只是凭着记忆，笔记没在身边。今天重新翻了翻当时记下的课堂笔记，再补充一些吧。 第九章是可加模型，即?f(x1,...,xp)=f(x1)+...