MACHINE LEARNING中用到的数学知识（包括拓扑流形）.docVIP

最近被一篇JMLR的论文折磨得欲仙欲死，想想还是数学没学好，翻出以前看过的一个博客，希望对想做机器学习的有点帮助。特别是我们系的新生，你们刚入学某系老师肯定会告诉你统计现在多么牛逼，多么交叉学科，应用广泛。但是他们什么都不懂，除了告诉你几个八十年代的名词和一些误人子弟的“心得”。这篇博客主要写了机器学习的数学体系，统计里面很多，如Bayesian，statistical learning之类的都没涉及，还有一些computational concern，approximation以及optimization之类的都没涉及，有空写一写。 ? From:?/default.aspx ?1.?线性代数?(Linear Algebra)： 我想国内的大学生都会学过这门课程，但是，未必每一位老师都能贯彻它的精要。这门学科对于Learning是必备的基础，对它的透彻掌握是必不可少的。我在科大一年级的时候就学习了这门课，后来到了香港后，又重新把线性代数读了一遍，所读的是 Introduction to Linear Algebra (3rd Ed.)? by Gilbert Strang. 这本书是MIT的线性代数课使用的教材，也是被很多其它大学选用的经典教材。它的难度适中，讲解清晰，重要的是对许多核心的概念讨论得比较透彻。我个人觉得，学习线性代数，最重要的不是去熟练矩阵运算和解方程的方法——这些在实际工作中MATLAB可以代劳，关键的是要深入理解几个基础而又重要的概念：子空间(Subspace)，正交(Orthogonality)，特征值和特征向量(Eigenvalues and eigenvectors)，和线性变换(Linear transform)。从我的角度看来，一本线代教科书的质量，就在于它能否给这些根本概念以足够的重视，能否把它们的联系讲清楚。Strang的这本书在这方面是做得很好的。 而且，这本书有个得天独厚的优势。书的作者长期在MIT讲授线性代数课(18.06)，课程的video在MIT的Open courseware网站上有提供。有时间的朋友可以一边看着名师授课的录像，一边对照课本学习或者复习。 /OcwWeb/Mathematics/18-06Spring-2005/CourseHome/index.htm 2.?概率和统计?(Probability and Statistics): 概率论和统计的入门教科书很多，我目前也没有特别的推荐。我在这里想介绍的是一本关于多元统计的基础教科书： Applied Multivariate Statistical Analysis?(5th Ed.)? by Richard A. Johnson and Dean W. Wichern 这本书是我在刚接触向量统计的时候用于学习的，我在香港时做研究的基础就是从此打下了。实验室的一些同学也借用这本书学习向量统计。这本书没有特别追求数学上的深度，而是以通俗易懂的方式讲述主要的基本概念，读起来很舒服，内容也很实用。对于Linear regression, factor analysis, principal component analysis (PCA), and canonical component analysis (CCA)这些Learning中的基本方法也展开了初步的论述。 之后就可以进一步深入学习贝叶斯统计和Graphical models。一本理想的书是 Introduction to Graphical Models (draft version).? by M. Jordan and C. Bishop. 我不知道这本书是不是已经出版了（不要和Learning in Graphical Models混淆，那是个论文集，不适合初学）。这本书从基本的贝叶斯统计模型出发一直深入到复杂的统计网络的估计和推断，深入浅出，statistical learning的许多重要方面都在此书有清楚论述和详细讲解。MIT内部可以access，至于外面，好像也是有电子版的。 3.?分析?(Analysis)： 我想大家基本都在大学就学过微积分或者数学分析，深度和广度则随各个学校而异了。这个领域是很多学科的基础，值得推荐的教科书莫过于 Principles of Mathematical Analysis, by Walter Rudin 有点老，但是绝对经典，深入透彻。缺点就是比较艰深——这是Rudin的书的一贯风格，适合于有一定基础后回头去看。 在分析这个方向，接下来就是泛函分析(Functional Analysis)。 Introductory Functional Analysis with Applications, by Er