和机器学习和计算机视觉相关的数学探索.doc

和机器学习和计算机视觉相关的数学（from LinDahua）》 已有 3821 次阅读 2010-1-6 12:57 |个人分类:生活点滴|系统分类:科研笔记|关键词:机器学习，计算机视觉，数学 From: /default.aspx ?1. 线性代数 Linear Algebra ： 我想国内的大学生都会学过这门课程，但是，未必每一位老师都能贯彻它的精要。这门学科对于Learning是必备的基础，对它的透彻掌握是必不可少的。我在科大一年级的时候就学习了这门课，后来到了香港后，又重新把线性代数读了一遍，所读的是 Introduction to Linear Algebra 3rd Ed. ? by Gilbert Strang. 这本书是MIT的线性代数课使用的教材，也是被很多其它大学选用的经典教材。它的难度适中，讲解清晰，重要的是对许多核心的概念讨论得比较透彻。我个人觉得，学习线性代数，最重要的不是去熟练矩阵运算和解方程的方法——这些在实际工作中MATLAB可以代劳，关键的是要深入理解几个基础而又重要的概念：子空间 Subspace ，正交 Orthogonality ，特征值和特征向量 Eigenvalues and eigenvectors ，和线性变换 Linear transform 。从我的角度看来，一本线代教科书的质量，就在于它能否给这些根本概念以足够的重视，能否把它们的联系讲清楚。Strang的这本书在这方面是做得很好的。 而且，这本书有个得天独厚的优势。书的作者长期在MIT讲授线性代数课 18.06 ，课程的video在MIT的Open courseware网站上有提供。有时间的朋友可以一边看着名师授课的录像，一边对照课本学习或者复习。 /OcwWeb/Mathematics/18-06Spring-2005/CourseHome/index.htm 2. 概率和统计 Probability and Statistics : 概率论和统计的入门教科书很多，我目前也没有特别的推荐。我在这里想介绍的是一本关于多元统计的基础教科书： Applied Multivariate Statistical Analysis 5th Ed. ? by Richard A. Johnson and Dean W. Wichern 这本书是我在刚接触向量统计的时候用于学习的，我在香港时做研究的基础就是从此打下了。实验室的一些同学也借用这本书学习向量统计。这本书没有特别追求数学上的深度，而是以通俗易懂的方式讲述主要的基本概念，读起来很舒服，内容也很实用。对于Linear regression, factor analysis, principal component analysis PCA , and canonical component analysis CCA 这些Learning中的基本方法也展开了初步的论述。 之后就可以进一步深入学习贝叶斯统计和Graphical models。一本理想的书是 Introduction to Graphical Models draft version .? by M. Jordan and C. Bishop. 我不知道这本书是不是已经出版了（不要和Learning in Graphical Models混淆，那是个论文集，不适合初学）。这本书从基本的贝叶斯统计模型出发一直深入到复杂的统计网络的估计和推断，深入浅出，statistical learning的许多重要方面都在此书有清楚论述和详细讲解。MIT内部可以access，至于外面，好像也是有电子版的。 3. 分析 Analysis ： 我想大家基本都在大学就学过微积分或者数学分析，深度和广度则随各个学校而异了。这个领域是很多学科的基础，值得推荐的教科书莫过于 Principles of Mathematical Analysis, by Walter Rudin 有点老，但是绝对经典，深入透彻。缺点就是比较艰深——这是Rudin的书的一贯风格，适合于有一定基础后回头去看。 在分析这个方向，接下来就是泛函分析 Functional Analysis 。 Introductory Functional Analysis with Applications, by Erwin Kreyszig. 适合作为泛函的基础教材，容易切入而不失全面。我特别喜欢它对于谱论和算子理论的特别关注，这对于做learning的研究是特别重要的。Rudin也有一本关于functional analysis的书，那本书在数学上可能更为深刻，但是不易于上手，所讲内容和learning的切合度不如此书。 在分析这个方向，还有一个重要的学科