机器学习介绍.pdfVIP

2013 年论文阅读总结： 1 月 1 日至 1 月 20 日： 【1】A fast learning algorithm for deep belief nets: 2006 Hinton 关 于 deep learning 的代 表 作 。 Paper shows how to use “complementary prior ” to eliminate the explaining away effects that make inference difficult in densely-connected belief nets that have many hidden layers. 文章讲了 deep learning 的整个体系机构，尤其对于用 Restricted Boltzmann machine 和 contrastive divergence learning 方法 的阐述。对于整个 Deep Learning 结构的把握是很好的文章。 【2 】To Recognize Shapes, First Learn to Generate Images: 2006 Hinton 报告文章。文章从脑神经的角度讲了为什么要研究 deep learning 。列举了 learning multilayer networks 所面临的 five strategies 。 Pretraining ，fine-tuning 等等概念讲解的更加的详细。 【3】Learning multiple layers of representation ：2007 这篇文章给我的最大收获就是了解了这个方向的很多 vocabulary ： top-dowm connections ， distributed representations ， fine-tuned ， generative model ，discriminate model ，stochastic generative model 。 我也认为这是目前我所看文献中对于 pretraining 讲得最好的一篇， 至 少对于初学者比较好懂。 【4 】Reducing the dimensionality of data with neural networks ：2006 这篇文章的重要性不用敷述， science 的文章，也是因为这篇文章， deep network 开始改变整个机器学习的格局， neural network 开始进 入 deep network 时代。 版面的原因只要三页纸， 但字字金贵， 值得读 上四五面。 【5】Representation learning ：a review and new perspectives ：2012 综述性质的文章， 对于 deep architecture 整个领域的阐述。 适合看了 Restricted Boltzmann machine 和 auto-encoder 这些方法之后再去看这 篇，会有豁然开朗的感觉。 【6 】深度学习研究综述： 2012 这是这个领域我阅读的第一篇也是唯一一篇中文文献， 对于我刚开始 看起到了很大的启发作用，很多名词就是从这篇文章中得到启发的。 【7】How neural networks learning from experience ： 1992 这篇文章很早，但是我认为对于进入 neural networks 领域非常的有 价值，对于之前应用的最成功的 back-propagation neural networks