深入学习读书笔记pdf.docxVIP

深度学习读书笔记pdf 【篇一：deep learning深度学习总结】 deep learning深度学习总结 一、deep learning的基本思想 假设我们有一个系统s，它有n层（s1,…sn），它的输入是i，输出是o，形象地表示为： i =s1=s2=…..=sn = o，如果输出o等于输入i，即输入i经过这个系统变化之后没有任何的信息损失（呵呵，大牛说，这是不可能的。信息论中有个“信息逐层丢失”的说法（信息处理不等式），设处理a信息得到b，再对b处理得到c，那么可以证明：a和c的互信息不会超过a和b的互信息。这表明信息处理不会增加信息，大部分处理会丢失信息。当然了，如果丢掉的是没用的信息那多好啊），保持了不变，这意味着输入i经过每一层si都没有任何的信息损失，即在任何一层si，它都是原有信息（即输入i）的另外一种表示。现在回到我们的主题deep learning，我们需要自动地学习特征，假设我们有一堆输入i（如一堆图像或者文本），假设我们设计了一个系统s（有n层），我们通过调整系统中参数，使得它的输出仍然是输入i，那么我们就可以自动地获取得到输入i的一系列层次特征，即s1，…, sn。 对于深度学习来说，其思想就是对堆叠多个层，也就是说这一层的输出作为下一层的输入。通过这种方式，就可以实现对输入信息进行分级表达了。 另外，前面是假设输出严格地等于输入，这个限制