吴恩达深度学习.pdfVIP

吴吴恩恩达达深深度度学学习习 第第⼀⼀课课 ：：欢欢迎迎 1.神经⽹络基础 2.构建神经⽹络 3.构建机器学习⼯程 4.卷 神经⽹络CNN 5.序列模型 深深度度学学 习习介介绍绍 什什么么是是神神经经 ⽹⽹络络？？ ReLU函数 ：线性整流函数 通过堆叠⼀些单⼀神经元，以 堆叠简单预测期，我们可以得到⼀个稍微⼤些的神经⽹络。 你如何管理神经⽹络呢？ 你有⼀个有四个输⼊的神经⽹络，所以输⼊特征可能是房屋⼤⼩、卧室数量、邮政编码以 居住地的富裕程度。给定这些输⼊特征，神经⽹络的⼯ 作就是预测价格y ，每个⼩圆圈都叫做神经⽹络中的隐藏神经元，其中每个神经元都将所有的四个特征当作输⼊ （即使它只与两个输⼊特征相关， 让神经⽹络 ⾃⼰来决定这些⽹络节点是什么）。 神经⽹络最重要的⼀点是只要给定⾜够多的训练⽰例x和y ，神经⽹络就能很好地拟合出⼀个函数来建⽴x和y之间的映射关系。 实际上，当你建⽴了⾃⼰的神经⽹络系统以后，你可能发现它们在监督学习中是最有⽤、最强⼤的 （所谓监督学习，就是需要把⼀个输⼊x和⼀个 输出y相对应起来）。 第第 四四课课 ：：⽤⽤神神经经 ⽹⽹络络进进⾏⾏监监督督学学 习习 在监督学习中，那你有⼀个输⼊特征x ，并且你想通过x学习到⼀个函数，这个函数能够将x映射到输出y。 很多有价值的发明都是神经⽹络在特定问题下来巧妙地建⽴x对应y的函数映射关系，并且通过监督学习拟合数据，成为某个复杂系统的⼀部分。 事实证明 （结构）稍有不同的神经⽹络在不同的应⽤领域都⾮常的有⽤。 结构化数据和⾮结构化数据 ： 结构化数据是基于数据库的数据，每⼀种特征都有明确的意义。 ⾮结构化数据是类似于原始⾳频、照⽚或者⽂本，这⾥特征也许是图⽚中的像素值或⼀段⽂本中的独⽴单词。 历史上对⾮结构化数据的学习要⽐对结构化数据困难的多。 但由于⼈类可以很好地解释这种⾮结构化的数据，在神经⽹络崛起后，最令⼈兴奋的事情之⼀就是它带来的深度学习使得计算机能够⽐前些年更好 地解释⾮结构化数据。语⾳识别、图像识别，在⽂本上的⾃然语⾔处理技术。但短期，神经⽹络带来的价值还是集中体现在结构化数据上。在海量 的数据库上有更好的处理数据的能⼒。 神经⽹络已经变⾰了监督学习的⽅式，并且正在创造出巨⼤的经济价值，神经⽹络背后的基础原理也发展了⼗⼏年，为什么精神⽹络直到现在表现 得如此之好？ 第第五五课课 ：：为为什什么么深深度度 学学 习习会会起起 飞飞？？ 为什么深度学习和神经⽹络最近才风靡起来？ 事实上今天要想达到⾼性能的最可靠的⽅法之⼀，要么是训练⼀个⼤⽹络，要么放更多的数据。 不同算法的性能的排名是不固定的，更多的是由你提取特征的能⼒和算法的细节决定的。只有在很⼤的数据集的区域⾥，我们经常看到很⼤的神经 ⽹络超过了其它⽅法。 ⼤数据 计算能⼒的⼤幅度上升 （深度学习硬件的发展 ：GPU、⾼速⽹络或其他硬件） 算法的更新 ： signmoid函数到ReLu函数的转换，增快学习速度 （添加修正线性单元）。 其次你训练⼀个神经⽹络的过程是⼀个循环，你有⼀个⽹络架构的想法，你去⽤代码实现，之后让你的实验结果告诉你你的⽹络表现得怎么样，这 样就可以回过头去修改⽹络⾥⾯的细节，然后重复这个循环。 这些都是使得深度学习不断发展的动⼒。 第第六六课课 ：：⼆⼆元元分分类类 编程技巧 ： ⽐如你有⼀个含有m个训样本的训练集，你可能⽤关于⽤⼀个for循环来处理这m个训练样本。但当你⽤神经⽹络的时候，你⼀般想训练整个训练 集，但不显式使⽤for循环来遍历整个训练集。 为什么计算可以被正向转播组织为⼀次前向传播过程以 ⼀次反向传播过程？ 逻辑回归是⼀个⼆元分类算法。 ⼀张图像中包含像素数表⽰输⼊特征向量x的维度，在⼆元分类问题中，我们的⽬标是学习到这样⼀个分类器 ： 我们输⼊⼀幅以特征向量x表⽰的图像，然后预测对应的输出y是 1还是0， 如何组织训练样本的输⼊x到矩阵X ： 如何组织输出标签Y ： 得到⼀个X是⼀个n(x)乘m维的矩阵；Y是⼀个1xm⼤⼩的矩阵 以上就是我们之后在回归算法和神经⽹络计算中使⽤到的⼀些符号，如果你忘记了某个符号的意义，可以查找符号指南。 接下来着⼿实现逻辑回归算法。 第第七七课课 ：：逻逻辑辑 回回归归 本节课 ：我们复习⼀下逻辑回归 使⽤这种学习算法会得到的输出标签y ，y在监督学习问题中全是0或者 1，因此这是⼀种针对⼆元分类的算法。 给定的输⼊特征向量x和⼀副图