神经网络与深度学习-3小时.pptVIP

ppt有错*目标类别y=c的后验概率**复合函数*某种程度上比机器学习更简单Evenalphagousingthisapproach.Ihopeyouarenottoodisappointed:p**\item\textbf{细胞体}（Soma）中的神经细胞膜上有各种受体和离子通道，胞膜的受体可与相应的化学物质神经递质结合，引起离子通透性及膜内外电位差发生改变，产生相应的生理活动：\textbf{兴奋}或\textbf{抑制}。\item细胞突起是由细胞体延伸出来的细长部分，又可分为树突和轴突。\item\textbf{树突}（Dendrite）可以接受刺激并将兴奋传入细胞体。每个神经元可以有一或多个树突。\item\textbf{轴突}(Axons)可以把兴奋从胞体传送到另一个神经元或其他组织。每个神经元只有一个轴突。****感受野主要是指听觉系统、本体感觉系统和视觉系统中神经元的一些性质。**Englishissuccessful,ASRU’15betterthanHMM+N-gramAddanextrasymbol“φ”representing“null”*中翻英英翻中沒有哪一個一定比較長或比較短*从(a)可以看出，每次迭代选取的批量样本数越多，下降效果越明显，并且取现越平滑。当每次选取一个样本时（相当于随机梯度下降），损失整体是下降趋势，但局部看会来回震荡。从(b)可以看出，如果按整个数据集迭代的来看损失变化情况，则小批量样本数越小，下降效果越明显。*α是初始的学习率*FromtheaboveimagesonecanseethatThe?Adaptivealgorithms?converge?veryfastandquicklyfindtherightdirectioninwhichparameterupdatesshouldoccur.Whereasstandard?SGD?,NAGandmomentum?techniquesareveryslowandcouldnotfindtherightdirection.*虽然深层神经网络的容量足够记住所有训练数据，但依然优先记住训练数据中的一般规律，即有泛化能力的规律。*简单循环神经网络存在长期依赖问题（LSTM网络）引入一个近似线性依赖的记忆单元来存储远距离的信息。记忆单元的存储能力和其大小相关。如果增加记忆单元的大小，网络的参数也随之增加。*在玻尔兹曼机中，每个变量Xi可以解释为是否接受一个基本假设[Ackleyetal.,1985]，其取值为1或0分别表示系统接受或拒绝该假设。*为了有效地训练深度信念网络，我们将每一层的sigmoid信念网络转换为受限玻尔兹曼机。这样，深度信念网络可以看作是由多个受限玻尔兹曼机从下到上进行堆叠，每一层受限玻尔兹曼机的隐层作为上一层受限玻尔兹曼机的可见层。进一步地，深度信念网络可以采用逐层训练的方式来快速训练，即从最底层开始，每次只训练一层，直到最后一层。*一般为了简化模型，假设隐变量先验分布p(z;θ)为标准高斯分布N(z;0,I)。隐变量z的每一维之间都是独立的。在这个假设下，先验分布p(z;θ)中没有参数。*一般为了简化模型，假设隐变量先验分布p(z;θ)为标准高斯分布N(z;0,I)。隐变量z的每一维之间都是独立的。在这个假设下，先验分布p(z;θ)中没有参数。*在深度生成模型中，p(z|x;θ)是非常复杂的分布，很难用简单的分布去近似。**DCGANs的主要优点是通过一些经验性的网络结构设计使得对抗训练更加稳定。比如，（1）使用代步长的卷积（在判别网络中）和微步卷积（在生成网络中）来代替汇聚操作，以免损失信息；（2）使用批量归一化；（3）去除卷积层之后的全连接层；（4）在生成网络中，除了最后一层使用Tanh激活函数外，其余层都使用ReLU函数；（5）在判别网络中，都使用LeakyReLU激活函数。*MinMaxGame生成网络要尽可能地欺骗判别网络。判别网络将生成网络生成的样本与真实样本中尽可能区分出来。两个网络相互对抗、不断调整参数，最终目的是使判别网络无法判断生成网络的输出结果是否真实。MinMaxGame一个具体的模型：DCGANs判别网络是一个传统的深度卷积网络，但使用了带步长的卷积来实现下采样操作，不用最大汇聚（pooling）操作。生成网络使用一个特殊的深度卷积网络来实现使用微步卷积来生成64