深度学习与信号处理： 原理与实践 课件 第9章 深度置信网络.完成.ppt

***************************************************9.6深度信念网络优化算法步骤4：适应度值计算根据初始化的粒子位置和速度，得到DBNs网络的输出响应值后，按适应度函数计算粒子群的适应度值。式中，N为训练样本，M为输出神经元个数，和分别表示第i个样本的第j个分量的输出值和期望输出值。步骤5：更新粒子的速度和位置根据步骤4计算得到粒子群的适应度值，找到本轮粒子群最优的粒子和搜索历史上的最优粒子。粒子的速度和位置的更新公式为9.6深度信念网络优化算法式中，ω表示惯性权重，取值介于[0,1]，一般取ω=0.9；表示加速参数，一般限定相等且取值范围为[0,4]，Shi和Eberhart经过多次试验，建议为了平衡随机因素的作用，设置最好；是两个在[0,1]范围变化的随机值。步骤6：如果训练样本的误分类率满足设定条件或者迭代次数等于M，则PSO优化结束，否则转到步骤4，k=k+1，重复执行步骤5和步骤6，直到满足判别条件。步骤7：利用训练好的DBN网络训练测试数据，输出信号分类结果。9.7实例10：基于贪婪方法的深度置信网络诊断注意缺陷多动障碍1.深度置信网络DBN实际上是由几个受限玻尔兹曼机(RBMs)自底向上连接在一起的网络。RBM是一种生成式随机人工神经网络，它可以学习其输入集合上的概率分布。RBM是一种玻尔兹曼机，其约束条件是神经元必须形成二分图，两组神经元分别构成“可见”和“隐藏”层，并且一组内的节点之间没有任何连接。为了提高训练效率，采用了基于梯度的对比发散算法。RBM网络结构，如图所示。与传统网络相比，神经元的可见层与隐含层之间的连接具有更高的可靠性。9.7.1基于贪婪方法的深度置信网络和分别表示输入向量和输出向量。DBN由一堆RBM组成，如图所示。图中解释了网络的训练阶段。9.7实例10：基于贪婪方法的深度置信网络诊断注意缺陷多动障碍用于生成输出的RBM的概率分布为和分别称为标准化因子和能量函数，且9.6深度信念网络优化算法式中，函数定义为式中，和是可见和不可见的阈值变量；和是可见的和隐藏的变量，矩阵为节点间连接的权重。根据log梯度计算RBM网络权值的更新准则为式中，为训练样本的期望值，为模型的期望值。9.6深度信念网络优化算法2.一种贪婪训练算法为了用RBMs建立一个深层次模型，现用贪婪算法来训练一个多层的深网络。首先，学习一个RBM作为DBN的第一层，权值矩阵为。然后，初始化第二层的权重（）以确保DBN的两个隐含层至少与RBM相等。通过生成第一层输出，可以通过修改权重矩阵来改进DBN，也可以用第二个RBM得到的向量来学习RBM的第三层。通过初始化，它保证了对数似然函数的下限得到改善。在迭代过程中，建立的深度层次模型实施步骤，如下所示。算法9.1步骤：步骤1：确定第一隐藏层的参数，从而确定CD训练算法。步骤2：固定参数并使用作为输入向量，以训练下一层的特征。步骤3：固定参数，该参数定义属性的第二层，并使用来自的第个样本作为第三层训练特征的数据。9.6深度信念网络优化算法在最后一层，为了计算输入的概率分布，使用了softmax层。softmax函数为式中，为神经元j的可能值，是进入每个神经元的值。9.7实例10：基于贪婪方法的深度置信网络诊断注意缺陷多动障碍1.数据集训练和测试数据集由ADHD-200全球竞赛提供。纽约大学的训练数据集包括222个训练样本和41个测试样本。NeuroImage数据集包含48个训练样本和25个测试样本。参与研究的受试者年龄在7岁至21岁之间。深度置信网络所用特征，如表所示。