【CN110033089A】基于分布式估计算法的深度神经网络参数优化方法及系统【专利】.pdfVIP

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 110033089 A (43)申请公布日 2019.07.19 (21)申请号 201910309944.X (22)申请日 2019.04.17 (71)申请人 山东大学 地址 264200 山东省威海市环翠区文化西 路180号山东大学 (72)发明人 许庆阳　刘安邦　张承进　宋勇　 张立　袁宪锋　杨润涛　 (74)专利代理机构 济南圣达知识产权代理有限 公司 37221 代理人 董雪 (51)Int.Cl. G06N 3/08(2006.01) 权利要求书2页 说明书7页 附图4页 (54)发明名称 基于分布式估计算法的深度神经网络参数 优化方法及系统 (57)摘要 本发明公开了一种基于分布式估计算法的 深度神经网络参数优化方法及系统，包括：初始 化种群，将种群中每一个个体解码为深度神经网 络；对上述深度神经网络的分类能力进行评价； 对种群中的个体优劣进行排序；随机产生掩码向 量，根据掩码向量及统计学参数确定待求解变量 本次迭代的概率分布模型；依据掩码向量与概率 分布模型采样，生成新的种群个体；获得最优分 布式估计算法个体；利用梯度优化算法，对分布 式估计算法获得的深度神经网络模型进行微调， 获得最优深度神经网络参数。本发明将分布式估 A 计算法和深度神经网络的优化相结合，利用分布 9 式估计算法的全局搜索能力，减少神经网络优化 8 0 3 过程中对梯度信息的依赖。 3 0 0 1 1 N C CN 110033089 A 权　利　要　求　书 1/2页 1.一种基于分布式估计算法的深度神经网络参数优化方法，其特征在于，包括： 初始化种群，将种群中每一个个体解码为深度神经网络； 对上述深度神经网络的分类能力进行评价，将分类误差作为种群中个体优劣的评价指 标； 对种群中的个体优劣进行排序，选取最优的前t个个体构建优势群体，并计算每个变量 的统计学参数； 随机产生掩码向量，根据掩码向量及统计学参数确定待求解变量本次迭代的概率分布 模型； 依据掩码向量与概率分布模型采样，生成新的种群个体； 迭代终止，获得最优分布式估计算法个体，解码为深度神经网络模型； 利用梯度优化算法，对分布式估计算法获得的深度神经网络模型进行微调，获得最优 深度神经网络参数。 2.如权利要求1所述的一种基于分布式估计算法的深度神经网络参数优化方法，其特 征在于，对上述深度神经网络的分类能力进行评价，具体为：利用输入样本数据集对深度神 经网络的分类能力进行评价，将分类误差作为种群个体的优劣评价指标： 其中，I为输入样本，T为标签信息，E为分类误差，n为样本数量。 3.如权利要求1所述的一种基于分布式估计算法的深度神经网络参数优化方法，其特 征在于，计算每个变量的统计学参数，具体为： 其中，(u ,σ)为根据所选优势个体计算的第i个变量的均值与方差，BN为优势个体数 i i 量，n为所选优势个体中的某一个体，x 为个体的第i个变量。 i 4.如权利要求1所述的一种基于分布式估计算法的深度神经网络参数优化方法，其特 征在于，根据掩码向量确定待求解变量的更新模式，具体为： 其中，x 为个体的第i个变量，P为个体中所有变量的整体概率分布模型，P (k-1)为个体 i