一种基于目标传递和线搜索的深层神经网络优化及图像分类方法.pdf

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 111461229 A (43)申请公布日 2020.07.28 (21)申请号 202010252752.2 (22)申请日 2020.04.01 (71)申请人 北京工业大学 地址 100124 北京市朝阳区平乐园100号 (72)发明人 刘波　王铎　 (74)专利代理机构 北京思海天达知识产权代理 有限公司 11203 代理人 吴荫芳 (51)Int.Cl. G06K 9/62(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 权利要求书4页 说明书7页 附图4页 (54)发明名称 一种基于目标传递和线搜索的深层神经网 络优化及图像分类方法 (57)摘要 本发明提供了一种基于目标传递和线搜索 的深层神经网络优化方法，并在此基础上完成图 像和多维数据分类，用于解决人工神经网络在训 练过程中需要频繁手动调参的问题，涉及机器学 习及人工智能以及计算机视觉技术。该方法能够 在训练过程中通过分析基于ReLU激活函数构造 的每一层网络的数学性质从而自动计算出对于 本层网络的最优学习率，最终能够使神经网络在 不依赖人工调参的情况下完成自适应训练任务。 相比于反向传播算法，本方法能够更快完成训练 任务，并获取不弱于反向传播算法的精度表现。 A 9 2 2 1 6 4 1 1 1 N C CN 111461229 A 权　利　要　求　书 1/4 页 1.一种基于目标传递和在线搜索的深层神经网络优化方法，其特征在于包括： (1)准备训练数据集{X，Y}，其中X为固定数量N的图片或多维数据，Y为此图片所对应的 类别标签；若输入数据X为图像，其应具有相同尺寸；若输入数据X为多维数据，每一条数据 的维度应相同；对于标签Y应为一单值标签，代表属于该条数据的正确类别； (2)构造M层隐藏层神经网络模型，模型包括M层隐藏层fc、M-1层辅助层h、M-2层近似逆 映射层g，其中，从第二层到第M层的所有隐藏层，每一个隐藏层配有一相同结构的辅助层h 用于传递每层目标值的误差，同时对每相邻两层辅助层h之间设有一近似逆映射层g，用于 计算辅助层的输出值， 所述隐藏层中，每一层隐藏层由若干神经元构成，其中每一层隐藏层的神经元个数可 不同，但每一层隐藏层的激活函数需为ReLU函数，即： 其中x为该 隐藏层的输出值； 其中，fc 表示第m层隐藏层，W 代表第m层隐藏层的神经元，m＝1，...，M；h 表示第m层 m m m-1 隐藏层对应的辅助层； gm-2代表辅助层hm-2与辅助层hm-1之间设置的近似逆映射层，Vm-2代表对应神经元；其中 神经元V 的个数与神经元W 个数相同； m-2 m-1 (3)初始化神经网络模型， 所述初始化包括隐藏层神经元W的初始化和近似逆映射层神经元V的初始化，其中所有 M个神经元W以及所有M-2个神经元V初始化方法为随机初始化；其中，所有M-2个近似逆映射 层g的初始化具体包括：构造并初始化所有M-2个近似逆映射层g，每一层g的构造方法相同， 对于近似逆映射层gm-2的构造方法为近似逆映射层gm-2的神经元个数与第m-