一种基于牛顿共轭梯度法的深度学习网络架构.pdf

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 111476346 A (43)申请公布日 2020.07.31 (21)申请号 202010130876.3 (22)申请日 2020.02.28 (71)申请人 之江实验室 地址 310023 浙江省杭州市余杭区文一西 路1818号人工智能小镇10号楼 (72)发明人 林宙辰　沈铮阳　杨一博　 (74)专利代理机构 杭州求是专利事务所有限公 司 33200 代理人 邱启旺 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/00(2006.01) 权利要求书1页 说明书8页 附图1页 (54)发明名称 一种基于牛顿共轭梯度法的深度学习网络 架构 (57)摘要 本发明公开了一种基于牛顿共轭梯度法的 深度学习网络架构，本发明首先把神经网络的迭 代运算看成是用简单拟牛顿法来求解一个优化 问题的过程，然后把求解过程换成更精确的牛顿 法，其Hessian矩阵的逆和梯度的乘积用若干步 共轭梯度法来近似，最后把整个计算过程用网络 结构表达出来，得到相应的深度神经网络。可应 用于人工智能、计算机视觉等应用领域。采用本 发明技术方案，从优化算法出发设计神经网络结 构，能够改进传统的依靠经验、实验尝试搜索的 设计方式，得到更高效的神经网络结构，从而节 A 省大量的时间与计算资源。本发明用优化算法中 6 的牛顿法来启发深度神经网络结构设计，可以得 4 3 6 到性能优越的深度神经网络。 7 4 1 1 1 N C CN 111476346 A 权　利　要　求　书 1/1 页 1.一种基于牛顿共轭梯度法的深度学习网络架构，其特征在于，将残差网络中的残差 模块替换成牛顿共轭梯度模块。所述牛顿共轭梯度模块通过以下步骤实现： (1)将第k个牛顿共轭梯度模块的输入x 作为初始节点y ： k 0 y ＝x 0 k (2)初始化迭代次数t＝0。 (3)当前节点y 经过卷积核W (1)进行卷积操作后，再进行dropout操作得到第一梯度支 t t 节点gt (1)： g (1)＝dropout(W (1)y ) t t t 其中，dropout操作用于随机丢弃部分节点。 (4)对当前节点y 进行dropout操作后，再经过卷积核W (2)进行卷积操作得到第二梯度 t t 支节点gt (2)： g (2)＝W (2)dropout(y ) t t t (5)当前节点y 经过卷积核W (3)进行卷积操作后，进行dropout操作，再经过卷积核W (4) t t t 进行卷积操作得到第三梯度支节点gt (3)： g (3)＝W (4)dropout(W (3)y )