基于基完备化理论和嵌入多层感知机的深度网络结构设计-东南大学学报.PDF

第４８卷第５期 东南大学学报（自然科 学版 ） Ｖｏｌ．４８Ｎｏ．５ 　 ２０１８年９月 ＪＯＵＲＮＡＬＯＦＳＯＵＴＨＥＡＳＴＵＮＩＶＥＲＳＩＴＹ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ） 　 Ｓｅｐｔ．２０１８ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００１－０５０５．２０１８．０５．０２２ 基于基完备化理论和嵌入多层感知机的 深度网络结构设计 １，２，３ １ ４ １ 张毅锋 　蒋　程　程　旭　刘　袁 １ （东南大学信息科学与工程学院，南京２１００９６） ２ （东南大学南京通信技术研究院，南京２１１１００） ３ （南京大学计算机软件新技术国家重点实验室，南京２１００９３） ４ （南京信息工程大学计算机与软件学院，南京２１００４４） 摘要：为了进一步改善经典卷积神经网络的识别性能，首先证明了跨层传输实质上是基的完备 化过程，然后基于多类型特征提取结构、嵌入多层感知机以及跨层传输结构提出一种新型深度卷 积网络———期望网络．经分析发现，期望网络中的多类型特征提取结构可提取不同类型的特征， 嵌入多层感知机可生成期望图并标定不同类型特征的权重，跨层传输结构可缓解网络性能退化 的问题．仿真实验结果表明，在数据集ＣＩＦＡＲ１０、数据集ＣＩＦＡＲ１００和数据集ＳＶＨＮ上，相比于 ＲｅｓＮｅｔ网络、深度监督网络和Ｈｉｇｈｗａｙ网络等经典深度卷积网络，期望网络的误识别率均有不 同程度的下降． 关键词：基完备化；期望网络；嵌入多层感知机；期望图 中图分类号：ＴＰ３９１　　文献标志码：Ａ　　文章编号：１００１－０５０５（２０１８）０５０９３３０６ Ｄｅｅｐｎｅｔｗｏｒｋｓｔｒｕｃｔｕｒｅｄｅｓｉｇｎｂａｓｅｄｏｎｂａｓｅｃｏｍｐｌｅｔｉｏｎａｎｄ ｅｍｂｅｄｄｅｄｍｕｌｔｉｌａｙｅｒｐｅｒｃｅｐｔｒｏｎ １，２，３ １ ４ １ ＺｈａｎｇＹｉｆｅｎｇ 　ＪｉａｎｇＣｈｅｎｇ　ＣｈｅｎｇＸｕ　ＬｉｕＹｕａｎ １ （ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＳｏｕｔｈｅａｓｔＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１００９６，Ｃｈｉｎａ） ２ （ＮａｎｊｉｎｇＩｎｓｔｉｔｕｔｅｏｆＣｏｍｍｕｎｉｃａｔｉｏｎｓＴｅｃｈｎｏｌｏｇｉｅｓ，ＳｏｕｔｈｅａｓｔＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１１１００，Ｃｈｉｎａ） ３ （ＳｔａｔｅＫｅｙＬａｂｏｒａｔｏｒｙｆｏｒＮｏｖｅｌＳｏｆｔｗａｒｅＴｅｃｈｎｏｌｏｇｙ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１００９３，Ｃｈｉｎａ） ４ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒａｎｄＳｏｆｔｗａｒｅ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ２１００４４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅｒｅｃｏｇｎｉｔｉｏｎｐｅｒｆｏｒｍａｎｃｅｏｆｃｌａｓｓｉｃａｌｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔ ｗｏｒｋｓ，ｔｈｅｃｒｏｓｓｌａｙｅｒｔｒａｎｓｍｉ