深度神经网络的压缩研究-计算机应用研究.PDFVIP

———————————————————————————————————————————————— 深度神经网络的压缩研究 作者 韩云飞，蒋同海，马玉鹏，徐春香，张睿 机构 中国科学院新疆理化技术研究所；新疆民族语音语言信息处理实验室；中国科学院大学 基金项目 中国科学院科技服务网络计划（STS 计划）资助项目（KFJ-EW-STS-129）；中国科学院西部 之光人才培养计划资助项目（XBBS201319）；中国科学院青年创新促进会；新疆维吾尔自治 区引进高层次人才计划资助项目 预排期卷 《计算机应用研究》2018 年第35 卷第10 期 摘要 深度神经网络中过多的参数使得自身成为高度计算密集型和内存密集型的模型，这使得深度 神经网络的应用不能轻易地移植到嵌入或移动设备上以解决特殊环境下的实际需求。为了解 决该问题，提出了基于网络删减、参数共享两者结合的神经网络压缩方案：首先通过删减掉 权重小于阈值的网络连接，保留其重要的连接；然后使用k-means 聚类算法将删减后每层的 参数进行聚类，每簇内的各个参数共享该簇的中心值作为其权重。实验在MINST 数据集上完 成手写数字识别功能的 LeNet-300-100 网络和修改得到的LeNet-300–240-180-100 网络分 别压缩了9.5×和12.1×。基于网络删减、参数共享两者结合的神经网络压缩方案为未来在特 殊环境下更丰富的基于深度神经网络的智能应用提供了可行方案。 关键词 神经网络；压缩；网络删减；参数共享 作者简介 韩云飞（1990-），男，博士研究生，主要研究方向为物联网技术；蒋同海（1963-），男（通 信作者），研究员，博士，主要研究方向为物联网技术（jth@ ）；马玉鹏（1979-）， 男，副研究员，博士，主要研究方向为物联网技术；徐春香（1982-），女，副研究员，博士， 主要研究方向为物联网技术；张睿（1990-），男，博士研究生，主要研究方向为物联网技术． 中图分类号 TP183 访问地址 /article/02-2018-10-001.html 发布日期 2017 年9 月27 日 引用格式 韩云飞, 蒋同海, 马玉鹏, 徐春香, 张睿. 深度神经网络的压缩研究[J/OL]. 2018, 35(10). [2017-09-27]. /article/02-2018-10-001.html. 35 10 Vol. 35 No. 10 第 卷第 期 计算机应用研究 优先出版 Application Research of Computers Online Publication 深度神经网络的压缩研究 * † 韩云飞，蒋同海，马玉鹏，徐春香，张 睿 (1. , 830011; 2. , 830011; 3. 中国科学院新疆理化技术研究所 乌鲁木齐 新疆民族语音语言信息处理实验室 乌鲁木齐 , 100049)