原创力文档- 0
- 0
- 约6.5千字
- 约 8页
- 2023-06-17 发布于四川
- 举报
本发明公开了一种元素级重激活不重要神经元的神经网络训练方法及系统，涉及深度学习技术。针对现有技术中对元素激活的片面性提出本方案，依据L1范数，依次排序网络中的层和元素，以确定出赋值的来源和目标，然后通过自适应加权的方式赋值到该需要激活的元素。优点在于，利用全局和局部的挑选策略，准确定位低效神经元的位置。通过激活不重要神经元元素，实现了神经网络准确率的进一步提高。可以在网络训练的过程中随时使用，在增加少量计算量下，有效提高网络的准确率。适用于各种不同网络结构的训练，且能与各种基于梯度下降的优化方法
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 113269311 A
(43)申请公布日 2021.08.17
(21)申请号 202110619758.3
(22)申请日 2021.06.03
(71)申请人 华南理工大学
地址
文档评论（0）