CN110942135B 提供深度神经网络的权重的平衡修剪的系统和方法 （三星电子株式会社）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN110942135B(45)授权公告日2025.07.01

(21)申请号201910904340.X

(22)申请日2019.09.24

(65)同一申请的已公布的文献号申请公布号CN110942135A

(43)申请公布日2020.03.31

(30)优先权数据

62/735,8462018.09.24US16/186,4702018.11.09US

(51)Int.CI.

GO6N3/0495(2023.01)

GO6N3/084(2023.01)

GO6N3/082(2023.01)

(56)对比文件

US2018046915A1,2018.02.15US5297232A,1994.03.22

审查员孟凡娜

(73)专利权人三星电子株式会社地址韩国京畿道水原市

(72)发明人邓伟然

(74)专利代理机构北京铭硕知识产权代理有限公司11286

专利代理师方成张川绪

权利要求书2页说明书6页附图4页

(54)发明名称

提供深度神经网络的权重的平衡修剪的系统和方法

开始对权重进行分组202

开始

对权重进行分组

202

应用掩蔽函数

203

对每个组的非零权重进行计数

204

计算多个组之间的方差

205

使用拉格朗日乘子来使损失L最小化

206

训练参数w、β和λ

207

结束

208

200

CN110942135B一种提供深度神经网络的权重的平衡修剪的系统和方法，其中，在所述系统和方法中，将DNN的权重划分为多个组，在每个组中确定非零权重的数量的计数，确定每个组中的权重的计数的方差，利用具有每个组中的权重的计数的方差等于0的约束使用拉格朗日乘子使DNN的损失函

CN110942135B

CN110942135B权利要求书1/2页

2

1.一种提供深度神经网络的权重的平衡修剪的系统，所述系统包括：

多个并行处理元件；

存储器，存储深度神经网络的权重，其中，在存储器中，深度神经网络的权重被划分为多个权重组；

权重掩蔽器，掩蔽深度神经网络的所述多个权重组中的每个权重组中的权重；以及

损失确定器，基于深度神经网络的网络损失减去掩蔽的所述多个权重组中的非零权重的计数的方差，来确定深度神经网络的损失，

其中，通过损失确定器利用具有所述多个权重组中的非零权重的计数的方差等于0的约束使用拉格朗日乘子，使深度神经网络的损失最小化，

其中，通过反向传播重新训练所述多个权重组和拉格朗日乘子，

其中，后处理过程被应用以实现每个权重组具有完全相同数量的非零权重，以平衡将被分配给所述多个并行处理元件的非零权重的数量，

其中，具有相同数量的非零权重的所述多个权重组被分配给所述多个并行处理元件，以确保所述多个并行处理元件具有相同量的工作负荷。

2.根据权利要求1所述的系统，其中，损失确定器还基于深度神经网络的网络损失减去与拉格朗日乘子相乘的所述多个权重组中的非零权重的计数的方差，来确定深度神经网络的损失。

3.根据权利要求2所述的系统，其中，权重掩蔽器将每个权重组中的权重与掩蔽函数相乘。

4.根据权利要求3所述的系统，其中，掩蔽函数是可微分的。

5.根据权利要求4所述的系统，其中，掩蔽函数的锐度是可选择地可控的，掩蔽函数的宽度是可选择地可控的。

6.一种提供深度神经网络的权重的平衡修剪的方法，所述方法包括：

通过存储器存储深度神经网络的权重；

在存储器中，将深度神经网络的权重划分为多个组；

通过权重掩蔽器将掩蔽函数应用于每个组中的权重；

在掩蔽函数被应用之后，确定每个组中的非零权重的数量的计数；

确定所述多个组中的非零权重的计数的方差；

通过损失确定器利用具有所述多个组中的非零权重的计数的方差等于0的约束使用拉格朗日乘子，使深度神经网络的损失函数最小化；

通过反向传播重新训练权重的所述多个组和拉格朗日乘子，

其中，后处理过程被应用以实现每个组具有完全相同数量的非零权重，以平衡将被分配给多个并行处理元件的非零权重的数量，

其中，具有相同数量的非零权重的所述多个组被分配给所述多个并行处理元件，以确保所述多个并行处理元件具有相同量的工作负荷。

7.根据权利要求6所述的方法，其中，拉格朗日乘子被用于乘以所述多个组中的非零权重的计数的方差。

8.根据权利要求6所述的方法，还包括：

确定重新训练的