数值表示与量化技术在模型优化中应用.pdfVIP

如何表⽰数值

⼀个给定的值通常表⽰为浮点数（在计算机科学中称为floats）：⼀个带⼩数点的正数或负数。

这些值由“位”（bits）或⼆进制数字表⽰。IEEE-754描述了如何⽤位来表⽰⼀个值的三部分：符号位（sign）、指数

（exponent）和分数（fraction）（或称为尾数，mantissa）。

这三个⽅⾯可以共同⽤于根据⼀组给定的⽐特值计算出⼀个数值：

我们⽤来表⽰⼀个值的位数越多，它通常就越精确：

MemoryConstraints

我们可⽤的位数越多，可以表⽰的数值范围就越⼤。

⼀个给定的表⽰法可以取值的区间称为动态范围，⽽两个相邻值之间的距离称为精度。

这些位有⼀个很⽅便的特性，就是我们可以计算出你的设备需要多少内存来⼀个给定的值。由于内存中1个字节

（byte）有8个位（bit），我们可以为⼤多数形式的浮点表⽰创建⼀个基本。

现在，我们假设有⼀个700亿参数的模型。⼤多数模型原⽣都⽤32位浮点数（通常称为全精度）表⽰，这意味着仅仅

加载这个模型就需要280GB的内存。

因此，最⼩化⽤于表⽰模型参数的位数（以及在训练期间！）变得⾮常有吸引⼒。然⽽，随着数值精度的降低，模型

的准确率通常也会下降。我们希望在保持准确率的同时，减少表⽰数值的位数……这就是量