GPTQ：高效准确预训练变换器模型后训练量化方法.pdfVIP

GPTQ:用于生成预训练变换器的准确后训练量化

∗

EliasFrantarSalehAshkboosTorstenHoeflerDanAlistarhIST奥地利理

工学院理工学院IST奥地利NeuralMagic

2023

年r生成预训练变换器模型，通常称为GPT或OPT，在复杂的语言建模任务

a中表现出色，但同时也带来了极高的计算和成本。特别是由于其庞大

M

的规模，即使是大型、高精度的GPT模型的推理也可能需要多个高性能

22的GPU，这限制了这些模型的可用性。尽管有新兴的工作致力于通过模

]

.型压缩来缓解这一，但现有的压缩技术在GPT模型的规模和复杂性

L

3面前仍显得力不从心。在