大语言模型的解码策略对生成文本创造性写作影响的量化分析.pdfVIP

大语言模型的解码策略对生成文本创造性写作影响的量化分析1

大语言模型的解码策略对生成文本创造性写作影响的量化分

析

1.研究背景与意义

1.1大语言模型的发展现状

大语言模型（LLMs）在近年来取得了飞速的发展，其参数规模从最初的几亿增长

到如今的数千亿甚至上万亿，模型性能也有了质的飞跃。以OpenAI的GPT系列为例，

从2018年发布的GPT-1的1.17亿参数，到2020年GPT-3的1750亿参数，再到2023

年GPT-4的多模态能力拓展，其在自然语言处理任务上的表现愈发接近人类水平。根

据斯坦福大学的AIIndexReport2023，大语言模型在文本生成、机器翻译、问答系统

等任务上的性能指标持续提升，例如在机器翻译任务上，BLEU分数从2018年的30左

右提高到2023年的40以上，这表明大语言模型在理解和生成自然语言方面的能力不

断增强。

大语言模型的训练数据量也呈指数级增长，通常需要海量的文本数据进行训练。以

百度的文心一言为例，其训练数据涵盖了互联网上的新闻、书籍、网页等多种类型的文

本，数据量达到数千亿词级别。这些庞大的数据为模型提供了丰富的知识和语言模式，

使其能够生成多样化的文本内容。随着模型规模的扩大和训练数据的增加，大语言模型

的应用场景也在不断拓展，从简单的文本生成到复杂的创意写作、代码生成、智能客服

等领域都有广泛的应用。

然而，大语言模型的快速发展也带来了一些挑战。例如，模型的训练和推理成本高

昂，需要大量的计算资源。根据微软研究院的估算，训练一个1000亿参数的大语言模

型，其硬件成本可能高达数千万美元，而且推理时的能耗也较高。此外，大语言模型生

成的文本可能存在质量问题，如逻辑不连贯、事实错误等，这也限制了其在一些对文本

质量要求较高的场景中的应用。

2.解码策略概述

2.1常见解码策略分类

大语言模型的解码策略主要分为确定性解码策略和随机性解码策略两大类。

•确定性解码策略：主要包括贪心解码（GreedyDecoding）和束搜索（BeamSearch）。

•贪心解码：在每一步选择当前概率最高的词汇作为输出。这种方法简单高效，但

容易陷入局部最优，生成的文本可能较为单调，缺乏多样性。例如，在一些简单

2.解码策略概述2

的文本生成任务中，贪心解码能够快速生成符合语法的文本，但在需要创造性写

作的场景中，其生成内容往往缺乏新颖性。

•束搜索：通过维护一个固定大小的候选序列集合（束），在每一步选择概率最高的

若干个候选序列进行扩展。束搜索能够平衡生成文本的质量和多样性，但当束宽

度较大时，计算成本会显著增加。研究表明，束宽度在5到10之间时，束搜索能

够在生成质量和计算效率之间取得较好的平衡。例如，在机器翻译任务中，束搜

索能够生成更准确和流畅的翻译结果，但在创造性写作中，过大的束宽度可能导

致生成文本的多样性不足。

•随机性解码策略：主要包括采样方法，如Top-k采样和Top-p采样。

•Top-k采样：在每一步从概率最高的k个词汇中随机选择一个作为输出。这种方

法能够在一定程度上增加生成文本的多样性，但当k值较小时，可能会导致生成

文本的质量下降。实验表明，当k值在10到50之间时，Top-k采样能够在生成

质量和多样性之间取得较好的平衡。例如，在生成诗歌等需要一定创造性的文本

时，Top-k采样能够生成更具想象力的内容。

•Top-p采样：在每一步从累积概率达到p的词汇集合中随机选择一个作为输出。

这种方法能够更好地控制生成文本的多样性，避免生成过于离谱的内容。研究发

现，当p值在0.8到0.9之间时，Top-p采样能够在生成质量和多样性之间取得

较好的平衡。例如，在生成故事等需要连贯性和创造性的文本时，Top-p采样能

够生成