测量信息失真在分层超长小说重构中的比例： 最优扩展比例-计算机科学-人工智能-大语言模型-小说生成框架.pdfVIP

测量信息失真在分层超长小说重构中的比例：

最优扩展比例

HANWENSHENTINGYING

StevensInstituteofTechnology

hshen13@

摘要我们的最终目标是从极简大纲生成内容丰

一种两阶段的小说生成框架（提纲-分节富的超长小说。然而，由于“细节”本身难以

本提纲-手稿）广泛用于长篇小说的生成，定义和直接评估，我们转而研究在不同压缩比

（例如，圆顶,计划与撰写,长篇作者），但率下使用大型语言模型重建超长小说时的细节

译在超长篇小说（100万字）重建方面的研损失，以此作为生成质量的替代指标。

中究很少。

2基于最近的文本压缩方法1.1动机

v

2（LLMZIP,LLM2VEC），我们进行了超长小说（100万+字）在武侠世界、反切

7一项信息论分析，以量化不同压缩-扩展比

5和起点上非常受欢迎，使得自动化生成成为

2下的语义失真。我们考察了轮廓长度如何

1一个关键目标。自ChatGPT以来，像LLaMA

.影响信息保存。

5(Grattafiorietal.,2024)、DeepSeek(DeepSeek-

0超长小说的实验表明，最优的压缩扩展比

5AIetal.,2025)、Qwen(Baietal.,2023)、Gemini

2率显著减少了语义失真，相比其他非最优

:的压缩扩展比率。(Teametal.,2024)和GPT-4o(OpenAIetal.,2024)

v

i这样的模型已经提升了长上下文处理能力。

x1介绍

r然而，尽管输入容量达到了1M-token，输

a

我们在大规模小说生成中观察到一个基本出限制（例如，16k）使得忠实的重建变得困

现象(Lietal.,2022;Suetal.,2022)：当由大语难(Mikhaylovskiy,2023)。虽然许多先前的研究

言模型（例如ChatGPT）将一百万字的小说总已经解决了多达10万个单词的小说生成问题，

结为一千字的大纲，然后再扩展时，结果显示但缺乏实证证据表明这些方法能够自然地扩展

出显著的扭曲、细节损失和语义偏离。相比之到生成100万字的小说。在百万词规模上的挑

下，将十万字的小说压缩成一万字的大纲再进战——保持连贯性、主题一致性以及角色发展

行扩展，则更忠实于原意。——从质和量上来看都是截然不同的。受到编

诸如LongWriter等研究一致认为，生成10码器–解码器范式的启发，我们采用了一个基

万字以上的小说通常遵循从大纲到小说的工作于重建的框架作为替代目标来研究并改进超长

流程。质量取决于两个提示方面的变量：（i）大文本生成。