语言模型停用词去除对语义连贯性影响的眼动实证研究 .docxVIP

PAGE2

语言模型停用词去除对语义连贯性影响的眼动实证研究

摘要

随着自然语言处理技术的飞速发展，语言模型在文本生成任务中取得了显著成效。然而，为了提升计算效率与特征提取的精准度，模型预处理阶段常采用停用词去除策略。这一策略虽降低了维度，却可能损害生成文本的语义连贯性。本文以语言本体为视角，结合眼动追踪技术，探究剔除停用词后模型生成文本的阅读加工难度，揭示虚词在机器语篇连贯建构中的认知作用。

研究遵循“提出问题→分析问题→解决问题”的递进思路。首先，绪论部分交代了研究背景与核心问题，明确了研究目的与方法。其次，文献综述梳理了国内外关于停用词与语篇连贯的研究脉络，找准了本研究的切入点。接着，核心概念与理论基础部分界定了停用词、语义连贯与眼动指标，构建了本研究的分析框架。

随后，本文重点剖析了停用词去除引发连贯性受损的生成脉络、内在矛盾与问题本质。在此基础上，深入阐释了虚词缺失导致认知负荷增加的作用机制，并界定了其发生作用的条件与边界。最后，本文提出了“虚词驱动的语篇连贯计算模型”，论证了其解释力，并总结了研究结论、理论贡献与实践启示。本文主体在于核心问题的理论解析与作用机制阐释，为优化语言模型的文本生成策略提供了认知层面的理论支撑。

第一章绪论

1.1研究背景

在当今数字化与智能化交织的社会现实中，自然语言处理技术已深度融入信息检索、机器翻译与文本生成等核心领域。语言模型