2025年高频计算语言学研究生面试题及答案.docxVIP

2025年高频计算语言学研究生面试题及答案

预训练语言模型（如BERT、GPT系列）在实际应用中暴露出哪些主要局限性？如何从模型架构或训练策略角度尝试改进？

预训练模型的局限性主要体现在四个方面：其一，领域适应性不足。通用预训练模型在医疗、法律等专业领域的表现常显著下降，因其训练语料覆盖的通用场景与专业领域的术语、句法差异较大。例如，BERT在处理医学文本时，对“心肌梗死”等专业术语的上下文表征可能弱于领域内高频词。其二，小样本学习能力有限。尽管模型通过预训练获得了较强的语言理解能力，但在下游任务微调时仍需大量标注数据，这在低资源场景（如罕见疾病诊断文本分类）中难以满足。其三，提供内容的可信度问题。以GPT-3为例，其提供的长文本常出现事实性错误（如将“《哈姆雷特》作者”错误关联为“马克·吐温”）或逻辑矛盾，根源在于模型仅基于统计模式预测，缺乏对客观知识的显式验证机制。其四，计算资源消耗大。千亿参数模型的训练需数千张GPU并行运算，推理时的内存占用也限制了其在移动端或边缘设备的部署。

改进方向可从架构优化与训练策略两方面展开。架构上，可引入领域专用模块，如在BERT基础上增加医学术语增强层（如通过知识图谱嵌入补充专业词汇的语义关联）；或采用混合架构，结合Transformer与图神经网络（GNN），利用GNN显式建模专业领域中的实体关系（如药物-靶点相互作用）。训练策略方面，领域自适应预训练（Domain-AdaptivePretraining）通过在专业语料（如PubMed论文）上继续预训练，可提升模型对领域术语的表征能力；参数高效微调（Parameter-EfficientFine-Tuning）如LoRA（Low-RankAdaptation）仅微调少量低秩矩阵，大幅降低微调所需数据量和计算成本；引入外部知识增强训练（如ERNIE模型），在预训练阶段加入实体掩码任务（如将“[实体]是一种水果”中的“苹果”掩码），强制模型学习实体与概念的关联，减少提供时的事实错误；模型压缩技术（如知识蒸馏）将大模型的知识迁移到小模型，降低推理成本，例如TinyBERT通过蒸馏BERT的中间层表征，在保持90%性能的同时将参数减少7倍。

依存句法分析与成分句法分析的核心差异是什么？在中文处理中，哪种分析方法更具优势？请结合具体语言现象说明。

依存句法分析与成分句法分析的核心差异体现在表征对象与结构形式上。依存分析关注词与词之间的语法依赖关系，以有向边表示“核心词-依赖词”的支配关系（如“吃”是谓词，“他”是施事（主谓关系），“苹果”是受事（动宾关系）），最终形成一棵以核心谓词为根的有向无环图。成分分析则基于短语结构语法，将句子分解为层级嵌套的短语（如名词短语NP、动词短语VP），最终形成一棵包含非终结符（如S表示句子，NP表示名词短语）和终结符（实际词语）的树结构。例如，句子“他吃苹果”的成分分析树为S→NP（他）+VP（吃+NP（苹果）），而依存分析树以“吃”为根，“他”通过“主谓”边指向“吃”，“苹果”通过“动宾”边指向“吃”。

在中文处理中，依存句法分析通常更具优势，这与汉语的语言特性密切相关。首先，汉语缺乏丰富的形态标记（如英语的时态、性数变化），短语边界较模糊。成分分析依赖明确的短语结构规则（如“副词+动词”构成VP），但汉语中副词可能修饰整个句子（如“他终于吃了苹果”中的“终于”修饰全句而非仅“吃”），导致成分边界难以界定。依存分析通过直接建模词间关系，避免了短语划分的复杂性。其次，汉语存在大量意合现象（如省略主语的“吃了吗？”默认主语为对话双方已知的“你”），成分分析需补全隐含成分（如补出S→NP（你）+VP（吃了）），而依存分析可通过空节点（EmptyNode）标记隐含成分（如“吃”的主语为空节点PRO，指向对话上下文），更灵活地处理省略结构。此外，中文的话题优先特性（如“苹果，他吃了”）中，“苹果”是话题而非传统宾语，成分分析需调整短语结构（如TOPIC→苹果，S→他+VP（吃了）），而依存分析可通过“话题-核心”边直接连接“苹果”与“吃”，更符合汉语的实际语法关系。

Transformer模型中的自注意力机制是如何解决传统RNN在长距离依赖问题上的缺陷的？缩放点积注意力（ScaledDot-ProductAttention）中的“缩放”操作有何理论依据？

传统RNN（如LSTM）通过循环结构依次处理序列，每个时间步的隐藏状态依赖前一步的状态。但在长序列中（如超过500词的文本），梯度消失或爆炸问题导致模型难以捕捉远距离词之间的依赖关系。例如，在句子“Thecat,whichwassittingonthewindowsill,[mask]asleep”中，RNN可能因“cat”与“asleep