2025年大学《数理基础科学》专业题库—— 数学在语言学中的应用.docxVIP

2025年大学《数理基础科学》专业题库——数学在语言学中的应用

考试时间：______分钟总分：______分姓名：______

一、

1.简述形式语言理论中乔姆斯基谱系（包括0型、1型、2型、3型文法）的主要区别及其对应的自动机模型。

2.解释语言模型N-gram在自然语言处理中的作用，并简述其面临的主要挑战。

3.根据齐夫定律（ZipfsLaw），若词频分布服从幂律形式P(F)∝1/F^α，解释参数α的典型取值范围及其含义。说明该定律在语料库分析中的意义。

二、

1.给定一个上下文无关文法G=(V,T,P,S)，其中V={S,A,B},T={a,b},P包含以下规则：S-AB,S-aA,A-bB,A-ε,B-aB,B-ε。用文法G生成字符串abba。

2.描述有限自动机（FA）的基本组成部分，并解释它能识别什么样的语言（形式语言）。

3.已知一个词袋模型（Bag-of-Words）文档集合，包含以下词汇和出现次数：{dog:3,cat:2,fish:1,bird:2}。计算单词cat的文档频率（DF）和逆文档频率（IDF），假设文档总数N=4。假设文档D1包含词{dog,cat,dog,fish}，D2包含词{cat,bird,cat}，计算单词cat在D1和D2中的TF-IDF值（假设已经计算好IDF为log(4/2)=1）。

三、

1.对于字符串helloworld，计算其由字符构成的信息熵（假设字符等概率出现）。

2.解释互信息（MutualInformation,MI）的概念，并说明为何它常被用于衡量两个词语w1和w2在文本中共同出现的关联性或重要性。

3.给定两个概率分布P={p1,p2,p3}={0.1,0.6,0.3}和Q={q1,q2,q3}={0.4,0.2,0.4}。计算从P到Q的KL散度（Kullback-LeiblerDivergence）DsubKL/sub(P||Q)。

四、

1.简述统计机器翻译（SMT）中基于概率的翻译模型的基本思想，包括如何利用对数概率来评估翻译句子的好坏。

2.描述图论中“最短路径”问题的一个简单应用场景，例如在语言学中可能表示什么（无需具体算法）。

3.论述信息熵在构建词向量（WordEmbeddings）时可能发挥的作用。

试卷答案

一、

1.乔姆斯基谱系由高到低依次为：0型文法（递归文法，无限制）对应图灵机（TuringMachine），能描述任何可计算的语言；1型文法（上下文有关文法，Context-SensitiveGrammar）对应线性有界自动机（LinearBoundedAutomaton,LBA），生成的语言比0型文法少但比2型文法多；2型文法（上下文无关文法，Context-FreeGrammar）对应下推自动机（PushdownAutomaton,PDA），能描述大多数编程语言和自然语言的句子结构；3型文法（正则文法，RegularGrammar）对应有限自动机（FiniteAutomaton,FA），能描述正则语言，是最简单的形式语言，与有限自动机一一对应。主要区别在于文法的限制程度，进而决定了能描述的语言类和对应的自动机复杂度。

2.N-gram模型通过考虑文本中连续的N个词（或字符、字谜）来预测下一个词。它基于“局部独立性假设”，认为当前词的出现概率只与前面N-1个词相关。在自然语言处理中，N-gram模型用于构建语言模型，评估句子或短语生成的可能性，是许多NLP任务（如语音识别、机器翻译、文本生成）的基础。主要挑战包括数据稀疏性（低阶N-gram在大型语料中频率极低）、参数爆炸（N增大导致模型复杂度急剧增加）、以及局部独立性假设在长距离依赖上的失效。

3.齐夫定律中，α的典型取值范围在0.5到1之间。α=1对应完美的齐夫定律（词频与倒数成正比），α越接近0.5，表示高频率词的优势越明显。该定律的意义在于揭示了自然语言中词频分布的普遍规律，即少数高频词出现次数远超低频词，这有助于理解语言结构和进行有效的文本统计与分析，例如在信息检索中构建倒排索引。

二、

1.生成过程：S-AB(应用规则S-AB)；A-bB；B-aB；B-ε。

生成序列：S-AB-AbB-bB-baB-baε-abaB-abaε-abaε-abba。

生成字符串abba。

2.有限自动机由一个有限的状态集合、一个输入字