NLP算法岗面试题（含参考答案）.docxVIP

NLP算法岗面试题（含参考答案）

适用：算法工程师、NLP方向校招/社招面试，题目覆盖基础、模型、工程、业务、深度学习基础

一、基础概念题

1.解释什么是词袋模型，说明它的优缺点

参考答案：

词袋模型（Bag-of-Words）是最早的文本表示方案之一。先构建固定词汇表，把一段文本拆解成单词，不考虑单词之间的语序、上下文信息，只统计每个词在句子中出现的频次，用频次向量代表这条文本。

优点：

实现简单，计算速度快；

可解释性强，容易理解；

小数据集上可以快速拿到基线效果。

缺点：

完全丢失语序信息，无法区分“狗咬人”和“人咬狗”这类语义；

向量维度等于词汇表大小，词汇量大时维度极高、稀疏；

无法表征词语之间的语义相似度，“苹果”和“水果”在向量空间没有天然关联；

高频无意义虚词会干扰特征。

2.TF-IDF的计算逻辑是什么，写出公式，说明它解决了词袋的什么问题

参考答案：

TF-IDF由词频TF和逆文档频率IDF相乘得到。

词频TF(t,d)：词语t

T

逆文档频率ID

I

N是全部文档总数，DF(t)是包含词语

最终：

T

它解决词袋模型里“高频通用虚词权重过高”的问题。在很多文档里都出现的词，IDF值偏低，权重被压低；只在少量文档出现的特征词，IDF更高，特征权重更大。

3.简述One-Hot编码在文本表示中的局限

参考答案：

One-Hot为词汇表中每个词分配一