自然语言常见面试题及答案.docxVIP

自然语言常见面试题及答案

问题1：请简述自然语言处理（NLP）中“分词”的作用及中文分词的主要难点，常见的分词方法有哪些？

分词是将连续的自然语言文本切分为有意义的词语序列的过程，是中文NLP任务（如句法分析、命名实体识别、文本分类等）的基础。中文分词的主要难点在于：

（1）词边界模糊：中文无显式空格分隔，部分词语存在交叉歧义（如“网球拍”可切分为“网球/拍”或“网/球拍”）；

（2）未登录词（OOV）处理：新出现的词汇（如网络热词、专业术语）难以通过词典覆盖；

（3）歧义消解：同一文本可能有多种合法切分方式（如“乒乓球拍卖完了”可切分为“乒乓球/拍卖/完了”或“乒乓球拍/卖完了”）。

常见分词方法包括：

-基于规则的方法：利用人工总结的分词规则（如最大匹配法、最小切分法），依赖词典匹配，对歧义处理能力有限；

-基于统计学习的方法：通过标注语料训练模型（如HMM、CRF），将分词转化为序列标注问题（如BIO标签：B表示词开始，I表示词中间，O表示单字词）；

-基于深度学习的方法：使用LSTM、BiLSTM或Transformer模型，结合字符级特征（如字向量、位置信息）和上下文信息，提升对长距离依赖和OOV词的处理能力（如ERNIE分词模型通过知识增强优化切分效果）。

问题2：命名实体识别（NER）的核心任务是什么？常用的模型架构有哪些？如何解决实体边界模糊的问题？

NER的核心任务是从文本中识别出具有特定意义的实体（如人名、地名、机构名、时间、数值等），并标注其类别。其本质是序列标注问题，输入为字符序列，输出为每个字符对应的实体标签（如B-PER、I-PER表示人名的开始和中间）。

常用模型架构包括：

-传统方法：CRF（条件随机场），通过特征工程（如字符前缀/后缀、词性、上下文词）建模标签间的转移概率；

-深度学习方法：

-BiLSTM+CRF：BiLSTM捕捉上下文语义特征，CRF建模标签序列的全局约束（如避免“B-PER”后直接接“B-LOC”）；

-Transformer+CRF/Softmax：通过预训练模型（如BERT、RoBERTa）提取深层语义表征，结合CRF或Softmax进行标签预测，对长距离依赖和复杂实体（如嵌套实体）的识别效果更优。

解决实体边界模糊的关键在于增强模型对上下文的理解：

（1）引入字符级和词语级特征：如使用预训练字向量、词向量（如Word2Vec）或动态词边界特征（如通过外部词典标注候选词边界）；

（2）优化标签体系：采用更细粒度的标签（如BIOES，增加E表示词结尾、S表示单字词），明确实体边界；

（3）结合领域知识：在垂直领域（如医疗、法律）中，通过领域词典或知识图谱增强实体识别的准确性（如医疗NER中加入疾病、药物术语库）。

问题3：文本分类的常见任务类型有哪些？对比TextCNN、BiLSTM和BERT在文本分类中的优缺点。

文本分类的任务类型包括：

-单标签分类：文本属于唯一类别（如情感分析中的“正面/负面”）；

-多标签分类：文本可同时属于多个类别（如新闻分类中的“科技”“商业”）；

-层次分类：类别存在层级关系（如“动物→哺乳动物→猫科”）；

-细粒度分类：类别划分更细致（如用户评论中的“物流速度”“商品质量”子维度）。

模型对比：

-TextCNN：

优点：基于卷积神经网络，通过不同大小的卷积核（如1-5gram）提取局部特征，计算效率高，适合短文本分类（如短评、微博）；

缺点：依赖固定窗口的局部特征，对长距离语义依赖和上下文关联捕捉能力弱，特征提取受限于人工设计的卷积核大小。

-BiLSTM：

优点：双向长短期记忆网络可捕捉前后文的时序信息，适合处理序列依赖强的文本（如长句、对话）；

缺点：对超长文本（如千级以上字符）的建模能力下降（因梯度消失问题），且无法并行计算，训练效率低于CNN。

-BERT：

优点：基于Transformer的双向预训练模型，通过MLM（掩码语言模型）和NSP（下一句预测）学习深层语义表征，能捕捉全局上下文信息，对长文本和复杂语义的理解更准确；微调时仅需添加分类头即可适应不同任务，泛化能力强。

缺点：模型参数量大（如BERT-base有1.1亿参数），训练和推理成本高；对短文本可能存在“过拟合”预训练知识的问题（需调整训练策略，如减少微调层数）。

问题4：机器翻译（MT）的主流技术路线有哪些？对比统计机器翻译（SMT）和神经机器翻译（NMT）的核心差异。

主流技术路线包括：

-规则翻译（RBMT）：依赖人工编写的语法规则和词典，适用于