2025年自然语言处理文本分类实操真题及答案.docxVIP

2025年自然语言处理文本分类实操真题及答案

考试时间：______分钟总分：______分姓名：______

第一题

请阅读以下新闻文本数据集描述，并完成数据加载与基础预处理任务。

数据集描述：

该数据集包含新闻文章，分为“体育”、“科技”、“财经”三个类别。数据以CSV格式存储，文件名为`news_dataset.csv`。每行数据包含两列：第一列是新闻文本内容（`text`），第二列是新闻类别标签（`category`）。标签使用的是类别名称，而非数字编码。

任务要求：

1.使用Python编写代码，加载数据集`news_dataset.csv`。

2.对文本内容进行基础预处理：

*将所有文本转换为小写。

*使用简单的空格和标点符号分割方法对文本进行分词（无需去除停用词或进行词干提取）。

*将处理后的文本和对应的类别标签分别存储到两个列表中（`preprocessed_texts`和`categories`）。

3.打印出前5条预处理后的文本内容及其对应的类别标签。

第二题

基于第一题完成的数据预处理结果，请进行特征工程，将文本数据转换为数值特征。

任务要求：

1.使用`scikit-learn`库中的`TfidfVectorizer`，将`preprocessed_texts`列表中的文本数据转换为TF-IDF特征矩阵。

*设置`max_features=1000`，即只保留出现频率最高的1000个词语作为特征。

*确保在转换过程中正确处理第一题中存储的类别标签信息（如果需要）。

2.打印出TF-IDF特征矩阵的形状（即行数和列数），以确认特征矩阵的大小。

第三题

请使用`scikit-learn`库，在TF-IDF特征矩阵上训练一个朴素贝叶斯分类器（`MultinomialNB`）来执行新闻分类任务。

任务要求：

1.将TF-IDF特征矩阵划分为训练集（`X_train`和`y_train`）和测试集（`X_test`和`y_test`），划分比例为80%训练集和20%测试集，随机种子设置为42。

2.使用`MultinomialNB`类创建一个朴素贝叶斯分类器实例。

3.使用训练集数据（`X_train`,`y_train`）训练该分类器。

4.使用训练好的分类器对测试集特征（`X_test`）进行预测，并将预测结果存储到列表`predicted_categories`中。

第四题

请评估第三题中训练的朴素贝叶斯分类器在测试集上的性能。

任务要求：

1.使用`scikit-learn`库中的相关函数，计算并打印出分类器的准确率（`accuracy_score`）。

2.计算并打印出每个类别的精确率（`precision_score`）、召回率（`recall_score`）和F1分数（`f1_score`），使用`average=None`参数以获取每个类别的单独指标。

3.打印出分类报告（`classification_report`），该报告应包含所有类别的精确率、召回率、F1分数和支持数（`support`）。

第五题

请尝试使用不同的模型进行文本分类，并比较性能。

任务要求：

1.使用`scikit-learn`库中的`LinearSVC`类创建一个线性支持向量机分类器实例。

2.使用与第三题相同的训练集（`X_train`,`y_train`）和测试集（`X_test`,`y_test`）来训练这个LinearSVC分类器。

3.使用训练好的LinearSVC分类器对测试集特征（`X_test`）进行预测，并将预测结果存储到列表`predicted_categories_svm`中。

4.计算并打印出该LinearSVC分类器在测试集上的准确率。

5.简要说明（文字描述，无需代码）你认为LinearSVC分类器与第三题中朴素贝叶斯分类器在性能上的主要区别可能是什么。

第六题

请考虑特征工程对模型性能的影响，并进行改进尝试。

任务要求：

1.重新使用`TfidfVectorizer`，但这次不设置`max_features`参数，即使用数据中所有独特的词语作为特征。

2.再次将得到的TF-IDF特征矩阵划分为80%训练集和20%测试集（保持随机种子为42），得到新的训练集和测试集（`X_train_new`,`y_train_new`,`X_test_new`,`y_test_new`）。

3.使用第三题中训练好的朴素贝叶斯分类器（`MultinomialNB`实例），在新的训练集（`X_train_new`,`y_train_n