基于语料库的TEM8短文改错内容效度研究的中期报告.docxVIP

基于语料库的TEM8短文改错内容效度研究的中期报告 中期报告 一、研究背景及研究意义 TEM-8考试是评估中国大学生英语水平的重要考试之一。在TEM-8考试中，短文改错部分是考察考生英语语法掌握情况的一个重要环节。然而，现有的TEM-8短文改错内容主要是由专家编写，数量有限，不利于大规模应用。因此，使用语料库来生成TEM-8短文改错内容，可以大大提高短文改错题库的数量和质量，也为TEM-8考试提供更加有效的评估。 本研究的目的是基于语料库生成TEM-8短文改错内容，并探究这种方法的效度。通过比较专家编写的TEM-8短文改错内容和基于语料库生成的短文改错内容，探究基于语料库生成短文改错内容的可行性和效度。 二、研究方法 本研究采用文本相似度算法，以专家编写的TEM-8短文改错题目为基准，从语料库中自动生成短文改错内容，并与专家编写的题目进行对比，以评估自动生成的题目的质量。 具体方法为：首先，将专家编写的TEM-8短文改错题目转化为文本数据，利用Python语言中的nltk包对其进行分词，并去除停用词。其次，以分词后处理好的短文为输入，通过BERT模型对其进行向量化表示。BERT模型是目前自然语言处理领域中一种最先进的模型，具有较强的文本表示能力。最后，利用余弦相似度算法比较自动生成的题目和专家编写的题目的相似度，并进行评估。 三、研究进展 目前，我们已经完成了第一次实验。在本次实验中，我们选择了200道专家编写的TEM-8短文改错题作为基准，并随机选取了另外200道题从语料库中生成。通过计算余弦相似度，我们发现生成的题目和专家编写的题目的平均相似度为0.82，最小相似度为0.41，最大相似度为0.99。其中，有60道生成的题目相似度低于0.7，有140道相似度高于0.7。 通过初步分析，我们发现生成的题目中存在一些错误的改动，例如：将正确的单词改为错误的单词、将正确的句子改为不通顺的句子等。此外，有些生成的题目与专家编写的题目相似度虽较高，但改动的内容并不合理。 四、下一步工作 在下一步工作中，我们将继续优化算法，提高自动生成题目的质量和可行性，尝试采用深度学习算法来生成TEM-8短文改错内容，同时也会增加对生成题目进行评估的相关指标，如错误覆盖率等。 通过本次实验，我们成功利用语料库生成了TEM-8短文改错内容，并初步探究了其效度，为评估考生英语能力提供更加有效的方法，为TEM-8考试的提升和改进提供有益的帮助。