句酷批改网写作智能批阅系统信度与效度问题研究.docVIP

句酷批改网写作智能批阅系统信度与效度问题研究 　　【摘要】句酷批改网对提高学生的写作能力有着不可低估的作用。然而，句酷批改网在对英语作文评判中依然存在着相当严重的信度和效度不足问题。文章试图从词意、结构、逻辑性方面对句酷批改网评分失真因素进行探析。 　　【关键词】英语作文；信度；效度；句酷批改网 　　一、引言 　　句酷批改网是北京词网科技有限公司开发的一款基于语料库和云计算技术的英语作文自?釉谙吲?改服务系统。该系统将学生作文与语料库文本从192个子维度进行对比测量，将其差距通过一定的权重进行计算，在生成词汇、句子、篇章和内容四个维度的得分的同时给予最后总分、评语和点评。同时，对拼写错误、语法错误、中式英语、高分句型和易混词汇等信息提供反馈，提示学生进行作文修改，从而达到提高学生写作水平的目的。该系统与传统作文批改方式相比优势明显，能有效提高教师的工作效率，提升学生的英语写作能力。 　　然而，在实际的写作实践过程中，笔者发现句酷批改网在信度和效度方面都存在一定的问题，有些问题甚至较为严重。基于此，本文将从词意、结构、逻辑性方面研究影响句酷批改网信度和效度失真的因素，以及以上三个方面在多大程度上会影响信度和效度的偏移。 　　二、研究现状 　　随着句酷批改网在全国各高校英语教学中的实践应用的兴起，国内众多研究者对句酷批改网在写作实际运用中的作用、效果、运用策略等方面做了实证调查研究，并得出了相应结论。例如：这种方式为学生在词汇和语法上提供了很多帮助，但是在思想内容、篇章结构和逻辑性方面还需要教师的辅导（马卫华，甄强，2017）；句酷批改网比较机械化，不够智能化，不能判断作文题目与文章内容的相关性，不能判断写作者写的作文是否跑题，作文题目根本不影响作文的得分（罗保山，2016）；批改网评分尚不能反映学生英语作文的真实水平。在词汇和语法层面给予学生的反馈较多，但在写作内容、篇章结构、语体修辞、内容逻辑性及连贯性方面尚不能给学生足够的反馈（何旭良，2013）；对常见拼写错误和搭配问题能做出正确的批改，但就批改效度而言，还需要在语篇结构、修辞手法、语言的得体性等方面进行改进，提高句酷批改的灵活度（何小翠，2015）。众多研究都明确指出了一个不可回避的尴尬现状，即句酷批改系统在信度和效度方面存在失真现象。本研究将从词意、结构、逻辑性三个方面展开研究，力图探究这三个方面在评分上如何影响最终结果。 　　三、关于信度与效度 　　（一）信度 　　信度（Reliability）即可靠性，指的是采取同样的方法对同一对象重复进行测量时，其所得结果相一致的程度。信度分析的常用具体方法有重测信度（test-retest reliability）、复本信度（parallel-forms reliability）、分半信度（split-half reliability）。对于句酷批改网打分评判的信度而言，其主要目的在于确定文本在什么程度上会导致其评分信度的失真。也就是说，当写作者提交一篇作品之后，句酷批改网给出的评分是否能有效测量作者的实际语言水平。 　　（二）效度 　　效度（Validity）即有效性，是指测量工具或手段能够准确测出所需测量的事物的程度。效度是指所测量的结果反映所想要考察内容的程度，测量结果与要考察的内容越吻合，效度越高；反之，则效度越低。效度分为三种类型：内容效度（content-related validity）、准则效度（criterion-related validity）和结构效度（construct-related validity）。就句酷批改网效度而言，主要看是否检测了应该检测的内容或者说所检测的内容是否反映了检测的要求，即测试的代表性和覆盖面的程度。 　　四、研究方法 　　鉴于该研究只针对大学英语四级写作文本的检测信度和效度研究，因此本研究材料均取自大学英语四级标准写作文本。笔者选取2013-2017年四级真题写作标准范文10篇，通过对文本的分析和检测来回答句酷批改网对文本如何在词意、结构、逻辑性方面的失真导致检测的信度和效度失真。 　　（一）用词对评分信度和效度的影响 　　对于英语写作能力评判的要素之一就是文本用词的准确性和复杂性。对于写作水平评判，必然需要考察的是这个层次应该具备的用词难度。因此，用词的准确性是影响文本质量的重要因素。笔者先将10篇四级写作标准范文用句酷批改网进行评分，得出对照组分数；然后将每一篇范文中涉及话题的名词一律用X符号代替，再进行评分，得出实验组分数。其结果如表1。 　　从表1可以看出，虽然实验组成绩都有所下降，但句酷网给出的关于词汇部分的评分却没有降低，而是对篇章结构的评分降低了，这一点反映了句酷批改网存在信度失真。实验组的作文虽然句型结构未变，但实际表达意义