人工智能在大规模高利害考试中的应用研究.docxVIP

?

?

人工智能在大规模高利害考试中的应用研究

?

?

朱汝光徐加永

摘??要：近年来，基于人工智能技術的“机器评卷”研究不断深入，应用实践也日渐增多。北京教育考试院依托国内一流人工智能研究团队，开展了人工智能在大规模高利害英语听说考试中的应用研究。自2018年起，该研究成果在全市中考听说考试评卷中进行了实质性应用，共涉及考生50余万人，取得了良好的效果。为切实解决英语听说考试智能评卷的技术难题，确保公平公正，北京教育考试院联合“科大讯飞”公司，申请了北京市教育科学“十三五”规划优先关注课题“AI在中高考英语听说测评中的应用研究”，力争将研究成果应用在近年的高考英语听说机考中，以助力北京市教育考试招生制度的改革。

关键词：高利害考试;英语听说考试;机考;机评;智能评卷

：G465文献标志码：A：1673-8454（2021）07-0040-04

一、引言

自2018年中考开始，北京市的英语听说测试实行计算机化考试，并引入人工智能评卷。北京市中考英语听说机考分值为40分，占总分100分的40%。从2021年起，高考英语听说测试实行机考，分值为50分，占总分的33.3%。

北京市中高考英语学科考试内容和方式的改革，已成为考试招生制度改革的切入点和重要组成部分。该改革力度大、步子稳。中高考英语学科听说考试的得分大比例计入中高考总分，这样的评价导向，有效地引领了中学英语教学，有利于克服“哑巴英语”。同时，引入人工智能评卷，有效地减少了人为因素的影响，提高了评卷效率。

二、英语听说考试困境突围

高考英语要不要考听和说？这是个简单的问题，答案也显然是肯定的。但是，如果把考生人数放大到10万人甚至近100万人的数量级，要组织一场人人交互式的听说考试，回答就不那么容易了。就算有足够数量的考官，要保持几百、几千名考官在连续几天，每天几个小时的现场考试中，始终把握同一标准尺度，困难恐怕是难以想像的。横向、纵向公平都难以保证。因此，必须借助现代信息技术，在考试形式上寻求突破。

2013年前，北京教育考试院以“高考英语科目改革”为题立项，组成由国内知名专家领衔的课题组，对高考“英语听说”内容改革和测试方式进行研究。研究历时三年，重点调研了浙江、广东两省，分析了国内外已有的若干种机考系统的利弊，并对高中生、大学生、高校教师、中学校长、中学一线英语老师等人群，发放3000多份调查问卷，征求其对通过“人机对话”方式来考核听说能力的看法。当时大家的认识还不尽相同，赞同者不到半数，具体如表1所示。

2014年，在“北京高考英语科目改革课题”研究的基础上，北京教育考试院又承担了市财政支持的“北京英语能力测试项目”，进一步对机考的可行性进行论证，命制试题并进行了测试研究。先后于2014年1月、5月、7月进行了3次英语听说机考测试，测试涉及城区、郊区不同层次的19所高中学校，参加学生总数达到5100多人次，形成有关机考考场、考务管理、测试报告等方面的资料。研究发现，此时社会对机考的接纳程度有了很大提高，专家意见趋于统一。研究还完成了改革版考试说明初稿，为高考英语听说机考改革打下了坚实基础。

2014—2016年，北京教育考试院参与信息产业部电子产业发展基金项目“智能语音技术及产品研发与产业化”研究，并为项目提供政策咨询及战略分析以及测试场地、机器设备等。同时还遴选参试人员，并组织测试。该研究认为机考在技术上是可行的。

在完成了理论可行性、社会接受度、专家意见等方面的系统研究后，形成了三方面的共识：一是引导社会改变观念，回归语言的本质属性，把听力考试从笔试中剥离出来，高考要考“说”;二是加大高考“听说”比重，积极引导教学，实行“听说一体”“上机考试”的做法，提高考试的公平性;三是共享科技成果，改革考试的形式，重新设计试卷结构，确定科学的英语测量目标，探索人工智能评卷。

三、英语听说考试设计关键突破

在进行英语听说机考考试设计的过程中，研究团队重点关注适用题型、试卷结构、等值性等核心问题。

1.机考题型设计

经过多轮的专家论证、小规模试测、大样本测试，北京市最终确定的中考英语听说机考题型包括：

听后选择：听一段对话或独白，考生听后根据屏显问题选择最佳答案。

听后回答：听一段短对话，考生在听后根据屏显问题口头回答问题并完成录音。

听后记录：屏显一个留有5个空白的笔记记录表，考生听两遍短文，听后用键盘输入关键词。

听后转述：考生听同一段短文的三遍录音，然后考生完成转述并录音。

听后朗读：屏显一篇短文，给一定的准备时间，然后考生完成短文朗读并录音。

过去三年的中考英语听说机考实践证明，以上题型比较适合当前的机考模式。高考听说机考题型与中考基本相同，但在能力要求等方面有所调整。

2.试卷结构设计

在题型设计上，面临的问题是采用听和说完全分离，还是部分试题听说融合