人机对话现场会资料三——人机对话评测建设工作交流(省技术中心标准技术部张仲华).ppt

“ ” “ ” 人机对话评测建设工作交流 省教育技术中心 张仲华 教育技术 教育 医学 一、人机对话 学生通过计算机和耳麦完成听力和口语； 计算机识别、理解、评测学生的听力和口语; 计算机生成评测结果和评测报告。 用于考试，备考，模考，作业，一对一学习等 人机对话 二、听说评测 项目 人工考试 计算机辅助考试 人机考试 形式 面对面 计算机录音 人工评分 人机对话 优点 人性化，个性化 提高效率 提高效率，降低成本，客观性 不足 组织、成本、主观性 成本，主观性 技术要求高 三、流程功能 考前 题库 组卷 分发 考务 发布 流控 收卷 阅卷 自动阅卷 人工阅卷 反馈 发布 查询 统计 分析 复查阅卷 四、考前环节 题库：试题上传、修改、删除； 组卷：按测评要求，确定试题属性（限时、人工阅卷） 分发：试卷授权给不同学校（不同年级） 功能说明 技术保障 考务人员身份授权，身份认证 题库和试卷加密（身份，时段，密码，记录） 试卷采用云分发或电子介质（光盘，U盘） 五、考务环节 候考室 考前说明 考生到达考点 观看试室分布图 等待进入准备室 考场1 考生参加考试 考场2 考生参加考试 考生离开考点 备考室 考生等候入场 候考、备考、考场保密区的划定，同一组题可以连续考三批学生 保密区，与外界隔离 五、考务环节 发布：教师发布试卷，设置考场，时间及对象 流控：教师监控考生登录和提交；学生登录，测试，考试； 收卷：学生提交，系统按设置时间截止； 功能说明 技术保障 考生身份认证 同批不同试题（A/B卷，试题顺序随机） 预案：监考、考生备机，2次试音，失败重考 信息传输安全，加密，检验，防篡改，备份， 六、阅卷环节 自动阅卷：由评测系统进行评分； 人工阅卷：教师在计算机上阅卷，评分，修改； 阅卷复查：对有疑议的试卷进行人工复查，修改计算机评分； 功能说明 技术保障 识别、理解、评测技术 相关度 平均误差 一致率 误差分布 六、阅卷环节 英语口语自动评测 （特征提取 语音识别） 考生语音 标准语音 标准文本 分析技术 专家认定的评分标准 理解技术 3.考生成绩 语音的识别技术、理解技术和分析技术 特征：完整、准确、流利、韵律（音准，韵律，语义，语法） 计算机学习专家的评价标准 六、阅卷环节 技术角度的测试案例： 1、600个学生，每学生10个样本（朗读，回答，口头作文）； 2、300份学生数据先人工评分，交评测系统学习； 3、评测系统对剩余300份学生数据进行评分； 4、剩余300份学生数据进行人工评分，与系统评分比对。 相关度 平均误差 一致率 排序（系统评分和人工评分的线性相关度） 偏离度（系统评分和人工评分误差的均值） 准确性（系统评分和人工评分一致数据的比例） 误差分布 稳定性（系统评分和人工评分不同差值的分布） 七、反馈环节 发布：老师确认无误后，点击发布。 查询：系统提供多种查询方式。 统计：各种统计报表。 分析：优劣项分析。 功能说明 技术保障 教师，学生身份认证 数据库检索查询 自定义统计报表 八、考场建设 标准化英语考场建设 原有计算机机房利用 八、考场建设 教室 计算机 软件 其他 计算机机房 网络连接 CPU 2G 内存1G 硬盘80G 网卡 Windows 7 Flash Office 客户端 专用耳麦（USB声卡） 考生用机0.6米以上的间隔 英语听说能力测试系统 八、考场建设 专用耳麦要求 带USB声卡 头戴式，大包耳 单向近讲 拾音器加装海绵头 拾音器后管长不低于12厘米 线控调音； 耳机线不低于1.5米； 下发考生信息和试卷 （光盘/移动存储） 光盘或者 移动存储 九、系统方案 考生录音 方案一：分级管理 特点： 管理方式接近传统形式； 互联网管理，局域网考试； 利用现有计算机机房； 计算机安装客户端软件； 试卷传递过程中考虑安全性； 对网络环境要求不高； 不会形成单点故障； 方案二：基于云技术 特点： 单点部署； 工作量，维护性，保密性，可伸缩，硬件成本； 对学校计算机机房要求不高； 网络环境要求高； 并发数测试； 传输过程的加密； 有应急预案。 九、系统方案 十、保障措施 组织动员 人员培训 英语教师、教研人员和信息技术人员 考务培训，考生培训，教师培训 考前测试 考试环境 系统安装、调试，组织流程测试 电力保障，网络保障，噪音影响 谢谢聆听 * 单点部署，不需复制，安装 考试内容存储在单点，避免内容散发过程中的泄密。 　考场本地没有任何存储，无需各种硬件加密措施，防止泄题。 * 单点部署，不需复制，安装 考试内容存储在单点，避免内容散发过程中的泄密。 　考场本地没有任何存储，无需各种硬件加密