试题标注结果统计及分析讲义.ppt

思维导图知识点分布 符合规范的标注统计结果（只统计根知识点的分布情况）： 思维导图知识点分布 不同出现频率的知识点的分布： 思维导图知识点标注结果分析 未出现过的根知识点： 旅游与区域发展 宇宙 工业地狱的形成与发展 世界主要国家 思维导图知识点标注分析 与题面的关联分析： 课本知识点 课本知识点总条数：921 按照课本划分： 课本知识点标注结果 按照章划分，出现频率前10为： 课本知识点标注结果 没有节信息的知识点标注条数：59，占总数的6.4% 按照节划分，出现频率前10为： 课本知识点标注结果分析 与题面的关联分析： 图片类型 共出现144个图片标注 共出现107种不同的图片标注 存在的问题： 有的同学用逗号或顿号分隔了一个标注，有的是描述同一张图，有的是描述不止一张图，这里没有统一 统计的时候，按整条标注作为一个图片类型 图片类型分布 经过抽象，我们依据标注结果将图片主要可分为如下几类： 示意图：27 地形图：15 分布图：10 经纬：10 等值线图：8 地图：8 柱状图：7 曲线：7 统计图：6 折线图：4 剖面图：4 过程：3 其他：35 图片类型 其他类型举例： 表格 照片 时间图 循环图 交通图 线路图 结构图 散点图 轨迹图 检测图 天气图 饼图 趋势图 ... 后续工作 Web-UI annotator Question representation 试题标注结果统计及分析 标注体系 试题及选项 求解目标：以题为单位，answer type 多实体、单实体、判断、流程、其他 问句模式: 以选项为单位，question type 事实、因果、比较、关联、图表计算、其他 时间 地点 术语 课本知识点 思维导图知识点 图片类型（可选） 标注样例 标注结果及分析 南大10人参加标注 28套北京高考及各区模拟试题 共515道选择题，515*4=2060个选项 求解目标标注结果统计 判断 386 单实体 83 多实体 36 流程 9 其它 1 求解目标标注结果分析 与题面的关联分析（基于lasso特征选择模型的关键字提取算法） 问句模式标注结果统计 事实：349 因果：120 比较：100 图表计算：32 关联：19 其他：2 问句模式（标注错误） 问句模式为“其它”的题： 按照约定，上述题面不需要单独标问句模式，这里应该是误标 问句模式标注结果分析 与题面的关联分析： 时间词标注 数量：251 我们将时间词整理为9类，识别优先级如下： cycle：周期类 period：时间段 season：季节（包括部分节气） timep：不同粒度的时间点 cond：有条件的时间 stage：某期间或某时期 frame：一天中的某时段 ref：虚拟指代的时间 other：其他 时间词分析 cycle 规则： 表达式中包含每 数量：5 例子： 时间词分析 period 规则： 数量：42 例子： 时间词分析 season 规则： 表达式中包含春“夏”“秋”冬中的至少一个 数量：29 例子： 夏季，春，秋冬，春季，冬季，秋冬季 特殊： 夏至日 冬夏之交 时间词分析 timep 规则： 表达式中包含年“月”“日”中至少一个，并且有数字（中文或阿拉伯数字） 包含“时”，并且前一个字符为数字 包含“点”，并且前一个字符为数字 包含“：”或:（时分秒） 包含/（年月日） 数量：116 例子： 特殊： 年复一年 此日后20天 3、4月 近20年来 2300万年前 时间词分析 cond 规则： 表达式以“时”或“后”结束 数量：11 例子： 特殊： 2小时后 此时 时间词分析 stage 规则： 数量：10 例子： 特殊： 图示时期 甲时期 （上述两个是否应该算入ref虚拟指代时间词中？） 时间词分析 frame 规则： 表达式包含这些词中的某一个： [u傍晚,u早晨,u昼,u夜,u上午,u中午,u下午,u晚上,u夜晚,u黎明,u深夜,u午间,u日出,u日落] 数量：9 例子： 时间词分析 ref： 规则： 表达式包含“某”“该”“当”“此”中的一个 数量：6 例子： 时间词分析 other 没有被分到上述8类的其它时间表达式 数量：23 例子： 地点词统计 数量：1019 8类，识别优先级如下： lonlat：包含经纬度的地点 ref：虚拟指代的地点 adregion：行政区域，国家、省、市、县等等 station：XX站 special：XX平原、高原等，包括特例公园 area：XX区 direction：包含方位词 other：其它 地点词分析 lonlat 规则： 包含°或者“北纬”“南纬”“东经”“西经” 数量：36 例子： 90oE 乌鲁木齐（44°N,88