第七、八章信度与难度.pptVIP

硕士专业基础课考试信度与难度评定 试验说明 1 实验素材：中国传媒大学信息工程学院工硕的研一上学期的36人考试成绩。每个科目满分为100分 2 试验目的：分析某考试的信度，难度，鉴别力。根据此可以适当调整考试题型，从而使考试题型能够更好的表现学生的学习能力。 牛力丕，姜秀华 王京玲 张莉 授课老师 现代信号处理 现代通信原理 通信系统仿真 科目 实验信度 信度指实验结果的可靠性程度，大多数情况下是对测量结果一致性程度的估计。信度估计方法有5种，本实验采用内在一致性信度估计。 折半信度法是将调查项目分为两半，计算两半得分的相关系数，进而估计整个量表的信度。折半信度属于内在一致性系数，测量的是两半题项得分间的一致性。 将实验按奇偶分半，计算二者的相关系数（rhh，即半个量表的信度系数） 最后用斯皮尔曼-布朗（Spearman-Brown）公式： rtt=(2*rhh)/(1+rhh) 　　求出整个量表的信度系数rtt 。 信度值越高，成绩内在一致性越高，三门课的各自的内在一致性信度相似，其中现代通信原理成绩的信度为最高0.63，现代信号处理的信度为0.62,通信系统仿真为最低0.52 试验难度 实验的难度是表示实验的测验题目的难易程度的指标。 难度的公式为 P=x/y 当测题为二值计分时（答对给分），分子为通过率，分母为全体考生人数. 当测题为非二分法题目时，分子为全体考生在该考试科目所得的平均分，分母为该科目的满分分数。在此考察整体分数选第二种难度方法。 可见，各科考试难度均不大，考生考试成绩也相对较高 0.77 0.83 0.82 难度 现代信号处理 现代通信原理 通信系统仿真 科目 实验效度 效度是指试卷的有效性，即试卷的使用是否达到了考试的目的，主要包含内容效度，校标关联效度。 内容效度：指一套测试题是否测试了应该测试的内容或者说所测试的内容是否反映了测试的要求，即测试的代表性和覆盖面的程度。为此, 命题人员在命制试题之前, 必须完成下列工作: (1) 定义好内容总体, 描绘出有关知识与技能的大体范围; (2) 划分细纲目, 根据其重要程度确定加减比例; (3) 确定每道题所考的内容。以上三个步骤体现为各学科试卷 “ 双向细目表”的制定。 准则关联效度：在此称校标关联效度，效标是衡量试卷是否有效的参照物, 亦即根据考试对象的状况确定试卷是否有效。常见的效标有: 学生的学业成绩、 等级评定、 特殊训练成绩、 学习表现等。效标关联效度就是考察试卷得分与学生的平时表现, 从而确定试卷的有效程度 实验的鉴别力 项目的鉴别力又称区分度，项目鉴别能力强，水平高的得分高，水平度的得分低。难度在0.5时，项目的鉴别力最大。 常用方法：项目鉴别指数估计，方差法，相关系数法 项目鉴别指数估计：被试分按高低排列，然后取得分最高的27%高分组，最低的27%低分组答对该题的比率。 当分数是正态分布时，宜采用“27%规则”；一般情况下，取上下25%~33%均可；样本少时，可以取50%。 本实验分别取27%，50%进行对比 方差法：方差大，数据分散，鉴别力越大。 相关系数法：即计算题目通过率与试卷总分的相关。 计算的方法有点二列相关、 二列相关、 积差相关等。相关系数高于0.20的题目一般可以保留, 如果接近于零或负数时, 应作重大修改或删除。 89.23 11.11 125.52 方差 0.15 0.05 0.15 鉴别力D（50%） 0.22 0.07 0.22 鉴别力D（27%） 现代信号处理 现代通信原理 通信系统仿真 科目 D大，方差大，项目鉴别能力大，质量好。 在划分组的27%时计算的项目鉴别力比50%时大，一般情况下当D为0.20~0.29时，说明项目尚可，仍需修改。当D为0.19以下时，说明项目劣，必须淘汰。可见，三门考试科目按27%来分析的话，1,3门尚可，2劣，必须淘汰 方差法计算的结果和项目鉴别指数估计最后得的结论一致。 项目之间及项目与总分的相关性 对于非二值计分的项目，计算相关采用pearson积距相关公式:无量纲指数， 反映了两个数据集合之间的线性相关程度。 而使用相关系数correl可以确定两种属性之间的关系 0.69 0.52 0.78 总分 1 0.28 0.12 现代信号处理 0.28 1 0.26 现代通信原理 0.12 0.26 1 通信系统仿真 现代信号处理 现代通信原理 通信系统仿真 科目 项目的组间相关越大，测验的内在一致性信度越高，各个科目项目间的成绩相关性均在0.3以下，说明考生在某一科成绩好不代表另外一科成绩也好，内在一致性信度低。 通信系统原理与总分的相关性最高，说明该科目和总分一致