11.素质测评效果分析.pptVIP

Copyright by wanggang 构思效度 “构思”的特点 抽象性 和具体的可观察的事件相联系 确定“构思”的步骤（理论模型的建立）： 明确那些和测量的构思相关的行为样组； 明确该构思和其他一些构思是否相关； 明确其他构思相关的行为样组。 Copyright by wanggang 构思效度 成就动机 树立有一定挑战性 的目标； 冒适当的风险 对自己的行为负责 喜欢反馈 努力做某件事，直 到达到目标 做事有事先安排 独立完成工作 积极主动与客户沟通 主动性 创新性 分析能力 人际能力 ? ? ? ?/— Copyright by wanggang 效标关联效度 Criterion-related validity 也称效标效度（criterion validity） 反映测验分数与外在标准（效标）的相关程度。或言之，用测验分数对个体的效标行为表现进行预测的有效性程度。 效标关联效度常用于预测性测验，用于甄选决策。 Copyright by wanggang 何谓“效标”？ 效标：考察测验效度的外在参考标准，或言之，被预测的行为水平。它是用来检验效度的标竿。 一个机械能力倾向测验，其效标可以是成为机械师后的工作表现； 对于一个管理技能测验而言，其效标可以是将来管理工作的绩效。 “明星员工”可以作为员工选拔的效标； “学业成功”可以作为大学生入学考试的效标 Copyright by wanggang 常用的效标 学术成就 特殊训练成绩 实际工作表现 团体对照 等级评定 先前有效的测验 Copyright by wanggang 预测效度 其效标资料往往是测量结束后隔一段时间才获得。它反映的是由测验分数对任一段时间间隔后被试行为表现的预测程度。 理想的评估效度的方法，但不合实际。 Copyright by wanggang 同时效度 其效标材料和测验分数差不多同时搜集。 同时效度的评估不需要长期追踪，所以应用比较普遍 同时效度和预测效度的差异根源不在与收集效标的时间，而是在于测验目的的不同。前者在于诊断现在的状态，后者多预测未来的结果。 “某人成功了吗？”“某人会成功吗？” * 素质测评效果分析 误差分析 信度分析 效度分析 误差分析 误差：测量中与目的无关的变因所引起的不准确或不一致的效应。 随机误差 系统误差 随机误差 又称可变误差 由与测量目的无关的偶然因素引起而不易控制的误差，它使多次测量产生不一致的结果 误差的方向和大小的变化完全是随机的，无规律可循。 随机误差既影响准确性又影响一致性。 系统误差 又称常定误差 由与测量目的无关的变因引起的一种恒定而有规律的效应。 稳定地存在于每一次测量中，此时虽然测值一致，但不正确。 系统误差只影响测值的准确性。 素质测评误差类型 测评工具本身的误差 测评实施过程的误差 测评实施者的误差 应试者的误差 测评工具误差 测评工具所测评的素质特征与目标上欲测评的素质特征之间不一致 测评指标不能完全代表测评目标，测题抽样不能完全代表测题总体。 测验的题型和用词 测验难度（影响测验的甄别力） 天花板效应和地板效应 测验长度：测验包含题目的数量。 测评过程误差 环境干扰 温度、通风、噪音、照明 测评纪律的控制不好 作弊、代考、抄袭、相互交流、泄题 错误操作 误读指导语、错误理解指导语、误答记录错误、记分错误。 噪音、光照变化、温度变化、疲劳因素、情绪因素等 测评实施者误差 施测者的资格：双盲测试 定势心理 专业化心理 优势心理 偏好心理 宽容定势（Leniency set） 首因效应 晕轮效应 Copyright by wanggang 应试者误差 应试动机 测验焦虑 反应定势 测验经验和练习效应 生理因素 皮革马力翁效应 信度分析 信度（Credibility）： 指测量结果的可靠性或一致性。 测量结果的可靠性与误差的大小密切相关。 误差越大，分数的可靠性就越低 信度便是说明测量的可靠性或一致性的指标。 真分数模型 测评分数 = 真分数 要测量的特征 随机误差 不一致 + 信度系数 信度系数（reliability efficient） ——真实分数标准差与实得分数标准差的比率。衡量信度高低的指标。 只是理论上假设的值，不可能实际测到，因此我们不可能实际得到信度系数。 Copyright by wanggang 信度的作用 解释真实分数与实得分数的相关。一个人的获得分数与“真实分数”之间的接近程度如何。 信度可以解释总的方差中有多少比例是由真实分数的方差决定的，即测量分数的变化中有多少是真实反映了被试分数的变化。 Copyright by wanggang 重测信度 te