信度和效度测量幻灯片.pptVIP

HRM量化技术研究 HRM量化技术研究授课教师：谭远发授课进度：信度与效度测量2011-9-19 主要内容 测量理论 信度 效度 信度与效度的关系 信度与效度的分类及Stata计算 信度与效度的影响因素 提高信度与效度的途径 测量理论 信度(Reliability) 效度(Validity) 信度和效度的关系 举例来说 总而言之，信度和效度相互排斥又相互依存；没有信度就不可能有效度；没有效度，信度就毫无意义；高信度可能带来低效度；高效度也可能带来低信度。 信度分类及计算 信度主要分为四大类： 重测信度(Test-retest Reliability) 复本信度(Alternate-form Reliability) 内部一致性系数(Internal Consistency Reliability) 评分者信度(Scorer Reliability) 重测信度——kappa系数 重测信度反映两次测量结果的相关程度。对于分类变量，可采用Cohens kappa系数来测量： 将上表恢复为原始数据集后，采用Stata的kappa命令可得如下结果： 重测信度——ICC系数 对于连续变量，可采用Ronald Fisher(1954)提出的ICC (Intraclass Correlation Coefficient )系数来测量： 两种相关系数的本质区别在于均值和方差计算不同。在计算连续变量的重测信度时，应采用rFisher系数更准确。 复本信度 复本信度是指用母本和复本两次等值测评结果的一致性程度。它的计算与重测信度相似，即计算母本和复本测评数据的相关性。当测评结果为分数或数值时，用rPearson法或rFisher计算；当测评结果为等级或名次时，用斯皮尔曼等级相关系数 (Spearman Rank Correlation)。这些方法的适用性和差异见下表： 从表中数字可以看出，工人的考试成绩愈高其产量也愈高，二者之间的联系程度较一致，rPearson=0.691；并不算太高，这可能由于它们之间的关系并不是线性的。 如果分别按考试成绩和产量高低变换成等级(见上表第3、4列)，则可以计算它们之间的斯皮尔曼等级相关系数为1。计算斯皮尔曼等级相关系数可以将数据变换成等级以后用原有的相关系数公式计算，也可以先算出每一对样本的等级之差di，结合样本量n；再用下列公式计算： 内部一致性系数——折半信度 内部一致性系数——Cronbach系数 评分者信度—— Kendall系数 效度分类及计算 信度主要分为三大类： 内容效度(Content Validity) 抽样效度(Sampling Validity) 表面效度(Face Validity) 效标关联效度(Criterion-Related Validity) 同时效度(Concurrent Validity) 预测效度(Predictive Validity) 构思效度(Construct Validity) 收敛效度(Convergent Validity) 区分效度(Discriminant Validity) 内容效度 在招聘和甄选过程中，通常涉及内容效度和效标关联效度。内容效度是指测评内容反映测量目标(如知识、技能和行为等)的程度。一个测验要具备较好的内容效度必须满足以下两个条件： 一、要确定好内容范围，并使测验的全部项目均在此范围内(抽样效度)。它既可以是具体知识或技能，也可以是复杂行为。 二、测验项目应是已界定的内容范围的代表性样本(表面效度)。也即选出的项目能包含所测的内容范围的主要方面，并且使各部分项目所占比例适当。 确定测验内容效度常用的方法是由专家对测验项目与所涉及的内容范围进行符合性判断，这是一种定性分析的方法。 这个效度产生的过程是：首先进行职务分析，确定完成该职位任务所需进行的工作，需具备的技能和能力；其次，确定衡量这些特征的测试题目。最后，请相关领域专家就这些测试题目是否涵盖了有效地内容进行评估和筛选。 效标关联效度 效标关联效度是指问卷(量表)测量结果和效度标准(被假设或定义为有效的某种外在标准)之间的一致程度。 根据效度标准获取的时间可分为:同时效度和预测效度。同时效度和预测效度的大小直接反映了问卷(量表)效标关联效度的高低。 同时效度 (1)同时效度(Concurrent Validity) ,即同时在研究对象中进行测评和效度标准测量得到的结果之间的相关程度,其效度系数通常较低,多在0. 20～0. 60之间,很少超过0. 70 ,一般以0. 4～0. 8 之间较理想。 例如：在招聘应届毕业