工作分析翻译.docVIP

评分者间的信度 在心理测量专业文献中（如NunnallyBernstein,1994），可靠性和一致性是有区别的。一致性仅仅是表示完全相同的判断和有差异的判断的一个函数，而可靠性是指方差的两个来源：一种是随机误差引起的方差，另一种是由感兴趣的项目之间系统的差异引起的的方差。除非在感兴趣的项目里有真正的方差，否则可靠性的评估时没有意义的。对我们来说，感兴趣的项目是最常见的工作。假设我们想评估执行工作空间能力的重要性判断的可靠性，必须具备以下几点：（1）几个工作（这是理论最小值，但良好的估计将需要更多的工作） （2）工作之间的差异和空间能力的重要性 （3）至少两个分析员 最简单真实的可靠性指标的相关系数--r（你可以在任何统计学入门教材找到这个的详细描述）。假设我们有两个工作分析，每一个分析都要判断一套工作空间能力的重要性。如果我们根据工作把这些判断进行排列，可以形成两列，每个分析师的判断为一列。我们可以计算出两列之间的相关性，即这两个分析师对整个工作的判断。这种相关性会估计由于分析师导致的误差量。一般来说，相关性越大，误差越小，可靠性越好。 组内相关性是普通相关性的替代物。组内相关性与一个广泛而灵活的测量理论有关，这个理论叫普遍性理论（如CrockerAlgina,1986;Cronbach,GleserRajaratnam,1963; shavelsonwebb,1991)。基本想法是看在不同的条件下采取的措施之间的相关性以判断如何从一组事件中推广到别的事件中。例如，我们可能想知道与在职者评分或管理者的评分进行对比，分析员的评分做的有多好。如果工作分析员的评分和在职者评分之间的相关性是高的，那么我们可以相信这一套评分方法可以预测其他工作。另一方面，如果分析员与在职者评分之间的相关性是低的，我们将从两个来源获得不同的信息，我们会想知道哪一个方法能更好地达到我们特定的目的。 组内相关性在评估工作分析数据的可靠性时并不常用（除了Webb,Shavelson, SheaMore,1981），虽然他们一直倡导使用。不谈组内相关性对工作分析数据的适宜性，在这里介绍组内相关性有两个原因。第一，组内相关性允许我们处理分析员之间的差异。第二，他们提供了一个方便的方法来评估分析员的数量，这些分析员将帮助我们在研究可靠性上达到我们的目的。 我们之前提到过，一致性曾被批评，因为一致性可能是在评分中没有任何分歧。另一方面，相关性作为测量可靠性的措施也被批评了，因为它没有考虑到方式上的差异。一致性指标的支持者抱怨相关性在根本没有实际的一致性的情况下指示高“一致性”（真的可靠性）只要两组评分的关系模式的相同的，即使两个人的数据时完全不同的，相关性也会很高。 下面根据两个分析员对工作花费的时间做出评分的5点量表： 分析员A 分析员B 任务1 5 3 任务2 4 2 任务3 3 1 以上评分，即使没有一致性，相关性却是完美的，这就是组内相关性的作用。 评级机构提供了定量的，相对连续的评级或判断时，我们会用到普通的相关性和组内相关性。花费的时间或学习任务的困难程度评级对技术类是适当的。组内相关系数在有多个评价者，或任务是总结我们想要知道结果和可靠性的情况下特别有用。组内相关系数还有助于说明评级机构的平均等级的差异。 内一致性和时间稳定性 的判断是在工作分析的数据误差的重要来源工作分析的部分的其他来源往往是值得调查调查由于特定的项目内容误差内一致性大的估计表明，有少量的错误由于具体的项目内容折半是测量内一致性α信度系数。信度指数α信度系数是目前最常用的信度系数α信度系数α信度系数α信度系数α信度系数是对同一组被调查人员采用相同的调查问卷，在不同的时间点先后调查两次关注的数字或分数的意义通常与数据采集的用途或目的结合起来