第八章 测评质量检验.pptx

第八章 测评质量检验

本讲内容效度01信度02项目分析03其他指标的检测04

1效度

第一节效度效度是指测评结果对所测评素质反映的真实程度。对这种真实性的考评，常见的方法有四种：从内容性质方面分析其内容效度从效标相关性方面分析其关联效度从实证方面分析其结构效度从其项目方面分析其元素效度，即项目效度效度的概念

第一节效度内容效度：是指实际测评到的内容与期望测评的内容的一致性程度。当实际测评到的内容与我们事先所想测评到的内容越一致时，则说明测评结果的内容效度越高，测评结果就越有效。内容效度具体从以下两个方面测评:(１)是否包括了想测评素质中的各种成分；(２)包括在测评范围内的行为样本的比例结构是否与工作分析的结果相一致内容效度在实际操作中的鉴定主要采用定性分析的方法,有蓝图对照分析法与专家比较判断法。

第一节效度结构效度：结构效度又称作构想效度、构思效度、构念效度、构建效度等。结构效度是指实际所测评的结果与想测评素质的同构程度。它表明了在多大程度上，实际测评结果能够被看作是所要测评的素质在结构上的替代物。在素质测评中，它是人们最关心的一种效度。这是由素质测评的间接性所决定的。人们总是通过选取一些具体的行为测评来判断实际的素质水平。结构效度与检验效度的人对素质结构的理解有直接关系。例如李某认为忠诚这一素质即是对本企业的忠诚而张某认为忠诚这一素质主要表现为实事求是的态度那么对于某人向其他企业泄露本企业产品存在的问题这一行为李某和张某显然会将其归类到不同的素质成分中并给予不同的评价。因此，结构效度的检验分析也是一种定性的主观判断。在分析考评过程中，要采取有力措施把主观影响控制在最低点上。

第一节效度结构效度的分析可按一下几步进行：1.给所要测评的素质的结构模式下一个操作化的定义“我们所要测评的素质是对xx的态度、有关xx的品质、有关xx的技能。”像这样一些表述所测评素质的具体形象是什么，结构如何，我们并不清楚，它仍然是从具体行为概括抽象出的某种意识或观念，因此对结构效度的分析没有多大作用。我们必须再次把这些“态度”“品质”“技能”进行建构。这里的构建不是从行为到观念构建，相反，是由观念向具体行为的构建。不是简单还原，而是在更高的水平上抓住所测素质的本质特征，确定一个可感觉、可操作的结构模式，由这种具体的结构模式作为抽象观念建构的替代物。这种替代物的成分显然应该是我们实际能够看到的、听到的、感觉到的东西。例如：外显行为、客观性生理反应等。素质测评的目标体系实际上就是所测素质的一个行为构建模型，这种结构模型分别由项目、指标、权重、标度等组成。这种模型的建构，在很大程度上取决于所测素质本身的特征及其抽象程度等组成。

第一节效度要定义或建构一个素质的结构模型，可以从以下几方面着手：首先，采取工作分析方法，对所想测评的素质进行结构分析与行为分析，确定各种素质结构及其代表的行为。其次，用图表的形式逐一列出工作分析得到的素质因素及其特征行为。除此之外，还可以通过查找历史上或现在人们对所测评素质的模型的现成资料，丰富已有分析的结果。图表中要表明结构模型中的全部成分及其相互关系还要包括具备这种模型中大部分成分或仅具备其中一点成分的人的行为描述图表的描述既可以是图形的面积比例也可以是数字比例，最后，还要另外准备一份与已经建构的模型可能混淆的但关系密切的其他模型图表。要反问自己并向人说明为什么所测素质是你所定义的结构模型而不是其他别的结构模型。

第一节效度2.收集事实资料，评判结构效度具体方法有：排除法如果测评结果能明确的排除它所对应素质结构模型的其他解释，那就表明所获得的测评结果具有较好的结构效度。咨询法可以请一些有经验的专家对获得的测评结果所对应的素质结构进行判断，询问他们该测评结果实际测评的素质是什么。如果专家们的回答与所想测评的素质结构几乎一致，那么说明测评结果具有较好的结构效度。相关法找一个具有较高结构效度的测评工具或结果，与你所获得的测评结果进行相关性分析，如果相关性很高，说明你的测评结果具有较高的结构效度。例如：某一个具有“自尊”结构效度的测评量表，它的测评结果就应该与自信、社交能力及领导作用等测评量表的测评结果成正比，而与诸如内向性、自卑、孤独等测评量表测评的结果成反比。

第一节效度2.收集事实资料，评判结构效度具体方法有：逻辑分析法当大家对所测素质的结构模型具有比较一致的认识时，只要能判定测评内容（工具）选择正确，且整个测评过程排除了一切外来干扰因素，就可以说测评结果具有较好的结构效度。例如：测评时间足以保证被测评者完成所有的工作，被测评者没有受到催促因素的影响；测评工具的指导十分明确，并操作准确。多元分析多元分析就是采取聚类分析与主成分分析等数学