评价系统的可靠性分析摘要.pptVIP

系统评价学·刘新建 系统评价学·刘新建 系统评价学·刘新建 系统评价学 * [1] 可靠性分析一般是针对一个评价方案的，也可以针对一个评价模式，后面称为对评价模式的，对评价方案同样适用。 * [1] 戴忠恒. 心理与教育测量. 上海 华东师范大学出版社，1987年，第220页 刘新建 系统评价学 第八章 评价系统的可靠性分析 对于建立的一套系统评价模式（或评价方案），其质量效果如何也是需要评价的。这种评价包括两个方面： ⑴对于达到管理目的或实现评价目标，其质量效果如何? ⑵实施这一评价活动的经济或社会效益如何? 本章仅讨论第一方面。 在工程系统中，人们提出了系统可靠性的概念，把系统的可靠度、系统维修度和系统有效度统称为系统可靠性。 在教育与心理测量中，为了评价测量工具的质量，人们也提出了信度、效度和区分度等概念。无论是工程系统的三度还是教育与心理测量的三度，它们都描述的是一个系统完成既定功能的能力。对于一般系统评价模式[1]，我们提出其质量评价问题，把它的三度也分别叫做信度、效度和区分度。关于一个系统评价模式的这种三度分析，我们也称之为系统评价模式的可靠性分析。 * 系统评价学·刘新建 8.1基本概念 8.1.1信度 可靠度是描述现代工程系统的质量的基本指标之一，其原来的涵义是：系统在一定时间内（如单位时间内）无故障工作的概率。 可靠度概念的实质是：一个可靠性高的系统，其输出结果都具有较高的稳定性，也就是说，系统能够抵制随机干扰的作用，对于相同的输入情景都产生一致的输出结果。因此，我们认为，一个评价模式的可靠度就是指：对同一或对等的评价对象，在没有灾难性破坏和主要环境因子都相同的情况下，评价结果一致的程度。 我们把系统评价中的可靠度叫做信度，严格定义如下： 对同一评价对象，一评价模式在多次对等的实施过程中给出的结果的一致性程度叫做该评价模式的信度。 * 系统评价学·刘新建 8.1.2效度 一套系统评价模式总是为了达到某种管理目的或实现某种评价目标而建立的，那么，该模式对目的或目标的完成程度应是它的重要质量特性之一。 效度的定义就是：实施一套评价模式，其输出结果对要达到的管理目的或目标的完成程度叫做该模式的效度。 比如一套心理测验要测定儿童的智力发育状况，即综合智商，那么该测验中的各种问题是否与儿童的智力有关？是否包括了智力的所有方面？得到的结果是否真能反映儿童的智力水平？这些都是关于这套测验模式的效度问题。 * 系统评价学·刘新建 8.1.3区分度 不同的评价对象在综合评价指标上的表现是不一样的，否则就无须进行评价了，或者说该综合评价指标是不合理的。所以，一套评价模式区分各种评价对象的能力也是其主要质量指标之一。兹定义如下： 一套系统评价模式的区分度就是它将评价对象系统的各个个体对综合指标的表现区分开来实现评价目标的能力。 * 系统评价学·刘新建 以上对信度、效度和区分度的定义都是定性的，是对概念的质的描述。要具体衡量它们的大小，就要给出一个量的定义。由于系统评价处理的对象特性的模糊性、灰色性及模式本身的灵敏性等问题产生的复杂性，使这种衡量变得比较困难。下面各节将逐一推敲这些概念，试图从理论方法上来解决这一问题。 * 系统评价学·刘新建 8.2信度的基本理论 8.2.1单体评价对象系统下的信度 设对评价对象 ，评价模式实施了n次，结果如下： 根据信度的定性定义，在信度高的时候，这一个数据列应当有较小的离差，且这些离差都是由随机误差构成的，即： ⑴ 应当小； ⑵ ： 统计成立。 其中， 表示排除所有随机干扰因素后的评价应有结果，称为真值。由于 是不可能得知的，故假设 的直接检验是不可能的。下面用两种方式来处理。 1.差异系数法 2.对半差异法 * 系统评价学·刘新建 1.差异系数法 在这种方法中认为：当 很小时，它只能是由随机误差构成的，这样就免去了 的检验问题。但 小到什么程度算小呢？第一，可以根据经验判断；第二，消除 的单位选择影响，用统计学中的差异系数来衡量信度，即： (1) 对于同一评价问题的不同评价模式，r越大，信度越高。 * 系统评价学·刘新建 2.对半差异法 在此法中，我们用样本均值来代替真值，通过比较两半原样本的均值差异的方法，来检验 。具体作法是： 将原样本数据从大到小排列，按顺序将其分为两半，今设大数端的均值为 ，方差为 ；小数端的均值为 ，方差为 ，建立统计量：