元评价方法及在高等教育评估中的应用的分析.pdf

元评价方法及其在高等教育评估中的应用研究 摘要 评价既是为决策提供依据和支持的工具，也是诊断、鉴定、激励和监控的重 要管理手段。随着评价工作在教育、科技、工程、经济等领域的广泛开展，并取 得显著成效的同时，评价方法及其结论也不断受到质疑，评价方法的科学性、评 价结果的客观性也越来越受到人们的关注。 尽管学者们提出了元评价的思想，通过对评价(包括结构、过程和结果)的 评价，分析评价中可能存在的偏差，以修正评价方案、提高评价的信度和效度。 但是关于元评价方法的研究成果却并不多，在评价实践中也往往难以有效地实施 元评价。如何有效地组织和实施元评价、元评价的方法及其技术等问题都还有待 于进一步的研究。 本文的主要工作有： l、比较系统地建立了元评价的方法及其技术，比较全面地研究了教育评价 中的敏感性问题 尽管元评价的本质也是一种评价，因此元评价的方法可以一定程度地借鉴评 价的方法。但是元评价毕竟与评价存在根本的区别，例如评价的对象是评价客体， 而元评价的对象是原来的评价；评价注重评价方案的设计和组织实施，而元评价 更侧重于验证评价的正确性和评价结果的科学性等。 本文正是从元评价的角度，主要以高等教育评估项目为实例和背景，比较系 统地建立了以内容分析法为主要手段、定性分析和定量分析相结合的元评价的方 法及其技术，即对评价指标体系的建立、主观指标的价值评判、评价数据的预处 理、多指标数据合成、群体评判结果的综合处理等评价过程中的各个步骤和环节 逐一进行剖析，研究和分析其中影响评价结果科学性的因素。如此系统地研究元 评价的方法及其技术，这在国内还未见报道。 第二章研究评价指标体系的科学性。评价指标体系刻画了评价客体的主要特 征，同时也体现了评价的目的和导向，因此，保证评价指标体系的科学性是评价 取得成功的核心和关键。本章在讨论评价指标体系的结构和构建原则的基础上， 分析了评价指标的类型，并提出了一种特殊的、但往往被忽略的指标类型：开关 型指标。最后，以学科评估为实例，对评价指标体系中各项指标的区分性、相关 性和相对重要性等性能进行了定量和定性分析。 第三章研究影响指标属性值的因素。指标的属性值体现了评价客体某方面的 价值，确定指标的属性值，即价值评判，是评价中的一个重要环节，而且评价中 存在许多因素会导致价值评判结果的随意性和偶然性。本章对各种可能影响价值 评判的因素，如评价客体信息的采集方法及可靠性、评判人的组成结构和规模、 评判人的遴选方式、评判方式和评判环境等，都作了比较详尽的研究和分析，并 对教育评价提出了一些有利于提高价值评判客观性的措施。 第四章研究指标属性值的预处理。对不同类型和不同性态的指标的属性值， 选用不同的效用函数转换为标准化的相对价值，必然导致评价结果的敏感性，并 且这种敏感性往往是不易察觉的。本章讨论了各种效用函数，如线性效用函数、 非线性效用函数、基于统计分析的效用函数等的性能特点，分析了各种效用函数 的优缺点和适用条件，并归纳了选用效用函数的注意事项。 第五章研究多指标数据的合成模型。在多指标综合评价中，必然需要将各项 指标的标准化相对价值，按照一定的数学模型合成为评价客体的整体价值。本章 分析了常用的加法合成模型和乘法合成模型的性能特点和适用场合，并以教育评 价的实例说明不同评价模型对评价结果的敏感性。而且，鉴于目前模糊综合评价 法的广泛使用，本章也讨论和分析了模糊综合评价法中如果处理不当、将会得出 不恰当的评价结果的一些细节，如合成算子的选用、评价结果向量的理解等。 第六章研究群体评判的质量及数据综合方法。在多位评判人完成对同一评价 客体的价值评判时，每位评判人给出的评判结果具有一定的随机性和偶然性。本 章分析了群体评判结果中每位评判人的评判质量和所有评判人的意见一致程度， 并讨论了常用群体评判结果综合方法的特点和适用范围，提出了基于评判准确度 的群体评判结果综合方法。最后，还改进了定性指标群体评判结果的统计方法。 第七章给出了一个元评价方法在高等教育评估中的应用实例，对全国优秀博 士学位论文评选的省级初选工作的评价方案和评价结果进行了分析和修正，并以 ¨ 实践结果表明经过元评价的省级初选工作取得了较好的效果。 2、提出以工程化方法开展评价的思想 随着评价的大型化和复杂化，评价必然是大规模人员的分工协作过程，而且 势必面临质量无法保证、进度难以控制