国内外典型教学研究项目评估方法比较分析.docxVIP

国内外典型教学研究项目评估方法比较分析 一、 引言 随着全国科技创新大会的胜利召开， 科技创新呈现在更加突 出的位置。各大继续教育机构也越来越重视通过开展教学研究创 新来提升自身的综合竞争力。 采用教学研究项目评估，可提高资 源的使用效率，为教学创新决策系统调整， 学科布局提供科学依 据和建议，使之更加适合机构事业发展的需要。 教学研究项目评估要遵循一定的原则、 程序和标准，运用科 学、规范的方法，对项目的执行过程以及目标实现程度、经费的 使用管理、项目成果价值、项目社会影响与效益等方面进行综合 评价考核。如何选择适用的项目评估模型和数据处理方法成为教 学研究项目研究的重点。目前国内外科技评估的评估方法研究较 为完善，本文总结了国内外在科技评估中形成的一些经典的评估 方法，希望对教学研究项目评估方法的研究提供参考。 二、 国内外典型科技评估方法的比较研究 国内外在科技评估方面采用的方法很多， 但就评估而言并 没有通用的方法库。每种方法都有一定的使用范围， 而解决一个 具体问题又常需结合多种方法。评估者在评估的实践中， 应根 据不同目的、对象确定不同方法或方法组合。 这些方法通常可以 划分为定性评估方法和定量评估方法。 定性评估方法主要依靠评估者的洞察、 分析能力，借助于以 往的经验和逻辑推断能力来进行评估。 定量评估主要以评估指标 的统计数据为依据， 建立评估数学模型， 用数学运算求得评估结 果，并以数量表示出来的一类评估方法。 定性评估方法本身也包 含需要量化的部分， 而单纯的定量评估方法得出的评估结果往往 没有意义。本文将目前比较常用的定性和定量的评估方法分为三 类：专家评估方法（定性 / 定量）、文献计量分析方法（定量）、 数学分析方法（定量）。表 1 中对可参考的科技评估常用方法及 其优缺点进行了总结。 （一）专家评估方法 专家评估方法是专家根据其多获得的信息对评估要素 （尤其 是难以用客观数据表示的因素） 直接打分或做出定性判断， 包括 同行评议方法、特尔斐（ Delphi ）法等。 同行评议法 英国是使用同行评议方法最早的国家， 后来被逐渐引入政府 投资的机构进行项目选择。 同行评议法可以定义为“由从事该 领域或接近该领域的专家来评定一项研究工作的学术水平或重 要性的一种方法”。 这种方法常常被科学界用来判断工作程序的 正确性，确认结果的可靠性以及对有限资源分配的公认性和特殊 荣誉。 优点：一是应用最频繁， 经发达国家的实践证明， 效果较好、 可信度较高。 二是适用不同阶段的评估。 三是充分依靠科学家群 体进行民主管理， 在科学研究资源的分配中引入竞争机制， 使得 知识生产的要素优化配置。 同行评议为科学共同建立了内部审查 体系和荣誉机制，成为科学发展的一大动力源泉。 缺点：一是其假设条件是评议专家具有崇高科学的敬业精神 和客观、公正、务实的职业修养。这种假设条件却容易缺乏有效 的监督和控制。 美国科学技术委员会的一项研究认为， 同行评议 像其他依赖于人的判断方法一样， 受自己利益， 特别是朋友关系 和偏见的影响，容易形成“熟人关系网”，“老朋友网络”。二 是专家的选择也存在难以避免的局限性。 特尔斐法 特尔斐法最早于 20世纪 50 年代末由美国著名的咨询机构兰 德公司提出并使用的。 特尔斐法本质上是一种专家匿名反馈征询 法，它是对所评估的问题以问卷的方式征得专家的意见之后， 进 行整理、归纳以及统计，再匿名反馈给各专家，再次征询意见， 再进行整理、归纳以及统计，经过多轮反馈后，直到得到比较一 致的意见。 特尔斐法是一种群体决策技术， 能够有效的征求和提 炼群体的意 ?，由于其可信度高，已迅速传播到世界各国。 特尔斐法的基本程序大致分为 4 步：一是提出问题。 二是选 择专家。 三是开始多轮征询程序， 每轮都基本按照制定发放本轮 调查问卷，手机问卷，统计归纳，形成下一轮调查问卷的程序循 环进行。四是准备最后的结果分析报告。 优点：一是匿名：采取“背靠背”的方式，征询过程不暴露 专家的名字， 每位专家也不知道共有多少位专家， 哪些专家参与 咨询。在提意见时，没有心理压力，可畅所欲言。二是定量：能 够对大量非技术性的无法定量分析的因素做出概率估算。 三是反 馈：特尔斐法在每轮征询中作出概率估算后会将概率估算结果反 馈给专家，充分发挥了信息反馈的作用。四是趋向：特尔斐法经 过多轮的征询反馈， 也充分发挥了信息控制的作用， 将分散的评 估意见逐次收敛，趋向一致。 缺点：一是费时： 由于需要采取多轮征询程序才会使得评估 意见趋向一致， 当轮次较多时， 得到最后的结果分析报告相当费 时。二是局限：当评估意见分散程度较大时，虽经过多轮反馈， 仍可能出现意见不收敛的情况。 （二）文献计量方法 文献计量法用于分析科学研究活动始于