建设国家重大项目以结果为导向.pptVIP

TA 4581: Developing a National Result-BasedME System For Key Projects建设国家重大项目以结果为导向的监测与评估系统Evaluation评估 March 2007 2007年3月 项目建成3－5年后领导们想知道： 项目建设的正确吗？ 项目是否实现预期的运营结果？ 在运营阶段是否有需改进的方面以优化结果？ 项目产生的结果是否在项目提交物运行的全生命周期内有持续性？ 项目是否已经实现了预期的长期影响？ 我们将来是否应该再实施类似的项目？ 我们从此项目中学到什么经验教训，这些经验教训如何应用到未来的项目中？ Evaluation 评估 系统地、客观地对项目、大型计划和战略进行评估－我们的讨论将限制在项目的范围内； 评估包括对可行性研究、设计、实施和结果的评估； 评估可在项目实施前，实施中及实施后进行，但我们最常关注的是后评价； 仅对选择的主要项目进行深入彻底的评估。 直接结果和长期影响 如果缺乏正式的评估，项目完成后其直接结果和长期影响通常不能进行测量。 直接结果评估研究的是项目投入运行后马上可以产生的结果：如财务方面的，使用情况，及其他直观的结果 。 长期影响评估研究项目所带来的更广泛的经济、社会和环境效果。 项目评估的目的 评估项目的相关性、设计和实施； 决定项目所带来的直接结果和长期影响： 在财务、经济、社会和环境指标上的影响； 包括预期和未预期的影响 评估项目结果的持续性： 项目所产生的结果是否可持续到将来？ 服务于将来的项目： 其它选择的可能性 经验教训 什么时候进行评估 评估的时间取决于想从评估中获得什么： 在项目实施之前和实施中的评估更关注项目对需解决问题的相关性，及项目方案及设计能否满足解决原设定问题的初衷。 项目在完成后一年内进行评估主要关注的是项目的提交物情况及项目投入运行初期产生的直接结果。 在项目建设完成1至3年间的评估主要关注项目所带来的直接结果，同时也可以看作早期的长期影响。 项目建设完成3至5年后，评估更关注长期影响。 评估基本内容 相关性 项目长期影响和直接结果与国家发展战略的一致性 项目方案和设计满足需求 效果 实现直接结果的程度 效率 相关资源转化为结果的经济性及效率 可持续性 项目资源（人力、组织、制度，财务）是否可以满足项目在其经济周期内持续带来影响产生结果。 后评估 “后” 评估 目的是为了评价项目所带来的结果 评估的四个准则： 相关性 效果 效率 可持续性 长期影响指标 通过项目提交物的运营持续直接产生相应的结果，这些结果的积累带来更广泛更长期的影响； 长期影响指标用于评估。 Impact indicators – examples 长期效应—举例 数量 归于该项目原因的净增就业量 质量 特殊疾病死亡率的减少量 传染病死亡率（例如工程区域婴儿死亡率，与项目建设前相比每个地区至少了xx％） 财务 由项目带来的经济收益－例如：因为高速公路项目沿线地区国民生产总值(GDP)的增加。 效果分析 要求分析反应项目的”真实“效果 对照 “之前” 和 “之后” “实现的” 和 “目标设置的” “有项目” 和 “没有项目”. 两种类型： 定量 定性 之前/之后 其他因素的影响 定量分析－使用“反事实”法 将项目受益群体或地区与非项目受益群体或地区的直接结果指标进行比较; 要求谨慎设置研究方法； 使用实验的、“准实验的”或者“非实验的”设计。 使用反事实法 对比组可能从不同的基线开始 定量方法 随机实验设计 准实验设计 非实验设计 随机实验设计 类似医学研究－对控制组（非项目）组与实验组（受项目影响）进行比较。 实际应用有局限性 随机实验设计 随机将个人或团体分入从项目中受益的“处理”组或不在项目中受益的“控制”组； 尽可能从开始就如此分组； 两组应该经历相同的项目之外的事件； 对各组的直接结果进行测量； 两组直接结果之间的差异是因为项目的原因产生的， 而其他客观原因对两组差别的影响应该微乎其微。 项目/非项目比较的“准实验”设计 与实验设计的原理相同，但是： 没有随机分为控制组和处理组； 使用与自然情况相对应的方法分组比较，而非随机分组； 要求更多的数据排除二义性的解释。 包括： 非等价比较设计； 时间中断设计； 关联设计 非实验方法… 使用统计学方式进行模拟 包括： propensity score matching ， (D2-D1), regression discontinuity design ， instrumental variables 。 需要谨慎避免评价偏见 选择定量方法 需考虑平衡： 对结果精准度要求 成本 实用性 定性分析 一些重要的长期影响可能不易进行定量监测，或更好采