评价的研究设计.ppt

评价研究设计 实验的分类 ? 实验 – 物理学研究 – 化学 – 动物实验 ? 实验的长处和不足 ? 类实验 – 无法完全控制实验条件 研究的两个效度 ? 内部效度 – 针对于本研究的对象，研究结果的真实度 ? 外部效度 研究的结果在多大程度上能推论（广） 到其他地方 实验、类实验与两个效度 ? 实验 – 内部效度高，外部效度低 ? 类实验 – 内部效度要打折，而外部效度高 项目（干预）成功的两个基本条件 ? 1 、有效的项目设计 – 即：如果项目干预方案得到完全的实施，那 么，项目的目标就能实现，项目所要解决的 问题就能解决 ? 2 、项目实施 – 即：项目的方案得以按质、按量地实施、完 成 ? 二者缺一不可 项目失败 错误的项目设计 有效的项目设计 有效的项目设计 不好的项目实施 很好的项目实施 项目成功 项目失败 很好的项目实施 项目失败 项目理论失败 项目实施失败 项目理论 ? 建立项目理论、进行有效干预 ? 基于项目理论、进行项目评价 项目理论的例子 ? 60 年代美国卫生部关注婴儿死亡率和婴儿智力低下， 拨经费开展干预项目 ? 前提假设 – 婴儿死亡率及智力低下与低体重儿（早产）相关 – 低体重儿与孕妇孕期未及时治疗疾病和营养不良相关 – 这种情况可在某些人群中发现，如未成年怀孕， 35 的 孕妇，多产孕妇，有早产史，或收入低下的家庭 ? 基于上述相关关系。建立项目理论 – 如果找到高危母亲 – 如果能让她们参加项目 – 如果能将针对这些因素服务有效地提供给她们 – 那么，就能降低早产出生率 – 那么，就可以降低婴儿死亡率和智力低下 社会问题及干预 社会问题 贫穷 疾病 失业 犯罪 项目干预设 计 需求评估 项目设计 项目评估 项目实施 项目 产出 项 目 效 果 过程 评价 项目评价的基本问题 鉴定的问题 项目设计 项目实施 项目产出 项目效果 ？ ？ ？ ？ 1. 是问题吗？问题有多严重、范围有多大、影响谁？ 需求评估 2. 项目设计有效吗？ 项目论证（对设计进行评估） 3. 项目执行了吗？ 实施评估（过程评估） 4. 项目有效果吗？项目效果评估 5. 项目干预值得吗？ 成本 - 效果分析 评价设计思路 评价设计思路 项目设计 项目实施 项目产出 问题 效果评价：项目解决了问题了吗 需求评估 方案论证 实施的评价 项目效果理论：执行和理论假设 项目执行 直接结果 项目最终 效果 执行假设 理论假设 再就业培训 提高了的职 业技能 提高就业 ? ? ? ? 执行假设 理论假设 评价研究的目的 ? 评价研究的目的是 – 检验新的做法是否被实施 – 如果被实施，效果如何？ – 目标人群是否收益？ – 项目的效果是否可持续？ – 如何进一步改进、完善 评价的类型 ? 过程评价 ? 效果评价 基本评价设计 ? 1 、前后比较 ? 1 、 O X O ? 2 、干预组与对照组比较 ? 2.1 、 X O ? O ? 2.2 、 O X O ? O O ? 3. 时间序列分析 ? 3.1. O1 O2 O3 X O4 O5 O6 ? 3.2. O1 O2 O3 X O4 O5 O6 ? 3.3. O1 O2 O3 O4 O5 O6 效果评价的任务 ? 如何估计完全是由于项目干预所 带来的效果？ 项目净效益 α 1 α 2 项目效益 Y = 项目后 (y e pre ) — 项目前（ y e post ） = α 1 对照组的变化 (Δy c ) = 项目后 (y c pre ) _ 项目前（ y c post ） = α 2 项目组的变化 (Δy e ) = 项目后 (y e pre ) _ 项目前（ y e post ） = α 1 项目净效益 = α 2 — α 1 项目前 项目后 Y 利用回归模型控制混杂因素，估算项目效益