评价研究设计..ppt

实验的分类 实验 物理学研究 化学 动物实验 实验的长处和不足 类实验 无法完全控制实验条件 研究的两个效度 内部效度 针对于本研究的对象，研究结果的真实度 外部效度 研究的结果在多大程度上能推论（广）到其他地方 实验、类实验与两个效度 实验 内部效度高，外部效度低 类实验 内部效度要打折，而外部效度高 项目（干预）成功的两个基本条件 1、有效的项目设计 即：如果项目干预方案得到完全的实施，那么，项目的目标就能实现，项目所要解决的问题就能解决 2、项目实施 即：项目的方案得以按质、按量地实施、完成 二者缺一不可 项目失败 项目理论 建立项目理论、进行有效干预 基于项目理论、进行项目评价 项目理论的例子 60年代美国卫生部关注婴儿死亡率和婴儿智力低下， 拨经费开展干预项目 前提假设 婴儿死亡率及智力低下与低体重儿（早产）相关 低体重儿与孕妇孕期未及时治疗疾病和营养不良相关 这种情况可在某些人群中发现，如未成年怀孕，35的孕妇，多产孕妇，有早产史，或收入低下的家庭 基于上述相关关系。建立项目理论 如果找到高危母亲 如果能让她们参加项目 如果能将针对这些因素服务有效地提供给她们 那么，就能降低早产出生率 那么，就可以降低婴儿死亡率和智力低下 社会问题及干预 项目评价的基本问题 评价设计思路 评价研究的目的 评价研究的目的是 检验新的做法是否被实施 如果被实施，效果如何？ 目标人群是否收益？ 项目的效果是否可持续？ 如何进一步改进、完善 评价的类型 过程评价 效果评价 基本评价设计 1、前后比较 1、 O X O 2、干预组与对照组比较 2.1、 X O O 2.2、 O X O O O 3. 时间序列分析 3.1. O1 O2 O3 X O4 O5 O6 3.2. O1 O2 O3 X O4 O5 O6 3.3. O1 O2 O3 O4 O5 O6 效果评价的任务 如何估计完全是由于项目干预所带来的效果？ 项目净效益 变量的分类项目目标变量、干预变量、控制变量 因变量Y： 早产儿出生率 婴儿死亡率，智力低下 干预变量X：针对各种因素的服务干预 参加项目（是， 否） 控制变量 年龄、教育、性别 当地经济增长 交通 利益相关者评价方法 确定利益相关者 澄清利益相关者的关注点 定义评价研究所要问答的问题 （研究课题） 如何回答评价研究所要回答的问题 选择指标 选择评价设计 数据分析方案 利益相关者评价方法的评价步骤 1. 确定利益相关者 2. 澄清利益相关者的关注点 3. 定义评价研究所要问答的问题（研究课题） 4. 如何回答评价研究所要回答的问题 a. 选择指标 b. 选择评价设计 c. 数据分析方案 d. 数据收集方案 5. 过程评价 澄清项目理论 澄清项目干预关键流程 按照干预流程，检查干预的实施 评价目标人群是否得到干预服务 6. 项目效果评价 7. 撰写项目评价报告 8. 报告的散发 利益相关者及其关注点和评价课题 讨论题 中关村地区高血压患病率较高，当地卫生部门拟开展试点，寻求有效的、经济的可持续的高血压干预方法，以便在面上推广应用。 1、你如何设计干预试点项目，请列出步骤及每一步骤期望的结果； 2、你如何设计试点评价方案，请列出步骤及每一步骤期望的结果。 利益相关者评价方法 确定利益相关者 澄清利益相关者的关注点 定义评价研究所要问答的问题 （研究课题） 如何回答评价研究所要回答的问题 选择指标 选择评价设计 数据分析方案 利益相关者及其关注点和评价课题 高血压试点效果评价 选择评价指标 明确概念 初选评价指标 评价评价指标 选择评价指标 明确概念 明确各种不同的概念定义 确定概念的定义 明确概念的不同角度 选择评价指标 初选评价指标 选择多少指标 如何制定指标 如何将指标转化成调查表 选择评价指标 评价评价指标 必须明确测量真正要测量的， 测量的结果是可靠得住的 评估有效性、可靠性 试调查 制定调查问卷 选择的区域 结果指标的测量 干预指标及研究指标的测量 背景指标的测量 问卷内容 提问的用词、语序、语气 简短、直接和非直接提问（敏感问题）、 无诱导 提问的种类 开放式问题和封闭式问题 场景式提问 抽样 抽样方法 概率抽样 简单概率抽样 系统抽样 分层抽样 多步整体抽样 非概率抽样 目的性抽样 限额（按比例）抽样 样本大小 评价设计的有效性 有效性与评价设计相联系 内部有效性 所谓评价设计是内部有效的，那么，项目评价人员则能自信地说评价的