“全球医学教育最基本要求”评估统计方法探讨.pdf

摘要 “全球医学教育最基本要求评估的统计方法探讨 背景2001年国际医学教育组织(I蹦E)制定了“全球医学教育 最基本要求(GMER)”。2003年IIME对我国8所大学医学院临床 医学专业7年制毕业生进行了基线评估，采用多选题叫cQ)、客 观结构化临床考试(OSCE)弄口教师观察法(oBs)3种测评方法评估 了GMER7个领域的能力． 目的利用一次性施测的标准参照测验数据，分析GMER评 估各测评方法(包括OSCE和OBS)的可靠性、分数线决策可靠性 和有效性，以及整套评估工具的有效性，为改进GMER评估设计 和提高评估质量提供依据。 方法根据评估数据的特点，采用随机单面交叉设计、随机双 面交叉设计和合固定面交叉设计的概化理论分析OSCE中sP考 站的可靠Il生及分数线决策可靠性；采用随机双面交叉设计、三面 混杂设计的概化理论和三因子随机双面交叉设计的多元概化理论 分析OBS的可靠性及分数线决策可靠性；采用传统多质．多法 Nq-分析(CFA)分析整个GMER评估 (MTMM)矩阵分析和验证·A 的构念效度；采用一阶和二阶CFA分析OSCE的构念效度；采用 CFA分析OBS的构念效度． 结果我校参加评估的临床医学专业7年制毕业生基本达到 了GMER的标准。OSCE的sP考站可靠性不高，但瘩匈l域的分 数线决策信度很满意；OBS测评各个领域的分测验和总的可靠性 都不高，各领域的分数线决策信度也较低。整个GMER评估的构 念效度不甚满意，测评方法因素和特质(能力)因素都对结果产生 了不可忽略的影响，且方法因素的影响大于能力因素的作用； OSCE的构念效度较好，OBS具有很高的构念效度。 结论概化理论可用于解决经典测量理论下难以解决的标准 参照测验的可靠性和分数线的决策可靠性问题．GMER评估中 OSCE的sP考站和OBS的可靠性有待提高．验证性因子分析可 以较好的通过定量分析实际观测到的能力及其相互关系与预想的 测量目标间的一致性。GMER评估总的构念效度有待提高，应降 低测评方法对评估结果的影响．建议：①增加sP长考站为10个， 短考站为5个，增加sP考站间的同质性，以提高sP考站可靠性． ②增加OBS观察实习阶段数为6，在难度相近、实习内容相近的 科室进行临床观察，在同一科室(同一阶段)内，由相同的几位教 师为不同学生评分，将有助于提高可靠性：对OBS各领域的分数 标准制定加以改进．③在OBS中，着重探讨“沟通技能”领域能力 的测评条目，以提高可靠性：对教师观察表中第13条‘‘承认其他 医务人员的作用”作进一步说明．④加强对评分者的培训，给被试 学生熟悉测评方法的机会，从而降低测评方法对评估结果的影响． 关键词 全球医学教育最基本要求标准参照测验客观结 构化临床考试临床教师观察法多元概化理论可靠性指数构念 效度多质一多法矩阵验证性因子分析 4 Abstract A onStatisticalMethodsinEvaluationofthe Study Applied InMedical “GlobalMinimumEssential Education” Requirements Background The for MedicaI the InstituteInternationaI Education(IIME)formulated GIobaIMinimumEssentiaI inMedicaI Education(GME只) Requirements In2001．andadministeredabaselineevaluationin8 medical Iea