Estimating the reproducibility of the psychological science.pptxVIP

Estimating the reproducibility Of psychological scienceOpen Science Collaboration2016年8月6日/ 张家鑫 / 指导老师：李会杰Science 28 Aug 2015·VOL349Estimating the reproducibility Of psychological science介绍重复性——科学一Direct replication is the attempt to recreate the conditions believed sufficient for obtaining a previously observed finding and is the means of establishing reproducibility of a finding with new data.——open science collaboration背景已有研究一背景基本流程实验重复2011.11草拟协议选取杂志社、确定重复实验对象二方法实验室、研究者加入确定重复实验指标公开数据、结果重新设计实验，与原始作者沟通结果评估撰写报告获取原始信息全部共270人，其中完成的100个重复实验中，高资历成员85人，以下为这85人的学历、职业和研究领域分布情况。参与者二方法原实验二方法指标重复实验本身效果两方面指标二方法重复效果?重复实验本身?重复实验结果不存在差异：重复实验结果存在差异二方法所有重复实验平均值：95%57的实验power大于95%重复效果指标二方法原实验特点二方法重复实验特点二方法基本分析三分析重复实验不显著显著合计原实验不显著213显著6235（89）97合计6436100显著性?, p.001（配对卡方检验）三Mean(Ori)=0.028 Mean(Rep)=0.302分析显著性.023 .537三分析.0069 .198.00042 .0075显著性三分析实验效果量三分析效果量三分析Mean(Ori)=0.403 Mean(Rep)=0.197 SD=0.188 SD=0.257显著性三分析二项分布：82.8%，P0.001斯皮尔曼：r=0.51，P0.001拟合优度检验三分析拟合优度曲线三分析拟合优度曲线三分析Did your results replicate the original effect?自评分析三分析利用各个变量的倒数元分析三分析学科：JPSP-social、JEP：LMC-cognitive、PSCI-social、PSCI-cognitive；标准差：小样本原实验漏斗图三分析?Q（72）=302.67，p.001 异质性大，存在发表偏倚。重复实验漏斗图三分析?Q（72）=454.00，p.001 异质性大，因为不存在发表偏倚，所以主要为统计检验力分析造成的偏差。差异漏斗图三分析?Q（72）=152.39，p.001 异质性大，其中各个指标中，重复实验团队的资深、专家程度与此存在正相关。元分析三分析Replicationsp .05 inoriginalDirection（97）Effect SizeDifference（97）Meta-analyticEstimate（73）originaleffect sizewithinreplication95% CI（95）subjectiveyes to Didit replicate?“（100）Replicationsp .05 inoriginaldirection-Effect SizeDifference-0.619-Meta-analyticEstimate0.592-0.218-originaleffect sizewithinreplication95% CI0.551-0.4980.515-subjectiveyes to Didit replicate?0.956-0.5770.5650.606-调节分析三分析调节分析三分析调节分析三分析讨论四结论重复实验得出的结论普遍弱于原实验。各个调节变量不能单独预测重复效果，要综合起来。相关数据比团队的特点能更好的预测重复性。讨论四结论未来四结论Comment on“Estimating the reproducibility of psychological science”Daniel T. Gilbert, Gary King, Stephen Pettigrew, Timothy D. WilsonResponse to Comment