同行评议结果一致性及影响因素分析——基于国家重点研发计划项目评审的实证研究.pdfVIP

第５期(２０２５年５月)中国科技论坛２１

同行评议结果一致性及影响因素分析

———基于国家重点研发计划项目

评审的实证研究

１２ꎬ３

张金倩楠ꎬ马宗文

(１科学技术部国际科技合作中心ꎬ北京１０００３６ꎻ２国家科技基础条件平台中心ꎬ北京１０００３８ꎻ

３中国科学技术交流中心ꎬ北京１０００４５)

摘要:同行评议是各国普遍采用的遴选资助科技项目的方式ꎮ本文选取国家重点研发计划战略性专项４批

次评审数据作为样本ꎬ包括３７５名同行评议专家对２８８个项目的２９１９份评分数据ꎬ采用克朗巴赫α系数、二

值法系数和变异系数ꎬ定量分析同行评议结果一致性及其影响因素ꎮ研究发现:同行评议结果的一致性总体

较高ꎬ同行专家人数、评审方式、组内项目数及项目差异均影响评审结果一致性ꎬ答辩评审中每增加１名专

家ꎬ评审结果一致性平均提高２２５％ꎻ对于专家人数为５人的评审ꎬ答辩评审比通讯评审平均提高约１０％的

评审结果一致性ꎻ随着组内项目数减少或组内项目间差异增大ꎬ评审结果的一致性增加ꎻ进入下一轮评审或

立项项目的评审结果一致性高于整组项目的平均结果ꎬ在答辩评审中这种提升效果更加明显ꎮ本研究总结提

出组织方式对评审结果一致性的影响模式ꎬ并探讨了改进同行评议结果一致性的策略ꎮ

关键词:同行评议ꎻ评审结果ꎻ评审方式ꎻ国家重点研发计划

中图分类号:Ｇ３５３１文献标识码:Ａ

ＣｏｎｓｉｓｔｅｎｃｙｏｆＰｅｅｒＲｅｖｉｅｗＲｅｓｕｌｔｓａｎｄＡｎａｌｙｓｉｓｏｆＩｎｆｌｕｅｎｃｉｎｇＦａｃｔｏｒｓ

———ＡｎＥｍｐｉｒｉｃａｌＳｔｕｄｙＢａｓｅｄｏｎｔｈｅＥｖａｌｕａｔｉｏｎｏｆＮａｔｉｏｎａｌＫｅｙＲ＆ＤＰｒｏｊｅｃｔｓ

ＺｈａｎｇＪｉｎｑｉａｎｎａｎꎬＭａＺｏｎｇｗｅｎ１２ꎬ３

(１ＩｎｔｅｒｎａｔｉｏｎａｌＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＣｏｏｐｅｒａｔｉｏｎＣｅｎｔｅｒꎬＭＯＳＴꎬＢｅｉｊｉｎｇ１０００３６ꎬＣｈｉｎａꎻ２Ｎａｔｉｏｎａｌ

ＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＩｎｆｒａｓｔｒｕｃｔｕｒｅＣｅｎｔｅｒꎬＢｅｉｊｉｎｇ１０００３８ꎬＣｈｉｎａꎻ３ＣｈｉｎａＳｃｉｅｎｃｅａｎｄ

ＴｅｃｈｎｏｌｏｇｙＥｘｃｈａｎｇｅＣｅｎｔｅｒꎬＢｅｉｊｉｎｇ１０００４５ꎬＣｈｉｎａ)

Ａｂｓｔｒａｃｔ:ＰｅｅｒｒｅｖｉｅｗｉｓａｃｏｍｍｏｎｍｅａｎｓｕｓｅｄｂｙｃｏｕｎｔｒｉｅｓｔｏｓｅｌｅｃｔａｎｄｆｕｎｄｓｃｉｅｎｔｉｆｉｃａｎｄｔｅｃｈｎｏｌｏｇｉｃａｌｐｒｏｊｅｃｔｓＦｏｕｒｂａｔｃｈｅｓｏｆｒｅ￣

ｖｉｅｗｄａｔａｏｆｔｈｅＮａｔｉｏｎａｌＫｅｙＲ＆ＤＰｒｏｇｒａｍｗｅｒｅｓｅｌｅｃｔｅｄａｓｓａｍｐｌｅｓꎬｉｎｃｌｕｄｉｎｇ２９１９ｓｃｏｒｉｎｇｄａｔａｏｆ２８８ｐｒｏｊｅｃｔｓｂｙ３７５ｐｅｅｒｒｅｖｉｅｗ￣

ｅｒｓＴｈｅｃｏｎｓｉｓｔｅｎｃｙｏｆｐｅｅｒｒｅｖｉｅｗａｎｄｉｔｓｉｎｆｌｕｅｎｃｉｎｇｆａｃｔｏｒｓｗｅｒｅｑｕａｎｔｉｔａｔｉｖｅｌｙａｎａｌｙｚｅｄｗｉｔｈｔｈｅｍｅｔｈｏｄｓｏｆＣｒｏｎｂａｃｈαｃｏｅｆｆｉｃｉｅｎｔꎬ

ｂｉｎａｒｙｃｏｅｆｆｉｃｉｅｎｔꎬａｎｄｃｏｅｆｆｉｃｉｅｎｔｏｆｖａｒｉａｔｉｏｎＴｈｅｍａｉｎｒｅｓｕｌｔｓｓｈｏｗｅｄｔｈａｔｔｈｅｃｏｎｓｉｓｔｅｎｃｙｏｆｐｅｅｒｒｅｖｉｅｗｒｅｓｕｌｔｓｗａｓｇｅｎｅｒａｌｌｙｈｉｇｈꎬ

基金项目:北京市社会科学基金项目“北京‘揭榜挂帅’科研团队评价机制与遴选对策研究”(２２ＪＣＣ０７９)ꎬ中国科协科技智库青