略论基于同行评议方法“以文评刊”难点及对策--关于中国人民大学《复印报刊资料》转载实证与研究.pdfVIP

略论基于同行评议方法“以文评刊的难点及对策奉 ——关于中国人民大学《复印报刊资料》转载的实证研究 杨红艳 (中国人民大学人文社科成果评价研究中心) 摘要：中国人民大学《复印报刊资料》探索了基于同行评议方法“以文评刊”的人文社科期刊评价路径．通过 对该案例的实证研究，从统一评价标准．控制评委主观随意性．分类评价和降低评价成本．提高可行性四个方面， 论述了“以文评刊”评价的难点，并提出了相应的对策建议． 关键词：同行评议以文评刊期刊评价论文评价学术评价 一、人文社科期刊评价的可选路径：基于同行评议方法“以文评刊 人文社科学术期刊的评价，因涉及因素复杂、成果计量规律较弱等原因，一直是学术评价领 域的一大难点。长久以来，我国对学术期刊的评价，以各类“核心期刊”评价体系为主，这些体 系通过对引文数据的计量分析，有时还辅以领域专家对期刊的同行评议结果，对期刊的学术水平 进行评价。事实上，“核心期刊”评价体系是基于引证计量方法的“以文评刊”。随着文献计量方 法的不断改进，“核心期刊”的评价机制与流程、引文统计方法、期刊排名数据的修正等方面， 已进行了细致改进和完善，使这一体系不断进步。然而，学术界对“核心期刊”评价体系仍存在 质疑，尤其在将其应用于人文社科期刊评价时，引文数据量小、滞后、重量轻质、引文动机难以 统计等问题受到诸多诟病，这些问题甚至是文献计量方法本质上难以规避的。 学术评价领域普遍认为：期刊的评价应坚持同行评议与文献计量相结合的路径。对于入文社 科期刊来讲，更应该采用“同行评议为主，文献计量为补充”的路径山，而非将同行评议作为文 献计量的补充形式。实施这一路径最大的挑战在于缺乏充分的、具有一致性的论文同行评议数据， 因此如何建立“基于论文同行评议数据评价人文社科期刊”的评价体系引起了评价领域的关注。 发挥评委的主观能动性对成果进行直接评价，是同行评价方法的优势。虽然各类“核心期刊”评 价体系也采用同行评议方法对人文社科期刊进行评价，但对期刊的同行评议往往依据评委的印 象，难以直接将期刊的论文质量与期刊整体质量挂钩并形成有针对性的评估结果。对论文的质量 进行直接的同行评议，正可规避“隔靴搔痒”的问题。虽然同行评议方法并无新意，但形成大量 有价值的学术论文主观评价数据，对于实现和完善“同行评议为主、文献计量为补充”的人文社 科期刊评价体系，以及人文社会科学的发展很有价值。 在我国乃至世界范围内，基于论文同行评议结果评价期刊还未形成成熟的理论和实践。对此 问题展开探索的典型案例是中国人民大学《复印报刊资料》根据论文的转载数据对人文社科学术 期刊的评价活动。2000年，《复印报刊资料》根据其学术系列刊的人文社科论文转载数据，开始 发布人文社科期刊的年度转载排名。《复印报刊资料》学术系列刊共覆盖22个人文社科一级学科， 每年在3000余种报纸、期刊等载体上广泛收集中国人文社科领域的学术论文，并通过同行评议 的方式选出其中的优秀论文(约1．5万篇／年)进行二次转载：《复印报刊资料》人文社科期刊转 载排名包括转载量(期刊被转载的论文篇数)排名和转载率(期刊被转载的论文篇数／期刊学术 论文总数)排名两种∞。2010年度，《复印报刊资料》通过研究形成了学术创新程度、论证完备程 度、社会价值、难易程度、课题立项和发表载体六项同行评议评价指标构成的论文评价指标体系 (其中后两项为辅助指标)并根据论文在学科与体裁方面的差异，设置了23套权重分配方案∞。 以此为《复印报刊资料》标准对2010年度约1．5万篇被转载论文进行了同行评议量化评分；在 ’本文为中国人民大学科学研究基金(中央高校基本科研业务费专项资金资助)项目成果(项目编号为10XNE042)。 此基础上，设置了转载量、转载率和被转载论文篇均得分三个期刊评价指标，并按权重计算形成 “期刊学术转载论文的综合指数”，作为判断期刊整体水平的依据@。 r。，。㈠叫i嘲豳夥豳图 图l 《复印报刊资料》“以文评刊”体系示意 笔者对中国人民大学‘复印报刊资料》的探索进行了深入的实证研究，总结了实证反映出来 的理论和实施难点，并通过思考提出了初步的对策建议，希望有助于人文社科论文同行评议理论 和实践的进一步发展。 二、实证分析： 《复印报刊资料》“以文评刊的难点 一般来讲，较为成功的学术期刊评价体系须具备如下特征：1)科学公正：评价的程序能够 鉴别出期刊学术水平的大体差别；2)合理可行