基于感知的学术期刊评价方法研究.docVIP

基于感知的学术期刊评价方法研究 1引言 国外学术期刊评价中最常用的两种方法分别是基于引文（citation-based）的评价法和基于感知（perception-based）的评价法【1】。基于引文的评价法通常使用影响因子、特征因子、h指数及其衍生指标评价期刊，主要优点是定量与客观，但指标片面性、自我引用、期刊操纵引用、不适合人文社科领域期刊等问题也使其饱受争议【2】。近几年采用同行评议对科学研究过程和成果的规范性、科学性和创新性等进行独立学术评判已经逐步成为学界通行的做法【3】，如果将其与引文评价法结合，将进一步提升期刊评价的信度与效度。专家调查法作为同行评议的一种重要形式，在国外一般被称为基于感知的评价方法或陈述性偏好（statedpreference）评价【4】，它利用同行的意见来评价学术期刊，可以反映某一特定学科或领域内具有代表性的大量专家的集体判断和累积意见。此类方法通常向一组专家发放调查问卷，请他们根据自己的感知并结合一定的判据对期刊评分、排序或分类，评价结果一般通过聚合所有受访者的评价情况获得。目前，国内在期刊管理和评价领域的类似研究多集中于论文发表前的同行评议【5-6】，缺少对专家问卷调查类期刊评价方法的研究。国外对基于感知的期刊评价方法类的研究较多，但对这些方法进行详细分析的综述类研究尚不多见。Walters【7】介绍了研究人员和图书馆员在开发或使用基于调查的期刊排名时应考虑的五个关键问题，但该研究主要基于2014年以前文献，粗略地对国外基于感知的期刊评价框架进行了介绍，缺乏对该方法的一些具体特征和问题的详细论述。本文将以国外文献为基础，对基于专家问卷调查的感知类期刊评价方法近十五年来（2005-2019）的文献进行梳理，总结此类方法的基本特征，找出现有研究存在的问题，并提出相应的建议，以求为国内相关研究和实践的进一步完善提供参考。 2文献检索与筛选 2019年3月，作者以WebofScience为数据源，检索与“survey-based”、“perception-based”、“statedpreference”、“ex?pert-based”等相关的期刊评价类英文文献，时间跨度限定为2005-2019年，检索结果剔除不相关内容后，导入文献管理软件NoteExpress3.2中，得到129篇英文题录。随后在Pro?Quest、EBSCO、Emerald、Scopus等全文数据库中进行类似检索，将删除不相关内容后同样导入NoteExpress3.2，合并去重后共得到357篇英文题录。通过详细阅读这些题录中的标题和摘要信息进行初步筛选，保留了103项题录。本文的目的是要对评价方法进行梳理，要求所分析文献中评价过程和评价要素的阐述应尽量完整，故删除了部分评论性研究、论文同行评议类研究以及仅用已取得的专家调查结果与引文分析法的评价结果进行比较或汇总类的研究，据此共剔除了28项研究。对剩下的75项研究下载全文阅读，并以参考文献为线索，新增加39项研究，反复阅读后，最终获得明确使用专家问卷调查法进行期刊评价且详细说明评价过程的30项研究。分析过程围绕基于感知期刊评价中的四个主要环节：期刊来源、受访者样本、评价过程及评价判据展开。 3分析结果 3.1期刊来源。被评价的期刊通常根据学科或研究领域选择，但即使该学科的边界已经比较明晰，期刊列表选择也不是一件简单的事情。据对30项研究分析后发现，研究者一般通过三种方式确定评价期刊列表。（1）封闭式期刊列表。即由研究者预先提供完整的期刊列表，受访者仅对列表内期刊进行评价。30项研究中有13项采用该方式，研究者在选择期刊时一般遵循两类原则：一类研究者认为期刊覆盖面要广，只有这样才能对某一领域期刊进行全面评价【1】，所以多数研究（7项）会以之前研究为基础，对其中出现的期刊进行汇总、去重、剔除停刊等操作，然后在搜索引擎和一些数据库中对新创期刊进行检索【8-9】，从而保证期刊列表的全面性，也有研究者直接使用某个（些）机构最新发布的期刊排名列表【10】；另一类研究者认为应优先选择重要期刊进行评价，一般采用筛选的方法，如从以前研究中筛选排名靠前或受访者熟悉度普遍较高的期刊、请专家或与同事讨论确定达成共识的期刊【11】、选择被重要数据库收录的最有影响力的期刊【12】等。封闭式期刊列表有利于研究者了解受访者对特定期刊的感知意见，但预先提供的期刊列表容易导致一些新创期刊或新领域、跨领域期刊未被列入而影响其全面性。另外，根据满足感理论，即使是积极性很高的人也可能在对较长列表排名过程中逐渐失去注意力，变得心烦意乱或疲惫【13】，因此如果提供的列表过长可能会影响回复率，进而影响评价效果。此外，预设的列表还可能使部分受访者不得不去评价自己不熟悉