关于软科学成果评价体系的应用研究.docVIP

关于软科学成果评价体系的应用研究 　　[摘要]本评价体系设计是分别研究专家评价系统（定性与定量结合）和定量评价系统，基于两个系统构建成果应用绩效评价体系。并且采用开放式设计，随着评价次数的增加和实践经验的积累，在进一步的软科学成果应用绩效评价中，可以再根据越来越丰富的样本数据，不断积累的评价经验，来动态的调整和修改评价体系。 　　[关键词]软科学；评价体系；灰色模型 　　本文以系统理论为指导，综合软科学多学科理论和方法，不过分强调方法的复杂性，而重视成果应用绩效指标的全面、系统、可测性和数据的可获性以及评价方法应用上的可操作性。探讨定性与定量相结合的多层次、多角度整合的，适合并能应用于地方软科学项目管理的，软科学成果应用绩效评价体系的设计与构建。由于软科学成果应用绩效评价体系的构建与应用还处于探索阶段，体系结构和各指标之间的内在联系和规律以及指标的量化问题还存在很大的探索空间，不能没有专家的评判完全采用定量评价。由此， 　　1、应用绩效评价体系的作用分析 　　目前，国内软科学成果绩效评价研究的指标体系设计，基本上都是由定性指标构成，即使一些量化指标的设计也很少全面量化，多以“相当大、有较大、有、没有”等类似的笼统的指标逐一赋分作为专家评分的量化标准，显然以此量化评价难以避免专家带有的个人偏差。定量评价以客观定量数据为依据，并以科学的计算方法来进行评价，有较好的科学性和可靠性，但在比较复杂的情况下，存在有些评价目标很难用确切的数量表示和评价方法很难准确的问题等。而定性评价的缺点是评价中的随机因素影响较多。因此，急需定性与定量相结合的软科学成果应用绩效评价体系的设计与研究。近期，山东省软科学办公室适应改革发展的需要，在国内率先推出软科学项目网上结项管理改革，并对结项等次优秀的成果通过应用绩效等评价择优评出一定数量的项目，给予后补助资金奖励或延伸立项支持。科学、可操作的评价体系成为现实需要。软科学研究成果应用绩效评价是软科学研究项目管理中的一个重要环节，也是为强化管理工作改革提供的配套手段。设计研究成果应用绩效评价体系，客观、合理地评价软科学研究成果绩效，对于推进科研管理创新，调动广大软科学研究人员的积极性和创造性，促进软科学研究成果的应用乃至软科学事业的发展都具有重要的现实意义。 　　2、应用绩效评价方法的选择 　　软科学成果应用绩效评价要求的不是设计出指标、权重和对应的分值给每一个成果应用绩效情况累加积分，而是要对特定应用领域有特定要求导向的综合应用绩效评价并排序，有着明确的应用目标要求，重要的是评价方法得能操作。基于这一点，在评价方法研究上要综合多学科理论和方法，探讨定性与定量相结合的多层次、多角度整合的评价方法，计算不应过分强调方法的复杂性，应重视应用上的可操作性。由此，对于第一层次的整合，采用“标杆法”，即以各截面目标要求确定标杆，并以各截面的最高水平的成果为标杆，按照实际绩效指标与标杆之间的比例定值。各第二、第三级指标采用定性与定量相结合的方法，确定科学的目标和权重，最终整合定量评价和专家评价两个系统结果排序，实现择优选项的评价目的。 　　3、绩效评价指标体系的设计 　　成果应用绩效评价指标体系的设计，要研究软科学的学科体系结构和特点，分析软科学学科分布，探讨软科学成果应用所涉及到的领域，以及成果应用的目标要求和趋向，为指标体系研究设计奠定理论基础；在软科学成果应用领域研究和软科学应用绩效相关因素分析的基础上，依据管理部门的目标要求、政策导向，结合成果应用方应用需求调查及专家咨询，确定指标体系层次结构，选择评价指标，研究指标目标和权重，构建评价指标体系。 　　3.1指标体系层次结构的设计 　　依据管理部门目标要求、政策导向，结合成果应用方应用需求调查及专家咨询，在软科学成果应用领域研究和软科学应用绩效相关因素分析和成果应用所涉及的各个层面、各种类型及方式分析的基础上，设计评价指标体系层次结构。选择成果应用；成果出版、发表、引用、转载；学术活动及人才培养、获奖5个截面，形成指标体系的第一层次，各层次下设二级、三级指标形成第二、第三个层次。各层次间的关系形成指标体系的体系结构。指标的选择以成果应用价值、应用潜力、应用水平等作为应用绩效指标体系的功能单元，分别根据各功能单元所体现出的应用绩效特征。 　　3.2指标目标的量化和权重的确定 　　软科学成果应用绩效指标目标的量化和指标权重确定是否合理，直接关系到软科学成果应用绩效评价结果的准确性和科学性。由于软科学研究成果有鲜明的应用性和辅助决策、提供咨询服务的目标，因此，在软科学成果应用绩效评价指标体系中，不同的指标的目标要求以及反映出的成果应用绩效的重要程度是不一样的，不能采用等值和等权法。通常指标体系设计中的目标量化和权重的确定采用两种方法，即