科技评价方法相关问题剖析.ppt

⑤一些基于运筹学的组合方法值得商榷 假设采用4种主客观赋权法对学术期刊进行评价，可以得到每个指标的权重取值范围，如果以此作为约束条件，求解使评价总分极大值的权重组合作为最终的权重组合结果，这是有问题的。因为评价重在采取同一标准对不同评价对象进行比较，不同评价方法的评价值之间是不可比的，采用线性规划意味着权重组合有无数种，这无数种评价方法之间是不可比的，没有理由可以说明权重组合使评价值极大的方案是最优的。 ⑥基于排序的评价不能用于组合评价 基于排序的评价不能与基于得分的评价进行组合。（当然如果全部转化为排序则另说） 2.若干问题的思考 ①定性评价仍然是重要的期刊评价方法 ②单一复杂指标评价应用前景广阔（H指数） ③组合评价在学术期刊评价中应用将会越来越广泛。 ④组合评价与多属性评价相结合将会取得进展 。 ⑤建议采用客观评价法进行组合评价 因为不同评价方法的优缺点很难人为加以界定。 ⑥基于排序的多属性评价方法要慎重使用 ⑦注意评价的有效性和简洁性的辩证统一 ⑧各种评价方法将长期共存下去。 （二十三）学术期刊来源指标与影响力关系的科学计量学研究 研究方法：利用散点图、回归分析和分组统计三种方法相结合 。 结论与讨论： 1.期刊来源指标与影响力相关程度总体较低 基金论文比、平均引文数、地区分布数等期刊来源指标总体上对期刊影响力解释较低，除了平均作者数与影响因子之间的关系超过0.1外，其它指标与影响因子之间的关系均极低。 2.期刊来源指标与期刊评价指标的关系 在期刊评价中，如果重点从产出或影响力的角度进行评价，那么是可以舍弃来源指标的。学术期刊评价重点往往是其学术质量，影响力是学术质量的一个反映。 3.来源指标的人为操控性远远大于影响力指标。 三、研究总结 （一）学术期刊评价是个系统工程，不是单篇论文就可以做期刊评价的。 （二）就学术期刊评价而言，从指标选取、权重赋值、灵敏度分析、方法选用、评价组合等方面应该综合迄今为止本课题的所有研究。 （三）只能无限逼近真理，但难以达到真理。从管理学的角度，有时只有能够接受的方案，没有最佳方案。 （四）总体感觉，没有经过严格的证明：目前最为简捷的评价方法，先给指标权重赋值，然后再加权汇总，该方法似乎不错。这应该是个否定之否定后形成的结论，要建立在对许多评价方法比较分析的基础上。 （五）并不是越复杂的方法越好。 （六）本课题成果情况 四、研究展望 1.基于方法论的角度，科技评价方法仍然有很多研究空间。 2.探索新的组合评价方法 3.探索几种有弱点评价方法的综合 4.面板数据评价的进一步研究 采用面板数据进行评价的似乎极少。 删除了三个统计检验不显著的指标： 扩散因子、引用半衰期、地区分布数 二级指标的权重根据结构方程回归系数进行模拟。 影响力、时效性、期刊特征三个一级指标的权重是无法根据结构方程进行计算的，采取专家打分法确定，通过专家会议法设定影响力权重为0.5，时效性和期刊特征权重各为0.25 结论与讨论： 1.结构方程可以进行指标筛选。 2.基础数据的完备性对评价结果影响很大 。 3.模型建立偏差将影响结果，建议多听取专家的建议。 （十）学术期刊综合评价数据标准化方法研究 多属性评价数据标准化方法本来被认为是已经彻底解决的问题，其实并非如此。 立论依据： 1.同一指标内部数据相对差距不变原则。也就是说，反向指标取倒数是不对的，因为倒数是非线性变换，改变了相对差距。 2.标准化后极小值不确定原则。比如，某些标准化方法极大值为1，极小值为0。假如恰好有个评价对象，所有指标都是倒数第一，其最终评价值就是0分，显然不合适。 3.标准化后极大值相等原则。这样才具有可比性，某些标准化方法，标准化后极大值不确定，这样，如果某个评价对象各项指标均是第一，则总分达不到100，也不合适。 结论： 1.正向指标的标准化方法只有一种，已经解决，其他方法不能用。 2.反向指标的标准化方法：（这是本文的创新） （十一）科技评价中效用函数合成方法的比较研究 所谓合成，就是如何根据给定权重和指标计算出评价总得分。 研究加法合成、乘法合成、对数合成、代换合成方法的特点及适用范围。或者说，有了权重，用什么样的数学方法得到指标体系的总得分。 方法： 首先比较不同合成方法结果的相关性及排序情况，然后比较几个指标。 加法合成： 调和平均 平方平均 乘法合成 对数合成 高端代换合成 只要任何一项指标达到最高值，评价总指标就为满分，因此，代换合成是一种“一美遮百丑”的合成方