信息系统评估技巧介绍.docVIP

信息系统评估方法介绍 　 重大专项研发部 张跃军 　2010-03-18 ????随着信息革命的不断推进,整个世界各领域的信息呈现出了日趋激烈的爆炸式增长,为了管理及利用这些信息,各个领域都出现了许多功能多样的信息系统,并且随着信息的膨胀,这些系统也在不断地趋于复杂化。这种情况下,系统在规定条件下和规定时间内完成规定任务的程度就成了一个很重要的问题,因此系统的效能就是对系统所具有能达到规定任务要求能力的度量。系统评估是研究系统的效能特性及其获取系统最大效能的一门科学。系统效能是完全不同于费效比以及性能的一个独立概念。系统费效比是指费用与效果的比值,反映出系统的投入与产出的比例关系;系统性能是指系统能够发挥表现出的处理能力。而系统的效能不仅是其所具有的内在的执行任务的能力,而且是在系统的全寿命周期中围绕系统的一些活动所取得的效果,也称之为系统的效能。因此系统效能评估是对系统的标称能力与实际能力匹配程度的全面评估。通过对复杂信息系统进行效能评估,可以量化系统标称能力与实际能力的匹配程度,发现系统现状与实际使用需求之间的差距。这些量化后得到的差距数据就可以为系统需求的改进和后续系统的规划、设计、运行、管理和维护提供有力的理论基础;同时这些数据也为系统运行、管理和使用提供了参考模型,为系统日常维护和状态监控指明了关注要点和改进方向。对这些复杂信息系统进行效能评估之后,就能有针对性地逐步优化系统的体系结构和配置,提高系统的运行管理水平,以需求为向导显著提高系统的运行效益。 ????评估方法有广义和狭义两种概念，广义概念包括评估准备、评估设计、信息获取、评估分析与综合、撰写评估报告等评估活动全过程的方法，狭义概念特指评估分析与综合的方法，本文中所提到的评估方法为狭义概念。 1评估方法的选择和应用 1.1评估目的与评方法的匹配 1.2评估方法的合理替代 首先考虑评估方法的内在约束，考虑不同方法的评估角度和评估途径，例如：对于大型计划的绩效评估，原型案例研究法和数理统计方法在一定条件下可以相互替代：除了受内在约束外，评估方法的选择和替代还有受外界的制约，包括可以获得的信息、用户的理解和接受程度及掌握方法的难度等。 1.3“内在约束优先”的原则 1.3.1定性和定量方法相结合 1.3.2定性信息结构化 1.3.3结构化面访 1.3.4定性—定量信息的相互转换 2比较研究 2.1前后对比 2.2对照组比较 2.3多角度比较 ????该方法适合用于涉及面广，因素复杂的评估对象。通过各方面信息的相互补充、相互检验，可以减少信息的误差，提高评的可信度。 3多指标综合评估方法 ????多指标综合评估方法是信息系统评估中的常用方法，尤其是对于群体评估应用比较普遍。由于不同指标的综合、折衷、平衡中主观因素的影响，所得结果只能是合理的、满意的，不存在客观上的最优。对于多指标评估问题，只是应该从非劣方案（非劣解）中寻优。某一方案称为非劣方案，是指不存在所有指标都由于该方案的选择。 3.1指标值的确定及其规范化 ????在评估问题中，有时某些定性指标的值无法通过定量的方法得到，必须由专家的判断决定，该方法通常分数、序数，评语等作为评估的指标值，依此作出总的评估。专家打分时应尽量保证所有的指标值属于同一类型，即同分数或同为序数，若有不同的，应将其转化成同一类型，以利于综合评估。 3.2指标权重的确定 ????关于权重系数的获得主要有专家咨询法（Delphi）、层次分析法（AHP）、二项系数加权法、环比评分法等。其中比较有代表性的且应用较多、较成功的主要有AHP和Delphi法。AHP将专家的思维过程定量化，并且可以通过一致性检验处理专家意见不一致的情形。Delphi法也是常用的一种方法，它具有匿名性、反复性、统计性三大特征，较好地克服了主观因素的影响。 3.3计算综合分值 4运筹学方法--层次分析方法  ????层次分析法的步骤如下: a)建立层次分析结构模型。深入分析实际问题,将有关因素自上而下分层(目标—准则或指标—方案或对象),上层受下层影响,而层内各因素基本上相对独立。 b)构造成对比较阵。用成对比较法和1~9尺度,构造各层对上一层每一因素的成对比较阵。 c)计算权向量并作一致性检验。对每一成对比较阵计算最大特征根和特征向量,并作一致性检验,若通过,则特征向量为权向量。 d)计算组合权向量(作组合一致性检验)。组合权向量可作为决策的定量依据。 ????例如设定一个需要达到的目标作为目标层,从对目标发生影响的各种因素中选出合适的因素作为准则层G={G1,G2,…,Gm},现需要从方案层P={P1,P2,…,Pn}中选出最佳的方案。首先利用成对比较法,参照1~9尺度,构造出m个准则对于目标的权重向量A=[a1,a2,…,am