经验性评估中评估者个体差异的影响的研究.pdfVIP

经验性评估中评估者个体差异的影响研究 徐荣龙 刘正捷郭正豪 大连海事大学中国欧盟可用性研究中心，辽宁大连，116026 摘要：国外针对经验性评估中评估者个体差异影响的研究已经进行了很多，结果表明，经验 性评估中评估者的个体差异很大，用四分比率法对评估结果进行分析时其值在1．4-,-2．2之间， 结果还表明经验性评估中评估者发现可用性问题的能力不是随机的。目前，国内在这方面的研 究比较少，为了查看国内可用性专家在进行经验性评估时个体差异的影响规律是否与国外专家 一致，本文进行了一项实验。本实验共选取了8名评估人员(具有基本相同的背景和资历)分 别对两个不同的用户界面(金山词霸2006和IBM智能词典2000)进行经验性评估，记录每 个评估者对两个界面进行评估时分别发现的可用性问题名称及数量，用四分比率法对评估结果 说明选取的8名评估人员分别对这两个用户界面进行评估时，得到Q3／Ql的比值符合经验值 (Q3／Ql应处于1．4～2．2之间)；用相关分析法分析单个评估者对不同界面进行评估时，发现 可用性问题数的相关性r=0．8170．5，且口=o．0130．05，这表明评估者发现可用性问题的能力 不是随机的。由此可见，国内专家进行经验性评估时个体差异的影响规律与国外专家一致。 关键词：经验性评估；个体差异；四分比率法；相关分析 1．目的和意义 经验性评估是一种常用的可用性研究方法，在这种方法中，评估者的个体差异是影响 评估结果的一个重要因素…。国外针对经验性评估中评估人员个体差异影响的研究已经进 别对4个不同的系统进行近验性评估，评估人员具有基本相同的专业背景(都是计算机系 的学生)。但结果却表明，单个评估者发现自己评估的界面中存在的可用性问题的比例范围 评估人员对同一个系统进行评估，评估人员分别为新手用户、可用性专家和双料专家(既 是可用性专家又是相应的专业领域专家)。结果表明，新手用户发现的可用性问题的比例为 22％，可用性专家发现的可用性问题的比例为41％，双料专家发现的可用性问题的比例为 60％。可见，在经验性评估中可用性专家的表现比非专家要好，而双料专家比前两者都要 专家和非专家)，分别对同一系统进行评估。结果表明，可用性专家发现的可用性问题的比 例为44％，而非专家用户发现的可用性问题的比例为18％。可见，在进行经验性评估时， (CN／ASIA-ITC／001(88365))的支持。 徐荣龙，E·mail：xuronglong@163．toni 418 第二部分第3届全国人机交互学术会议 评估者的个体差异对评估结果有很大影响。 Nielsen[1】总结了多个研究之后指出，用四分比率法对经验性评估结果进行分析时其值 应在1．4～2．2之间，而且经验性评估中评估者发现可用性问题的能力不是随机的。 目前，国内在这方面的研究比较少，为了查看国内可用性专家在进行经验性评估时个 体差异的影响规律与国外可用性专家是否一致，本文作者进行了一项实验，实验内容及过 程如下所述。 2．研究内容 本次实验要研究的内容包括以下两个方面： 进行经验性评估，记录每个评估者对两个界面进行评估时分别发现的可用性问题(记录可 用性问题的名称和数量)，用四分比率法对评估结果进行分析，确定Q3／Q1的区间范围， J)。 看是否符合经验值(Q3／Q1的比值应处于1．4～2．2之间【l (2)然后分析单个评估者对这两个不同用户界面进行评估时，发现可用性问题数的相 关性，(看r比0．5大还是比0．5小，如果比0．5大则表明评估者发现可用性问题的能力不 是随机的，否则表明评估者发现可用性问题的能力是随机的)。 3．评估过程 3．1选取参与者 本项实验选取的评估者都是我们中心内部的具有经验性评估经验的人员，Nielsen建议 经验性评估至少要选3名评估人员参与，合理的建议是使用5名左右的评估人员[11。因此 本项实验选取了8名评估人员，这些评估人员具有基本相同的专业背景和资历，男女比例 为1：l，从事可用性工作时问都为2年左右，年龄在24～36岁之问。 3．2评估过程 首先，向评估人员介绍评估的目的、任务和操作过程，任务是让评估人员对两个不同 中存在的可用性问题，同时向评估人员进行如下要求：