我们的估算到底有多准确.PDFVIP

第３章 我们的估算到底有多准确 ３１　简介 和大多数应用研究相似，在可用性测试中，我们几乎从来都不会覆盖整个用户 总体。取而代之的是，我们会依赖取样并通过样本来估算未知总体的值。如果我们 想要知道用户需要多久才能完成任务，或是百分之几的用户能在第一次尝试时就完 成任务，都需要根据样本来进行推断。样本的比例 （也叫统计数据）和平均数是我 们真正想要的数据———总体参数 （ｐｏｐｕｌａｔｉｏｎｐａｒａｍｅｔｅｒ）———的估算值。 当我们在缺失用户总体数据的情况下进行估算时，即便得到最好的估算结果也 只能接近但并不能得到真实结果。而且样本的量越小，结果的准确性就越差。我们 需要一种方法来判断估算到底有多准确才行。 于是，我们将在一定概率下包含未知总体参数的这部分数值区间提取出来，这 个范围就叫做置信区间。举例来说，你上班平均要花多少时间？假设你没有远程办 公，即使是最接近的猜测 （好比说，２５分钟）也会和真实的结果相差几秒或几分 钟。所以，提供一个区间范围的话会更恰当一些。例如，你可以说大多数时候会用 ２０～３０分钟的时间去上班。 ３１１　置信区间＝误差幅度的两倍 如果你曾留意过电视节目播出的投票结果和误差幅度，那置信区间对你来说就 不是一个陌生的概念。置信区间的使用和误差幅度如出一辙。实际上，置信区间正 好是误差幅度的两倍。如果你了解到投票的人中５７％都有可能赞成提案立法 （９５％ ±３％的误差幅度），那么置信区间就是６个百分点的宽度，在５４％和６０％之间 （５７％－３％和５７％＋３％）。 在前面的例子中，问题是有关赞同与否，投票者只需要二选一——— “赞同”或 “不赞同”。这可以被编码为完成率 （０和１），并且我们还可以用相同的方式来计算 置信区间和误差幅度。 ２０ ◆　第３章　我们的估算到底有多准确 ３１２　置信区间提供了精确度和位置 置信区间不仅提供了测量精确度的方法，还让我们能够有效地定位。接着上一 个例子来讲，我们知道平均支持率是５７％。我们也可以判断说这个预测是相对精确 的。如果想知道是否大部分投票者都赞同提案，我们可以看到少于一半的投票者赞 同的可能性很小 （小于２５％）。精确度当然是相对而言的，如果另外一轮投票的误 差幅度是±２％，它的精确度会更高 （并且有更窄的置信区间），一个误差幅度为 １０％的投票当然就不那么准确了 （它的置信区间自然也就会越宽）。一部分用户研 究员会发现自己需要就公众对政府的意见进行调研，而调研中涉及的概念和数学公 式，与我们创建的完成率相关的置信区间研究是一模一样的。 ３１３　置信区间的三个组成部分 影响置信区间宽度的三个要素分别是：置信度、变异性和样本量。 置信度 置信度同其字面上的意思，举例来说，９５％的置信水平就是在一个９５％的置信 区间中的覆盖度。在电视民意调查中，这一部分通常会从误差幅度的报道中被省 略。置信度为９５％ （通常使用的值）意味着如果从同一个总体中采样１００次，区间 中将有９５次会包含真实的平均数或比例。实际上，置信区间的范围通常会在声称 的指标上下浮动 （后面会有更详细的讨论）。虽然一个研究员可以选择０％～１００％ 之间任何数值的置信度，通常使用中都是将其设为９０％或９５％。 变异性 如果在一个总体中有较多的变异量，每一次的取样都可能会对结果产生较大波 动进而制造一个较大的置信区间。总体中的变异是通过计算样本的标准偏差来估 计的。 样本量 在不降低置信度的前提下，样本量是唯一一个研究员可以主动调整并影响置信区 间宽度的因素。置信区间宽度和样本量之间是一个逆平方根的关系。这意味着如果你 想要将误差幅度降低一半，需要将样本量翻两番。例如，如果你的误差幅度在样本量 为２０的时候是±２０％，那么你需要样本量达到８０才能达到误差幅度为±１０％。 ３２　完成率的置信区间 可用性的一个最基本度量指标就是用户是否能够完成某项任务。通常将之编码 为一个二选一的答案：１表示成功的尝试，０表示失败的尝试。这在我们眼里和那 些只有Ｙｅｓ或Ｎｏ的问