比较测试的设定和分析.pdfVIP

本资料由网舟联合科技（北京）有限公司整理分享 比较测试的设定和分析 其实我们在做数据分析的时候经常进行比较分析，但往往以观察分析法为主，“T检验 和卡方检验”为我们的比较分析提供了很好的科学的定量分析方 法，让比较的结果更有置信 度和说服力。但在使用定量分析的比较方法前，还有很多因素需要考虑，当我们需要精确地 分析比较的效果，我们一般都会做比较测试， 而其中涉及测试环境的设定，数据的选择和 获取等，以排除一些非相关因素的干扰，让比较的结果更加真实可信，所以下面就介绍下如 何合理地进行比较测试。 比较测试的类型 比较测试或实验的类型有很多，但都跳不出抽样、重复、分组、比较这几个流程，所以 从实验设计的角度，我们可以简单地把比较测试分为两类：基于时间序列的组内比较和基于 对照实验的组间比较。 时间序列的组内比较 基于时间序列的组内比较一般在时间序列上的某个时间点引入实验变量或者施加实验 刺激，并在实验刺激的前后进行重复测试，分别叫做“前测”和“后测”，对前测和后测分别进 行抽样比较，从比较的结果反映实验刺激是否对结果有显著的影响。详细的流程见下图： 举个有趣的例子，如果公司的员工前4个月在正常的薪资待遇的水平上工作，体现出正 常的工作效益和工作满意度；然后从第5月开始给员工进行加薪 （施加实验刺激），再观察 之后4个月员工的工作效益和工作满意度，将之前4个月的结果（前测）与后4个月的结果（后 测）进行比较，分析员工的工作效益和工 作满意度是否存在显著性差异，进而证明加薪这 个实验刺激是否对提升员工的工作效益和满意度有显著性影响。这就是简单的时间序列比较 测试的基本流程。 但基于时间序列的比较测试会受很多因素的干扰，比如上面的例子在实验过程中 CPI 的增长、公司业绩的下滑或者运营环境的恶化都可能导致实验结果的失效，或者验证的结果 不可信，所以下面会具体说明需要排除的干扰因素。 对照实验的组间比较 基于时间序列的组内比较只是基于一组样本，只是样本在时间序列的某个点上受到了实 验变量的刺激；而对照实验需要设定两组样本，也就是“实验组” 和“控制组”，并对实验组 I 本资料由网舟联合科技（北京）有限公司整理分享 施加实验刺激，控制组维持原状态不变，从而比较实验组和控制组是否存在显著差异来反映 实验的刺激是否影响了结果。因为对照实验涉 及两组样本，所以这里需要额外注意抽样的 规范性，我们需要保证两组样本的特征具有相似性，可以进行比较。具体的实验设计见下图： 还是使用上面的例子，但在对照实验中设置对照组和实验组是必需的，比较不再是基于 前测和后测。比如我们让部分员工维持当前的薪资待遇继续工作， 而另外一部分的员工提 升他们的薪资待遇，从而比较为提升待遇的员工和提升待遇的员工的工作效益和工作满意度 的差异，如果差异显著就可以证明提升薪资待遇这 个实验刺激对结果是有显著影响的。 对照实验因为参与比较的两组样本都是基于相同的时间序列轴，所以随着时间变化的影 响因素对实验的比较结果的影响不再重要，因为两组样本同时受到 了同样的影响，但因为 是组间比较，所以两组样本如果存在差异性，那么对结果就会造成较大影响，比如上例中A 组选择的是基层员工，B组选择中高层员工的话， 比较的结果显然是缺乏科学性的。下面 就具体介绍下比较测试中可能存在的影响因素有哪些？ 前提与影响因素 首先看一下从用户体验的角度，如果我们进行可用性实验，需要考虑的影响因素有哪些： • 外部噪声和干扰：外部干扰信息、临时的电话和呼唤等； • 经验和熟练：因为可用性实验一般需要重复过程，所以随着实验的进程，用户渐渐 熟悉对网站和工具的使用； • 消耗：随着实验进程，用户可能失去耐心，或者精力无法集中； • 主观预测：当进行重复实验时，用户容易用先前的测试结果来推测之后的测试，同 样会影响实验结果的可信度。 以上是可用性实验中需要考虑的影响因素，有些只存在于实验环境中，如果衍生到WEB 分析中，同样需要注意一些影响因素，而对于上面介绍的时间序列组内比较和对照实验组间 比较，各自的影响因素又各不相同： 时间序列的组内比较 基于时间序列的组内比较可能存在的干扰因素相对较多，因为外部环境和内部环境都会 随着时间发生变化，所以为了让基于时间序列的前测和后测两组数据具有可比性，我们必须 规避以下几类因素的影响：