“五度”数据分析(之二).docVIP

“五度”数据分析（之二） 欲善其事，必先利其器。数据分析要成为企业利器需要满足“五度”：深度、效度、信度、难度、通度。在前面的博文中，我们谈了“深度”和“效度”。这里，我们再来聊聊“信度”、“难度”和“通度”。 ????第三度：信度 ??? 信度是指分析结果的可靠程度。信度是判断分析方法好坏的第三个标准。要加强分析的信度，需要做到以下几点： ?? 1、对比要可比 在我们身边，充斥着大量的不具有可比性的对比分析。而这个问题严重影响了分析结果的可信度。 @数据化管理曾经举过这样一个例子。 在美国和西班牙交战期间，美国海军的死亡率是千分之九，而同时期纽约居民的死亡率是千分之十六。后来海军征兵人员就用这些数据来证明参军更安全。你认为这个结论正确吗？ 当然不正确，这两个数字的对比是不具有可比性的，当兵的都是身强力壮的年轻人，而居民的死亡率是包括老弱病残的数据，这些人相对来说，死亡率是高的（需要说明的是16‰估计是不含自然死亡）。所以正常应该是用同年龄段的海军数据和纽约居民来对比。 ? 2、差异要显著 在做精细化营销时，往往需要借助数据来理解不同用户的偏好差异。那么，数据相差多大才显示不同用户的偏好存在差异呢？ 例如， 在左下图中，不同收入的用户对A卖场品类的态度有差异吗？别急，需要先做显著性检验。因为 满意度得分上的差异来自两个方面：组间差异和组内差异。 组间差异（控制变量）是由于收入水平的不同，三组用户间的满意度差异 组内差异（随机变量）是由于随机因素，同样收入水平下的用户的满意度差异 只有当满意度得分上的差异主要来自于收入水平（即组间差异），而不是其他（如随机抽样），才可以说：不同收入的用户具有不同的偏好。 ???? 基于以上思考，我们做方差分析。从方差分析的结果看（见右下图） ???? 首先：方差齐性检验中的相伴概率值0.435显著性水平0.05，可认为各水平下总体方差相等，通过了检验，所以可以使用方差分析。 ???? 其次，方差分析的结果显示组内平方和（即组内差异为90.396）远远大于组间平方和（即组间差异为8.379），F值的相伴概率值0.05，未通过检验。也就是说对A卖场品类态度上的差异主要来自于同样收入水平下的用户，不同收入者对A卖场的品类的态度不存在显著差异。 ? ???? 如何理解这个检验结果呢？从满意度得分来看，似乎不同收入者在品类方面的差异蛮大咧（见左下图）。我们看不同收入者的满意度分布就比较好理解了（见右下图）。 ??? 从右下图可以看到三类收入者内部波动很强烈，组内的差异水平甚至高出组间差异。这说明收入并不是区隔用户品类满意度的显著因素，即不同收入者的满意度水平不存在显著差异。??? 3、描述要全面 为什么当统计局把在岗职工的平均工资公布后，很多网友嗤之以鼻，讥之为“真实的谎言”者有之，认为“工资不涨反降”者有之，质疑“是不是又在放卫星”者亦有之呢？ 因为平均工资的描述不能全面刻画工资的分布特点。它只能反映工资的集中趋势（一般水平），却没有考虑工资水平之间的离散趋势（波动程度）。 ??? 第四度：难度 ??? 是否用复杂的方法，取决于的问题的难度。问题难度升级，则方法的复杂程度也要升级。 ??? 以市场细分为例。 若单一维度细分效果不佳，则需要增加分类维度。 例如，我之前做过一个彩电项目，用收入作维度进行细分市场。发现高收入者和低收入者买高档彩电的比例相差无几。仔细想想，高收入并不是买高档彩电的充要条件：高收入不一定就买高档彩电；低收入也不一定买低档彩电。高强度的工作可能会是使一个月薪过万的白领不买电视，因为根本没时间看；严重的攀比心理可能会使入不敷出的人家借钱买最贵的彩电。 因此，买什么价位的彩电，不仅和收入有关，还可能会和消费者的价值观、生活形态、对彩电的需求程度、年龄、职业等多种因素有关。到底和哪些因素有关，需要不断假设、探索，验证、比较、推翻，然后再重新开始，直到找到最合适的细分方案。 1、分类维度多——聚类分析+因子分析 既然要增加分类维度，此时拖透视表不管用了，就要考虑更复杂些的分类方法了，比如聚类分析。下图用的是系统聚类分析法，用人均GDP、人口数、价格增长指数等5个维度来对省份进行分析。 用于分类的维度较少，并且相互独立是最好的。但大多数的情况是，我们想出了一大堆维度，其中很多维度之间由存在一定的相关关系，也就是存在多重共线性的问题。此时，直接做聚类分析显然不合适，需要在聚类之前作因子分析。 例如，对网民进行细分，以17个生活形态语句做细分的维度，会发现维度又多又共线，比如“喜欢热闹和聚会”、“经常户外度假”、“下班后尽快回家”、“即使有钱也要工作”反映了生活的态度和状态。 通过因子分析，我们最终将这17个生活形态的语