设计效果检验之道：如何去除其他噪点，让设计因素成为唯一的验证点.docVIP

设计效果检验之道：如何去除其他噪点，让设计因素成为唯一的验证点 　　据了解，作者的这套设计效果检验方法论已经过了一年多的实践，值得一阅。 　　 　　设计效果检验，即针对设计师的设计方案进行数据验证，通过客观的数据来量化一部分设计方案中较为主观或存在争议的地方，以此判断设计方案的优劣，从而得出检验结论。 　　众所周知，每个人对设计的评判是主观的，设计效果也不容易被直接量化。所以针对设计效果的数据检验变得很有必要，它可以辅助设计决策，沉淀出优秀的设计案例，并且进一步衍化出更好的方案，同时好的设计方法论得以传承。从长远角度来看，设计价值得以彰显，设计师的说服力得到提升。 　　同时我们是在一家商业公司，好的设计除了为用户带来良好体验，还要体现商业价值。而商业价值可较为直观的从数据中体现，这也是设计效果检验的目的之一。 　　那么，如何做好设计效果检验？换个说法，如何去除其他噪点，让设计因素成为唯一的验证点，从而得到严谨可靠的检验结论？且听我一一道来。 　　一、检验结论的可靠性 　　我们先从一个例子说起： 　　临近农历春节，设计师为所在业务设计了一套春节氛围，并在除夕前几天发布上线。节后观察数据，发现春节期间页面顶部续费按钮点击率波动上升，相较春节前提升幅度很大： 　　 　　因此，我们得出如下结论： 　　由于春节氛围的设计充分渲染喜庆的感觉，用户被情感化的设计所打动，并转化为实际的付费行为。该设计为业务带来了 XX 倍的数据提升，创造了 XX 的收入。后续氛围设计都可以参考该风格。 　　看完上述结论后，你有何想法？你觉得它是否科学可靠？为什么？ 　　OK，相信你们内心已经有了答案。上述结论的论证过程不够严谨，因此结论也不够让人信服，这里列出几点原因： 　　从发布时间看：氛围恰好在春节假期上线，流量激增 　　从运营策略看：春节是运营活动推广的高峰期，用户的消费欲被大大刺激 　　从用户角度看：春节用户的消费能力更强（年轻人有红包、工薪族有奖金） 　　从对比方式看：数据比较应该和上一年春节比（同比），而非和节前一段时间比（环比） 　　所以，想要得出一个科学可靠的检验结论，其论证过程就必须严谨可靠，那有哪些影响因素需要注意呢？ 　　二、检验结论影响因素 　　通过日常工作中实践与总结，我罗列了可能会对数据可靠性造成影响的因素： 　　时间因素（周末、月初月尾、节假日） 　　运营策略（红点、新增入口） 　　用户属性（身份态、性别） 　　内容因素（内容、排序） 　　其他因素（网页访问速度） 　　1、时间因素 　　一般来说，周末的流量相较于工作日会更高，用户有更多的时间体验产品，所以流量会提升，因此不应该拿周末的数据和工作日的数据做对比；节假日同理，而且节假日往往伴随着消费能力的变化，正如上面提及的春节，用户的消费能力更强；而月初月尾为什么是一个纳入考虑的时间因素，是因为 QQ 主要的用户是年轻的群体，不管是中小学生或大学生，月初一般是父母给生活费、零花钱的时候，数据也表明月初的营收数据相较于月尾要更好。 　　2、运营策略 　　运营策略主要受产品侧的人为影响，例如在 App 中为活动推送红点消息引流，在页面中新增运营 Banner 位等，导致流量大涨，数据波动。从而影响到设计方案的数据观察。 　　举个例子，为了缩短操作路径，产品经理与设计师沟通在「好友克隆」的详情页里增加了一个底部按钮，方便用户直接在手机中实现克隆好友的操作，好友克隆是会员特权，可以观察其带动的会员开通来检验设计提升效果，发布后新增会员数量走势如下： 　　 　　原本以为这是由于路径缩短（新增按钮）所带来的转化率提升，但进一步了解产品的运营策略后发现，之所以数据上升，还有另外一个影响因素，即产品在会员中心页面里新增了一个 Banner 位： 　　所以因为产品策略的影响，数据的提升并非完全来自于新增了一个按钮，虽然也无法忽略其作用。但此时的结论已经无法做到严谨可靠了。 　　3、用户属性 　　用户属性即身份态和性别。性别大家都懂，什么是身份态？QQ 会员、超级会员、年费会员、过期会员这些标识了 QQ 用户属性的状态就是身份态。 　　用户属性对数据检验会有什么影响？举个例子，我们希望横向对比两个活动页面中开通按钮的设计效果对转化率的影响，所以准备了两个运营活动的数据来比较： 　　 　　但上述两个活动有明显的性别倾向，如左侧倾向于男性，右侧倾向于女性（而且内容不一样）；在手 Q 中男女比例和消费能力都不一样，所以横向对比不具备严谨性。身份态同理，针对年费会员的活动数据，和针对过期回流用户的活动数据两者不适合做比较，因为消费能力不同。 　　4、内容因素 　　内容本身以及它的排序也会影响数据，这常体现于列表或运营位中。举个例子，我们希望分析运营图颜色对其点击率的影响。那么必须确保其内容不变（免费领10元