131-数据科学家高阶能力之评估产品【萌萌家】.pdf

131|数据科学家高阶能力之评估产品

2017-10-25洪亮劼来自北京

《AI技术内参》

“如果你无法衡量它，你就无法改进它。”（Ifyoucan’tmeasureityoucan’timprove

it.）这是一句你可能会经常听到的话，这句话也被应用到很多不同的场景中。那么，对于人工

智能工程师和数据科学家来说，这句话其实是他们工作核心的核心。不管是模型和算法，还是

产品迭代，都离不开“指标”和“评估”这两个方面。

评估一个产品的好坏，是一项说起来最容易但做起来最困难的工作。任何人，从用户到产品经

理，对某一个产品都可能有自己的主观意见。然而对一个产品，特别是要面对成千上万用户的

产品来说，依靠主观感觉是很难有一个完整、全面的评价的。同时，有一个成熟的产品评价体

系可以成为产品不断迭代的领航标。

今天，我就来聊一聊如何评估一个数据驱动型产品，又如何从评估产品的角度来推动产品的迭

代。我们需要建立层次化的评估体系，需要一个衡量产品好坏的框架。这个框架要从宏观到微

观，能够对你的产品进行全方位的检测，并且这种检测能够帮助你更容易地进行决策。

产品的经济收益

你可能要问，是的，我们需要评估一个产品，但是如何找到衡量产品的这些指标呢？

比方说你要做一个社交网络的网站，怎么来制定检测指标呢？首先，你要问自己，我做这个社

交网络的最终目的是什么？很明显，一个商业网站的终极目标是赚钱，也就是说，你最终的指

标是你网站的经济收益。知道了这一点远远不够，你至少还需要思考两个问题。第一，如何衡

量你的经济收益；第二，你能否用经济收益来直接指导你的产品构建。

我们先谈谈第一个问题。衡量经济收益看似简单其实不易。从比较大的维度上来说，你可以衡

量总收入，你也可以衡量利润，你可以衡量收入的年增长率，还可以衡量季度增长率。从比较

具体的维度来说，很多社交网站依靠广告收入，对广告收入的衡量本身就是一个非常复杂的问

题。

总体来看，衡量经济收益，有两点值得你思考。其一，如何衡量你收入的现状。其二，如何衡

量你收入的增长。今天，关于收入的指标我就不展开讨论了。

刚才讲的第二个问题就更加复杂。衡量经济收入的指标往往太过宏观，而且衡量起来有难度，

因此用经济指标来指导产品的发展是很困难的。我刚才说了一些经济收益指标，比如年收入、

年增长率、季度增长率，这些指标的衡量需要至少等待一个季度以上，甚至一年的时间。这些

有时间间隔的指标，无法给产品的快速迭代带来很大的指导意义。

另一方面，很多产品并不直接产生经济结果。也就是说，经济收益是一个“副产品”。这个时

候，如果我们只看经济收益，就无法真正指导我们构建更好的产品。比如，我刚才提到，对于

一个社交网站来说，广告收入是一个“副产品”，绝大多数用户来到这个网站的主要目的不是

点击广告。因此，仅仅衡量广告有可能让社交网络产品的迭代误入歧途。

层次化的评估体系

如果单从经济指标无法对产品有全面的指导作用，那怎么才能更加有效地建立评估体系呢？这

里就引出下一个话题，那就是多层次的评估体系。

接下来，我就由低到高依次从五个层面来说明一下，这个层次化的评估到底是什么意思。

最低层次的评估主要围绕着产品的最小组成单元。比如我们刚才用的社交网络的例子，社交网

络的各个页面上的模块就可以是最小的被评估的单元。

为什么要用这个概念呢？原因是这样的，每一个模块往往是产品的一个逻辑单元，一个最小的

承载产品理念的单元。不管是工程团队还是产品团队的运作，基本上都是为这些模块而工作。

因此，观察最小单元的效果对产品和工程团队都有直接的指导意义。如果团队目前对这个模块

做了一些更改，那么最直接的效果就是这个模块的一些指标会发生变化。这是产品迭代的一个

重要组成部分。

在这个层次，衡量模块的指标主要是模块的直接效果指标。比如，模块本身的点击率，模块本

身的驻留时间，模块上一些其他的用户活跃指标等。这些都是最低层次的模块级别的指标，和

产品、工程团队的运作有密切联系。

第二个层次的指标是从单个模块上升到一个页面。这个时候，就不仅需要理解单个模块的情

况，还需要对整个页面上所有模块产生的功能群进行深入研究。在这个层次，产品功能群的思

考可能会涉及到多个产品团队，也可能会出现模块间冲突的情况。

比如不少现代搜索引擎的搜索页面往往都有广告模块。长期的经验告诉我们，广告模块的效果

和普通搜索模块的效果往往有相反关系的耦合。也就是说，普通搜索模块的效果提高了，广告

模块的某些指标反而可能下降。反过来，广告模块的效果提高了，也很有可能是因为普通搜索

模块的质量突然变差。因此，在有经验的产品团队面前，广告效果有意想不到的提高，