传动系统的方法：建立数据产品四部曲—设计伟大的数据产品.pdfVIP

传动系统的方法 ：建立数据产品四部曲—设计伟大的数据产品 在过去的几年中 ，我们已 看到了许多基于建立预测模型的数据产品。这些产品包括从气象预报到 推荐引擎 ，再到航班起降时刻预测服务 ，它的预测甚至比航空公司本身更准确 。 但是 ，这些产品 还只是进行预测 ，而不是告知对此预测结果该采取怎样的行动。预测技术可以是有趣的 ，而且具有 数学上的优雅性 ，但我们需要更进一步。这项技术可以帮助我们建立彻底改变整个行业的数据产品 ，有什么理由不去创建呢 ？ 作为介绍这个过程的开始 ，我们已 改变了保险业的四部曲方法。 我们把它称为传动系统方法 ，灵 感源于新兴领域的自驾驶车辆。工程师先是定义一个明确的目标 ：他们想要汽车在无人干预地情 况下 ，安全地从A点行驶到B点。成功的预测建模是这一解决方案极为重要的部分 ；但随着产品复杂 度的提高 ，它将不再是一个独立的部分 ，而是融入到产品衔接中了。一些使用谷歌的自动驾驶汽车 的人并不知道 ，使它它工作的是其背后上百成千种的数据模型和PB级的数据。数据科学家构建的产 品日益复杂 ，他们需要一个系统的设计方法。传动系统方法不一定是最好或唯一的方法 ；我们的目 的是在数据科学和商业社区之间建立起对话 ，以推动我们共同的目标。 基于目标的数据产品 还是算法搜索世界的王者。虽然它们的模型善于寻找具有相关性的网站 ，但是用户最感兴趣的结果 往往出现在搜索结果中的百页以后 ，用户几乎不可能访问到。之后 ，谷歌来了 ，以一个简单的问题 改变的在线搜索 ：用户搜索的主要目的是什么 ？ 传动系统方法的四部曲 谷歌认识到 ，搜索目的是为了找到最相关的搜索结果 ；对于其他公司 ，目的可能是增加利润、改善 客户体验、找到机器人的最佳路线 ，或是对数据中心进行负载平衡。一旦我们定义了目标之后 ，第 二个步骤是找出系统中可控的输入 ，即那些可以调整并影响最终的结果的杠杆因素。对于谷歌 ，他 们可以控制搜索结果中的排名。第三步是思考产生这样的排名需要什么样新数据 ；他们意识到 ，网 页被链接到哪些其它网页这一隐含的信息可以被用于此目的。只有这前三个步骤后 ，我们开始思考 建立预测模型 。我们的目标、可用的杠杆因素、已有的数据加上所需收集的额外数据 ，决定了我们 能建立何种模型。可控杠杆因素和所有不可控因素都将作为该模型的输入 ；模型的所有输出结果将 被结合起来预测我们目标的最终情况。 谷歌所用的传动系统方法中的第四步现在已是高科技历史的一部分了 ：拉里·佩奇 （Larry Page ）和 谢尔盖·布林 （Sergey Brin ）发明了图的遍历算法PageRank ，并由此建立了革命性的搜索引擎。 但是 ，你也不是非得发明下一个PageRank才能建立一个了不起的数据产品。我们将介绍一个系统 化的步骤四方法 ，没有计算机博士学位也照样能用。 模型装配线 ：最优决策祖的案例研究 从合适的预测模型优化出下一步该如何行动 ，这可能是公司最重要的战略决策。对于保险公司 ，价 格政策就是他们的产品 ，所以一个最优的定价模型之于它们就像是制造装配生产线之于汽车生产商 。保险业有几百年的预测 验 ，但在近十年 ，保险公司往往对于每名新客户该收取多少费用无法做 出一个商业上最优的判断。他们的精算师可以建立模型来预测客户发生事故的可能性和相关索赔的 预期值 ，但是这些模型并不能解决定价问题 ，所以保险公司只能在结合市场研究的基础上猜测一个 定价。这种情况在1999年因为一家名为最优决策小组而得到了改变。 作为传动系统方法的一个早期运用 ，O DG实践了其中的步骤四——它可以应用于很多广泛的问题。 首先 ，他们定义了保险公司的目标 ：最大化新顾客在一段年限内的利润净现值 ，但同时又要考虑到 一些其它因素 ，例如保持市场份额。就这样 ，他们发展出一个优化的定价过程 ，为保险公司增加了 数百万美元的保底利润。[ 注 ：本文的共同作者杰里米·霍华德 （Jeremy Howard ）创办了O DG。 O DG确定的那些保险公司的可控杠杆因素 ：向每个客户收取的价格 ，覆盖的事故类型 ，在市场营销 和客户服务上花的花费 ，以及如何应对其竞争对手的定价方案。他们也考虑了不可控因素 ：如竞争 对手的战略、宏观 济的情况、自然灾害以及客户的“粘性”。他们还考虑了需要什么样的额外的数 据来预测客户对于价格变动的反应。为了建立这些数据集 ，这就有必要持续几个月地随机改变成百 上千条定价策略。虽然保险公司不愿在这些真实客户身上做实验 ，因为他们显然会因此失去一些 客户 ；但在优化定价政策可能带来的巨大收益面前 ，他们还是动摇了。最终 ，O DG开始设计能够最