为什么数据分析师需要懂算法？.docVIP

为什么数据分析师需要懂算法？ / 通过和一些朋友交流，发现目前一些数据分析师，其实不是很清楚机器学习可以如何应用于业务，也不清楚自己到底要不要去学习算法知识。实际业务中一些复杂算法场景例如商品推荐、内容推荐、匹配策略等，其实都需要数据分析师做大量的探索验证工作。 分析师前期可以为建模指导方向，中后期也为模型的优化提供一些新的思路与数据洞察，此外用算法还可以大大提升分析效率与分析科学性。今天，就让我们详细的来了解一下数据分析师与算法的前世今生。 本篇目录： 对算法的一些理解 哪些场景下需要用到机器学习算法 算法的产出物及形态，如何应用于业务 为什么数据分析师需要会机器学习 数据分析师与算法工程师的职责差异 实际业务中如何分工配合可以效用最大化 数据分析师应该掌握的程度 一、对算法的一些理解 在讲分析师与算法之前，先来理解一下什么是算法（Algorithm），专业术语在很多书籍、文章里面都有分别的定义，通俗一点理解，大致上可以认为算法是为了解决某个问题的固定化计算方法与步骤。 拆解一下上面这句话： 目的：为了解决某个/某类问题，需要在这之前了解到背后的业务背景、关联场景； 方法：通过计算来实现，也就意味着需要具备具体的、可量化的信息输入，且可计算，而非不可执行的概念体； 步骤：有先后顺序，先做什么然后做什么最后做什么，每个过程之间还必须具备可行性，执行次数也一定是有限的； 结论：是否能够解决这个问题，效果如何，最终必须得有一个产出物。在算法之外，还有几层扩展； 决策：根据一个或者多个结论进行判断，这个过程是不是符合预期的，如何调整优化，是否可直接应用于业务； 应用拓展：除了解决最初的那个问题外，还有哪些同质类型的问题也可以得到解决，也就是场景的拓展。 具体的算法搭建过程就不说了，在不少工具书、专业书、案例书里面都有非常详细的讲解。回到问题上，什么场景下需要用到算法去解决问题。举几个生活里面的例子： 譬如说做菜：为了能吃的更好点，选择一本合适的食谱来准备食材、辅料，根据步骤和技巧“小火炖、中火炸、大火炒”，“一炒、二炖、三焖、四涮”，起锅装盘； 譬如上学：从家门出发，直走50米，第一个十字路口右转，继续直行100米，到达公交站，乘402路车，5站后下车，沿人行道继续行走200米，左转，再直行150米，最终到达校门。 这些都可以理解为算法，生活里面比比皆是，不过多数情况下成为了我们习惯的一种方式罢了。 二、哪些场景下需要用到机器学习算法 在很多场景下都需要用到机器学习算法，换一个角度，来说说我对应用场景的理解。本质上说，我过去的一些项目里面通过算法解决的问题大致上可以分为这么几类 1. 供需匹配的问题 量变产生质变，过去的十年时间，无论是在B2C，还是B2B、S2B、B2G，我们去建立用户画像做精准营销、做好推荐系统实现千人千面、对用户进行分层分类打标签、给用户的评价信息划分情绪好坏等等，都是为了更好的去做供需关系管理匹配。 视频个性化推荐是供需管理，商品个性化推荐是供需管理，网约车是供需管理，供需管理即“?谁可以找谁消费到一件相对比较合适的东西（内容、物品、信息、线索、商机），在这个过程中还可能需要通过哪几个谁才能打通彼此之间的联系。” 衍生出的问题立马就出现了，如何从千万级甚至亿级的商品里面去做匹配召回，如何从万亿级的会话内容信息中定位线索，如何明确哪些人才是我们目标的特定人群，如何把相应的信息通过什么渠道push到最合适的人，如何去做到好的触达，又如何去回收这些人收到信息之后的反馈效果。 如果只有几千条数据，一个团队里面10来个人，每个人分个百来条逐一去确认，则不需通过分析也能实现，耗费的只不过是人力上的一些时间投入。 所以日常对接需求过程中，接到一个需求时，一般会先进行资源匹配评估，这个事情能不能通过叠人力的方式解决，如果通过线下大概需要花多少人力成本，用一些小样本数据的归纳总结能不能得出通用的规则。做调研然后去推行的成本有多少，产出有多少。 再之后才是通过算法方案去解决，投入的工程师要几人月，设备资源性能上的要求，能够持续多久，可以影响的层面，以及最后的产出估测。最后再综合考虑，这个投入产出比的情况下，到底是通过小数据分析去形成规则，还是需要通过算法去挖掘特征，以及方案的可持续性。 大公司里面资源较丰富，往往这两者会并行。从某种程度也就严格的区分了数据分析和数据算法间的职责边界；而中小企业资源有限，可能造成分析即算法的现象。 我们发现，供需匹配过程中涉及的算法，基本都是有监督算法，不论是人群分类、商品召回、需求匹配，都可以通过过去的经验进行一个初步标签建立，然后逐步去对划分的准确性进行校验和优化。 值得一谈的是，在供需的某些场景过程中会并存很多涉及物联网的知识，譬如物流调度、配送匹配、路线优化、仓库建设等等供应链优化方面的事