一个大数据应用是如何炼成的精要.docx

一个大数据应用是如何炼成的？经历了多年的BI专题应用建设，有幸能在一个传统企业里探索大数据应用的建设过程，发现了很多不一样的地方，获得了不同的感受，在此以一个真实的案例的建设过程来品味其中的不同，也许能获得一些启示。作者：傅一平来源：与数据同行|2016-11-28 15:17?收藏??分享经历了多年的BI专题应用建设，有幸能在一个传统企业里探索大数据应用的建设过程，发现了很多不一样的地方，获得了不同的感受，在此以一个真实的案例的建设过程来品味其中的不同，也许能获得一些启示。课题是怎么来的?大数据应用最大的挑战，就是未来的不确定性，因此，传统公司动辄提前半年进行投资预算规划的方式是不太适合大数据的。做大数据几年，虽然说现在靠谱的大数据的商业模式也就在广告、金融、公益等方面，但真要下决心干某个大数据应用项目，其突发性、偶然性也非常强，因为对于大数据这个不成熟事物，无论是哪类公司，观望占了很大部分，对大数据的质疑有之，对于大数据安全的惶恐有之，对于合作模式的疑惑有之，更多的是不停的提出想法，不停的被否定。企业顺应大势成立了大数据团队，最痛苦的是不知道干什么，什么能干，什么不能干，也没啥可借鉴的经验，这跟当前创业公司也类似吧，不知道哪种模式是靠谱的。大数据几乎无所不能，但真要做起来，其实当前是能者寥寥，虽然趋势不可挡，但这一波搞大数据应用的，似乎大多要死在黎明前，一个概念从提出到最终普世大众，的确路慢慢儿修远兮。今天要聊的，是个公益课题，电话反欺诈，课题有一定的偶然性，安全部门提到了，问我们能不能做做看，感觉社会意义很大，比如腾讯有反欺诈盒子，360有拦截系统，本来某公司希望来做这个课题，但综合各方面因素，还是决定自己做。作出这个决策的实际一天不到，所以决定自己做，基于以下几个因素：一是这个大数据应用是有显著效益的。二是很好评估，不像很多BI应用产出无法评估，备受质疑。三是公司大数据平台建立了，提供了基础条件。四是自主建模团队建立了一年多了，不需要太依赖合作伙伴，因此也无需走那套冗长的招标流程，失败的代价也会小。团队如何组建?跟传统的安排不同，抛出这个课题后，主动接受这个挑战的，却是一名从一线刚过来的同事，面对不确定性，想来大多数有资历的员工也会犹豫老半天吧，这个也有一定偶然性。谷歌讲到了招聘人才，提到了无论多大代价也要找到创意精英，而做大数据，更加需要，需要主动型的创意精英，如果传统企业每个人仍然像传统那样局限在自己一亩三分地，很难有创新突破。很幸运，我们有一只黑天鹅。这种自愿组队模式的确有很大的好处，不按计划分配，尊重个人的意愿，更能激发人的主动性，团队组建也非常快，当天组队，第二天就开干，不存在类似项目的繁琐流程。虽然团队成立有一定的偶然性，但的确与与企业近年来在大数据组织创新、人才引进和人员流动上的努力分不开。假如没有大数据组织的成立，谁牵头都是个问题;假如不扔掉传统的包袱，很难有人专心做这个;假如没有企业内的人才流动和外部人才的引入，我们也干不了这个事。那么平台资源如何解决?在那个传统BI小型机时代，要做一个项目，抛开硬件资源环境的投资立项过程不说，光是一个新项目的集成估计也不止一个月。而这个项目不同之处是：一是基于大数据平台的租户能力，资源申请所见即所得，加上流程，一周内全部搞定。二是提供的组件较为丰富，特别是流处理资源的快速提供，为反欺诈的实时性提供了坚实的基础，换在几年前基本不可能。三是公司技术团队的保障，使得大多技术问题得以尽快解决，这也有赖于公司在大数据平台上的末雨绸缪。某人说过，凡是能用钱解决的问题都不是问题，但技术这个东西，虽然用钱的确可能解决，但对于大多数公司，钱都是个大问题，因此技术问题的解决又是何其艰难。比如我们碰到Kafka的一些问题，长期难解决，大多企业的机制流程恐怕也不允许随便开价100万招个技术专家来解决吧，传统企业的自我技术进步是部血泪史，外面的专家开价开不起，自己的专家起来了，又怕被人家挖。接下来谈谈开发历程。敏捷开发现在提得很多了，但感觉以前BI的建设就是最大的敏捷，最极致的情况，一个人搞定需求、开发、上线和维护，当然，现在软件工程的确还是要靠分工协作，需要一套方法论来解决显性迭代和维护配合的问题。大数据创新太特殊了，没必要循规蹈矩，抛开全部的束缚，一切要为速度让步。原因是失败可能性很大，速度越快成本越低，同时既然对于公司原有业务没有影响，因此可以放手去干，什么文档都可以不要，什么既定流程都可以不遵守，反正光脚不怕穿鞋的。因此，这个课题做的非常快。第10天，做出一个反欺诈简单模型，包括了案例分析、数据准备、数据建模及验证等，我们的观点是第一个版本可以粗糙一点，希望尽快验证这个事情的可行性，否则一切都是徒劳，因此就是讨论和验证数据。当时规定两个礼拜如果出不了结果，就会放弃，这类应用失败可能性