大数据构建京东智慧物流系统.docxVIP

PAGE 1 PAGE 1 大数据构建京东智慧物流系统  青龙系统从2012年研发版本1.0，到目前的6.0的演进过程中，我们也逐步熟悉到，以大数据处理为核心是构建智慧物流的关键。  2015年，在国务院提出“互联网+”行动战略之后，以“互联网+物流”的智慧物流概念也被不断提及，但是，由于物流系统本身的复杂性和业务差异性，毕竟如何打造智慧物流系统，鲜有落地的方案。  许多人对京东物流的高效印象深刻，用户体验受到广阔用户的认可，但是，在这些体验背后隐蔽着昂扬的运营成本。青龙系统作为支撑京东物流的核心系统，在这个过程中，也渐渐为外界瞩目，日处理数百万订单，大促销期间上千万单，数十万操作人员在这个物流网络中服务，智慧化物流系统成为迫切需求。  青龙系统从2012年研发版本1.0，到目前的6.0的演进过程中，我们也逐步熟悉到，以大数据处理为核心是构建智慧物流的关键。  “大数据”的经典定义是可以归纳为4个V：海量的数据规模(volume)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value)。从青龙系统看，每天处理亿级数据，具有海量信息的数据规模；支持快速的数据流转，实现了物流各个节点实时数据监控优化；系统处理各种各样的信息，包含了结构化和非结构化数据；数据具有极大的价值，推动系统成本和效率优化1%，可以节省上亿成本，具有了显著的大数据特征。  如何从大数据到智慧系统  我们在实战中熟悉到，把大数据转化为智慧系统，需要具备两个基础：  首先是业务数据化，并且具有数据质量保障。京东物流在青龙系统的支撑下，实现了全部物流操作的线上化，也就是数据化，并且，对每个操作环节都是可以进行实时分析，这就奠定了很好的基础。假如业务都是线下操作，或者系统无法精确准时收集数据，那么，即时数据量够大，缺乏关键数据和数据不精确，也会给大数据处理带来很大的困难。  第二基础就是大数据处理技术，包括收集，传输，存储，计算，展示等一系列技术。青龙系统在数据处理技术上也踩过许多坑，最早我们用数据库生产库做一些数据的分析，发觉很快性能就不行了，因为数据分析SQL一执行，生产库性能急剧下降，然后开始利用读库，并结合MQ，也就是操作数据库的时候，会发出一个MQ，数据分析处理系统接收MQ重新解析，但是，也不能很好解决问题。后面，我们总结发觉一点，作为传统的技术人员，我们是试图用OLTP的方法来解决OLAP的问题，这在方向上就存在问题。  上面的图是我们的总结，当你做一个大数据应用，首先要分清你自己的应用场景。至少有两个维度：一个是实时性的维度，你做大数据分析是秒级的还是离线的，也就是24小时以后拿到也没问题。另一个是全都性维度，你对全都性究竟是什么样的要求，要求是百分之百全都的，另外许多场景不要求全都，许多的消息推送不要求全都。  从这两个维度来看可以划分四个场景，强实时性强全都性、强实时性弱全都性、弱实时性强全都性、弱实时性弱全都性。究竟你的应用落在什么样的场景，你要分清晰。  你假如问你的运营团队和业务团队，他确定说要百分之百全都，确定要实时，不仅是分钟量级的，最好是秒级的，甚至比秒级还小，完全一样的。你可以告知他，要实现这个没问题，但你要实现这个对应的代价特别大，你用代价换取价值是不是足够。  另外还有一个维度，就是数据量。你的数据究竟是什么样的量级，GB、TB，甚至是PB。从现在新系统发展来看，架构支撑业务两年发展已经足够了，要对两年内数据量有一个预估。  这几个维度确定以后，现在从ETL数据抽取到数据传输、数据存储，以及数据计算，技术相对比较成熟了，你可以选择合适的技术。  下面是京东大数据平台的系统架构。  这个系统对于实时数据，离线数据，都有完整的解决方案，对于青龙系统来讲，可以基于公司大数据平台，进行对应的实时数据处理和离线数据分析。大数据平台技术栈许多，有些公司可能不会自己开发，但它特别重要，因为它可以从技术上供应基础数据质量保障。假如数据质量得不到保障的，那你后面做所进行的分析就是不靠谱的，数据平台本身数据质量就很差。  另外假如你对全都性要求很高，它可能10%的信息都丢失了，假如你对实时性要求很高，它可能延迟好几个小时，在这种状况下数据分析应用不可能做好。  在牢靠的数据源和处理技术基础上，就可以逐步构建智慧物流系统。  第一步主要是通过大数据技术精确准时还原业务。也就是我们可以准时精确采集业务运行的数据，并分不同层次需求展示出来。  上图是闻名的南丁格尔的玫瑰图，从这张图