【物流大数据实践】基于阿里云Maxcompute实现物流跟踪.docxVIP

【物流大数据实践】基于阿里云Maxcompute实现物流跟踪本文章来自于阿里云云栖社区要：?摘要：目前我国物流业保持较快增长，但还是存在一些问题：物流成本高、效率低，条块分割严重（自营物流、规模小、技术落后、标准不统一）、基础设施相对滞后（物流基础设施之间不衔接、不配套），对订单创建到用户签收整套完整流程缺乏完善的监控和预警手段.免费开通大数据服务：/product/odps摘要：目前我国物流业保持较快增长，但还是存在一些问题：物流成本高、效率低，条块分割严重（自营物流、规模小、技术落后、标准不统一）、基础设施相对滞后（物流基础设施之间不衔接、不配套），对订单创建到用户签收整套完整流程缺乏完善的监控和预警手段.基于建设统一物流平台的基本要求，用户希望打通各大系统，能够跟踪所有订单在物流系统中的流转过程、处理状态等信息，具体如下需求：1：订单分为5个阶段，订单处理、发运处理、拣货出库、配送和签收2：每个阶段的状态判定：未处理、一般报警、严重报警、完成3：超期天数：需要判定基于订单、装运单的超期天数4：进度：当前阶段的进度百分比? ??? ? ? ? ? ? ? ? ? ??由上图我们能够分析得出此需求可能涉及多个系统的数据整合，其中订单来源于ERP系统，发运处理和拣货出库数据来源SAP系统，而配送签收就需要使用到GPS等外部系统数据。实际场景中订单、交货单、运单分别来自不同的数据库，所以整体工作项包括：1、首先要进行数据的整合上云 ?2、利用阿里云大数据计算服务进行数据处理和预警判定产生预警结果3、将预警结果同步到本地预警数据库中4、本地搭建订单预警应用使用预警数据库进行可视化展示技术架构主要处理流程：开发环境：windows7、Python、Data IDE工具：DataX、Data IDE、Eclipse【正文】一、数据同步上云安装Python环境下载datax客户端创建项目创建表编写json配置文件同步数据到odps???????Python地址：/downloads/Datax地址：http://datax-opensource.oss-cn- /datax.tar.gz1、基于阿里云大数据平台创建数据同步表1.1.首先您需要阿里云账号并已开通大数据计算服务，如果您已开通大数据计算服务，则直接进入控制台点击“大数据开发套件”进入Data IDE环境。1.2.点击管理控制台，进入管理控制台页面，点击创建项目，新建MaxCompter项目1.3.点击进入工作区，进入到odps工作空间，工具栏点击【新建】，选择新建表对应本地数据订单抬头表，将需要进行数据处理的字段提出来，新建表sql如下注：登录阿里云市场点击【我的头像】点击【管理控制台】下的【大数据开发套件】，进入项目管理找到自己新建的项目点击【进入工作区】，在IDE工作环境中标题栏中选择【数据管理】。在左边标题栏下点击【数据表管理】，加载出数据管理页面。找到我【管理的表】，点击查看? ? ? ? ? ? ? ? ? ? ? ??以上就完成了Maxcompute建立项目和建表的工作内容。2、配置DataX数据同步配置文件? 首先需要下载的datax（datax是不同类型的数据库中间交换数据的工具）以上配置：MysqlReader通过JDBC连接器连接到远程的Mysql数据库，并根据用户配置的信息生成查询SELECT SQL语句，然后发送到远程Mysql数据库，并将该SQL执行返回结果使用DataX自定义的数据类型拼装为抽象的数据集，并传递给下游Writer处理。odpsWriter?通过?DataX?框架获取?Reader?生成的协议数据，根据你配置的?writeMode?生成。打开cmd.exe命令行窗口??输入datax文件地址我的是：D:\programFiles\file2\datax\bin执行命令?datax.py ??..\job\t_oc_hostorderline.json.?执行成功注:datax?在window下乱码异常解决方式：打开cmd.exe命令行窗口，通过chcp命令改变代码页为65001chcp 65001在命令行标题栏上点击右键，选择“属性”-“字体”，将字体修改为True Type字体“Lucida Console”,然后点击确定将属性应用到当前窗口3、查看云上表数据????登录阿里云市场点击【我的头像】点击【管理控制台】下的【大数据开发套件】，进入项目管理，找到自己新建的项目点击【进入工作区】，在IDE工作环境中标题栏中选择【数据管理】。在左边标题栏下点击【数据表管理】，加载出数据管理页面。找到我【管理的表】，点击查看双击【t_oc_hostorderline】进入表的详情页面在表的详情页面点击【数据预览】。下面出现本地数据，说明数据本地