IAS2017- 58速运智能派单系统的架构演进.pptVIP

58速运 归一化分桶 XGBoost 特征组合 独热编码 数据切分：训练集+测试集 归一化分桶 逻辑回归+L1 性能检测 反向编码 特征 处理 数据 收集 模型 训练 订单信息 用户信息 司机信息 客司关系信息 订单推送、司机接单的场景信息 智能模型训练 58速运 用户下单 系统推送 司机抢单 指派司机 订单完成 决定订单价格 决定订单价格 决定推送顺序 决定推送顺序 决定司机补贴 决定司机补贴 决定中单司机 决定中单司机 决定用户优惠 用户留存模型 计算用户留存价值 预测用户是否流失 基于预算确定优惠 订单完成模型 获取司机质量度 预测司机完成概率 综合决定中单司机 司机补贴模型 回归模型确定补贴 预测订单接单人数 动态搜索微调补贴 接单意愿模型 预测司机接单意愿 捞取附近司机 确定推送顺序 订单定价模型 LR确定是否调价 供需触发商圈定价 SVM确定调价幅度 订单-模型运用 58速运 智能时代 * 58速运 智能派单系统架构演进 胡显波 58速运 后端架构负责人 8年的架构和团队管理经验，涉及CRM、互联网、同城物流等领域。 2014年初至今一直任职58到家，期间负责过58家政、58速运等业务。 在这3年当中见证了58到家一步步成长成为行业巨头，也见证了技术部从30人至500+人，从跟不上业务发展到驱动业务发展的过程。 58速运 目录 创业之初 高速发展 智能驱动 总结 搬家 货运 58速运 2014年 2015年 2016年 58速运 GOGOVAN 货的搬家服务上线 企业服务上线 平台日订单突破20万 2017年 100个驻点城市，100万注册司机，累计服务货运用户过亿次 覆盖中国及东南亚地区的同城货运平台 58速运 创业之初 -快速迭代试错 58速运 58速运-创业 家政 速运 美甲 平台 jz sy mj pl only one 快速孵化多个业务(20+)； 节奏：3周内上线，含用户侧APP、商家APP、管理后台 58速运 APP PC 其他.. OrderPushJar 司机1 司机2 司机3 MQTT 石器时代 58速运 订单调度（初级）： 简单的距离推送 抢单即中单 每单都有补贴 58速运 痛点： 系统不稳定，一个慢SQL，全业务受影响。 多业务并存，订单表索引多，性能下降。 订单字段冗余，新增和修改字段非常痛苦。 业务增长迅猛，数据库已成为瓶颈。 58速运 第一次技术演进 迁库、集群解耦 58速运 思考： 停服迁移？NO！！！ 方案： 将速运的表单独同步到速运独立库 数据双向同步（特殊的订单ID保证主键不重复） 数据校验（数据写入日志，数据校对）。 速运1 suyun order all order 速运2 其他业务 58速运 速运 order 迁移后： 按数据内容分库，解耦合 按业务量调整数据库配置，减少成本 订单 结算 配置 轨迹 settle common snap 58速运 高速发展 -稳定高效 58速运 争分夺秒 补贴大战 58速运 快速迭代多人维护一套工程，效率差，BUG频发 业务高速发展，数据量急速增长 运营分析需求越来越复杂 补贴大战，大量无效补贴，运营成本高 高速发展中的问题： 58速运 第二次技术演进 奔跑中的火车换轮子 服务化解耦 缓存分库分表-提升系统性能 大数据平台-复杂需求分析 58速运 其他.. OrderCenterServer OrderPushServer TCP GeTui MiPush 司机1 司机2 司机3 铁器时代 APP PC TaskServer SettleServer PayServer ...... 58速运 订单调度（探索）： 按距离、象限推送 多司机择优（好评、完成率） 多轮推送、补贴随抢单人数调整 58速运 项目之初 读写分离 水平/垂直拆分 分库+读写分离 分库分表 58速运 范围法： 优点：切分简单，扩容简单。 不足：Key必须增长，负载不均匀。 哈希法： 优点：切分简单，负载均衡。 不足：扩容麻烦，平滑迁移是需要解决的困难点 水平拆分 58速运 部分查询变慢了 非patition key查询，需要遍历全部库。 运营需求无法实现 各种维度统计，没办法联表查询。 拆分后问题 58速运 前端需求 运营需求 按照年龄、性别、头像、登陆时间、注册时间来进行统计分析。 问题分析 1% 99% uid login_name phone email xxxxx 任何脱离业务的架构设计都是耍流氓