物流大数据处理-解析.ppt

目 录 你知晓大数据在哪些方面有应用？ 物流的概念（Logistics） 来源于二战军事（运输管理、仓储管理和库存管理 ） 物流管理：除运输外的需求预测、采购、生产计划、存货管理、配送与客户服务等 物流信息技术 物流信息技术 物流信息技术 研究点： 物流信息平台的压力测试 物流信息平台大数据在亚马逊平台的性能分析 …………………… Thank You! 对外数据产品-淘宝指数 对外数据产品-量子恒道 数据嵌入产品中 ? 搜索匹配、排序 ? 广告匹配、排序 ? 推荐 ? 商家后台数据 ? 营销效果 –直通车、展示广告、淘宝客 内部数据服务 ? 淘数据门户 –用户分析 –商家云图 –活动效果分析 –例行数据报表 ? 在云端 –低门槛接入分布式集群 –周活跃用户1000+ 内部数据服务 ? 多维数据自助查询平台 –数据仓库和索引技术结合 –随意组合维度 –秒级返回 ? 日常数据需求管理 –数据接口人 数据工具 ? 天网调度 ? 元数据管理 ? 数据地图-定位、血缘分析 ? DataX异源数据传输 ? TimeTunnel实时日志传输 ? 监控报警 ? 生命周期管理 新的探索 ? 金融服务 –小微企业贷款 –个人消费贷款 ? 全网精准营销 –DMP、DSP、AD Exchange、RTB ? 无线与PC数据打通 ? 数据交换 一些观点 ? 数据处理是手段，数据应用是根本 ? 云系统运维能力是核心竞争力 ? 整合关联让数据价值指数级增长 ? 数据可视化很重要 ? 想大做小，迭代优化 ? 关于隐私 –隐私和服务的权衡 –控制使用比控制收集更有效 –不针对具体个体 初识物流 物流信息技术 物流信息平台 概念 发展历程 条码技术 射频技术 EDI技术 GPS技术 GIS技术 物流大数据来源 被动 主动 自动 海量 并行 爆发式增长 物流大数据处理过程 处理过程 挖掘 统计/分析 导入/预处理 收集 识别、定位和感知 整合：用服务去换取管理 科学拆分 数据的数量优于质量 数据相关性优于数据逻辑性或因果性 公共平台解决网络（资源）与流程（服务） 电商物流企业 （物流仓储平台建设 、物流信息平台建设 ） 启示 发展趋势 大数据能否预言足球盛况？ 拭目以待 * * * * * * 数据智能 分布式 存储与计算 大规模人工 辅劣标注系统 人计算 向量引擎 Machine Learning 算法 Web Contents 流式处理 Logs PubSub 推荐系统 智能交通 Apps 自劢评估 商业智能 决策辅劣 关于京东 营销 管理 供应商 管理 仓储 管理 财务 系统 客户 数据 网站 前台 关于京东 ? 京东拥有覆盖企业全部价值链的稳定系统，通过持续优化打造开放平 台，全面提升用户体验。 配送 管理 大规模数据处理更加容易 ETL/企业数据仓库 （Hive/Pig/MR） 数据挖掘/建模 （R、Mahout） 搜索和推荐 日志存储 … ? ? ? ? ? “Next Click” 运营智能 风险控制 互动分析 ? 一些场景需要进一步的考量 MapReduce批量处理 = 延迟较长 无法满足用户的实时需求 调度开销较大 批处理与分析 近实时分析 实时流处理 实时性 离线 准实时/实时 实时 处理时间 分钟到小时 毫秒到秒 持续不断 数据量 TB-PB GB-TB 持续 编程模型 MapReduce Queries DAG 用户 分析师/开发者 分析师/开发者 开发者 成本 中 高 高 应用 ETL/数据挖掘/ 预处理? 数据决策分析 /? ? 大数据包括三部分 服务 模型 性能 大数据实时处理的思考 ? 模型 – 海量数据 ? 数据量大 ? 并发数高 – 多个数据源整合 – 预定义好的数据模型 ? 去规格化 – 数据任务依赖关系简单 – 推和拉的问题 ? 拉比推好 大数据实时处理的思考 ? 性能 – 高并发需求 – 大容量需求 ? GB–TB 级后台数据处理吞吐 – 高速度需求 ? 从数据产生到处理完成结果延迟要求到秒级 ? 计算需要在短时间内完成 – 批处理预算 – 硬件支持 ? 内存、CPU、网络 – 容错 – 水平扩展 大数据实时处理的思考 – – – – 关联获取价值，维度按需定制 互动分析、报表等完成价值交付 与其他在线生产系统进行数据对接（数据反哺） 计算即服务 大数据实时处理的思考 ? 服务 生产数据库 企业数据仓库 大数据实时处理架构 财务数据集市 采销数据集市 罗盘数据集市 分析挖掘 数据集 数据 缓冲区