物流大数据处理.pptVIP

目标 ? 1000PB ? 10 亿维特征训练 ? 100 维条件查询 ? 流式 ? 触发式 海量 高维、多维 实时 更大、更复杂、更快 ! 数据智能 分布式 存储与计算 大规模人工 辅劣标注系统 人计算 向量引擎 Machine Learning 算法 Web Contents 流式处理 Logs PubSub 推荐系统 智能交通 Apps 自劢评估 商业智能 决策辅劣 关于京东 营销 管理 供应商 管理 仓储 管理 财务 系统 客户 数据 网站 前台 关于京东 京东拥有覆盖企业全部价值链的稳定系统，通过持续 台，全面提升用户体验 。 配送 管理 大规模数据处理更加容易 ETL/ 企业数据仓库 （ Hive/Pig/MR ） 数据挖掘 / 建模 （ R 、 Mahout ） 搜索和推荐 日志存储 … ? ? ? ? ? “Next Click” 运营智能 风险控制 互动分析 ? 一些场景需要进一步的考量 MapReduce 批量处理 = 延迟较长 无法满足用户的实时需求 调度开销较大 批处理与分析 近实时分析 实时流处理 实时性 离线 准实时 / 实时 实时 处理时间 分钟到小时 毫秒到秒 持续不断 数据量 TB-PB GB-TB 持续 编程模型 MapReduce Queries DAG 用户 分析师 / 开发者 分析师 / 开发者 开发者 成本 中 高 高 应用 ETL/ 数据挖掘 / 预处理 ? 数据决策分析 /? ? 大数据包括三部分 服务 模型 性能 大数据实时处理的思考 ? 模型 – 海量数据 ? 数据量大 ? 并发数高 – 多个数据源整合 – 预定义好的数据模型 ? 去规格化 – 数据任务依赖关系简单 – 推和拉的问题 ? 拉比推好 大数据实时处理的思考 ? 性能 – 高并发需求 – 大容量需求 ? GB – TB 级后台数据处理吞吐 – 高速度需求 ? 从数据产生到处理完成结果延迟要求到 秒级 ? 计算需要在短时间内完成 – 批处理预算 – 硬件支持 ? 内存、 CPU 、网络 – 容错 – 水平扩展 大数据实时处理的思考 – – – – 关联获取价值，维度按需定制 互动分析、报表等完成价值交付 与其他在线生产系统进行数据对接（数据反哺） 计算即服务 大数据实时处理的思考 ? 服务 生产数据库 企业数据仓库 大数据实时处理架构 财务数据集市 采销数据集市 罗盘数据集市 分析挖掘 数据集 数据 缓冲区 企业消息总线 流式计算集群 实时数据 同步 模型 日志 系统 高速存取集群 在线实时计算集群 持久 化 PUSH PULL/PUSH 订阅 ELT ELT 高速存取集群 ETL 报表应用 分析应用 推荐应用 ... 数 据 推 送 中 心 近实时分析集群 近实时计算 实时计算 在线服务 离线计算 应用 分布式消息系统 缓存集群 – – – – 日志（用户行为、 ? ） 批量同步 消息队列 ? ? 开源技术 – – – – Flume Scribe Kafka ? 大数据实时处理技术 ? 数据传输 ? Apache 项目： / ? 一个分布式的发布 / 订阅消息系统 ? 术语 – Topics ? 消息分组 – Brokers ? 消息存储 – Producers ? 消息生产者 – Consumers ? 消息消费者 Kafka – – – – – 大数据实时处理技术 ? 几个点 Sink Agent Agent Storm 等 Broker(Topic1) Broker(Topic2) HDFS Zookeeper 解耦 缓冲 容错 透明 跨数据中心数据分发 Flume Kafka – – – – – – Hadoop HBase Cassandra MongoDB Redis ? ? 数据库 Sharding ? 合适的就是最好的 大数据实时处理技术 ? 存储 – 大容量低速存储 – 高速存储 – KV 存储 ? 开源 NoSQL 数据存储 – – – – 可加计算、不可加计算 实时数据的实时计算 实时数据的计算 数据的实时计算 ? 开源计算框架 – Storm – Impala – ? 大数据实时处理技术 ? 计算 大数据实时分析 明细事实表 聚合表 1 聚合表 2 聚合表 3 ? 基本概念 – Streams （流） ? 元组序列 – Spouts ? 流的源头 – Bolts ? Functions, Filters, Joins, Aggregations – Topologies ? 优点 – 可扩展、容错、易用 ? – 在内存中执行 流式计算 Storm ? Twitter 开源的分布式处理框架 Spouts Bolt Topologies ? Nimbus – 主控节点，用于任务分配，集群任务监