大数据实时处理技术以及其应用30.pdf

大数据实时处理技术及其应用 李松林 2013年4月 Agenda • 大数据的现状 • 业务场景思考 • 技术架构及其应用 • QA 关于京东 关于京东（续）  京东拥有覆盖企业全部价值链的稳定系统，通过持续优化打造开放平 台，全面提升用户体验。 网站 客户 前台 营销 数据 管理 财务 系统 供应商 管理 仓储 配送 管理 管理 大数据时代 • 3 V ：速度、容量、类型 • 数据的来源更加丰富 – 商品、订单、„ – 社交 „ – 营销 „ • 数据间的关联性更加复杂 – 人与人 – 商品与商品 – „ • 数据的价值 – 时效性 – 新商业模式 大规模数据处理更加容易 ETL/企业数据仓库 （Hive/Pig/MR ） 数据挖掘/建模 （R、Mahout ） 搜索和推荐 日志存储 … 一些场景需要进一步的考量 • “Next Click” MapReduce批量处理 = • 运营智能 • 风险控制 延迟较长 • 互动分析 无法满足用户的实时需求 • „ 调度开销较大 大数据包括三部分 批处理与分析 近实时分析 实时流处理 实时性 离线 准实时/实时 实时 处理时间 分钟到小时 毫秒到秒 持续不断 数据量 TB - PB GB - TB 持续 编程模型 MapReduce