阿里巴巴离线大数据处理平台概述.pdf

阿里巴巴离线大数据处理平台概述阿里巴巴离线大数据处理平台概述 汤子楠 个人介绍个人介绍 汤子楠 数据平台事数据平台事业部部 ，，产品产品经理理 – 2007~2010 • 移动互联网移动互联网 ，触屏交互触屏交互 – 今至今 • 云计算，大数据 2 提纲提纲 大数据时代 阿里巴巴数据事业部 离线大数据处理平台离线大数据处理平台(ODPS)(ODPS) 我们面临的主要问题我们面临的主要问题 ODPSODPS部分功能概览部分功能概览 结语结语 大数据时代大数据时代 4 大数据时代的挑战大数据时代的挑战 • 社交网络、用户行为、购买关系 数据关联性 • 企业内外IT系统的整合 • 数据规模爆炸式增长 • 结构化与非结构化数据并存结构化与非结构化数据并存、噪声增多噪声增多 处理能力 • 组合离线、在线、流式等多项计算能力提供解决方案 • 在大数据上应用传统统计学和数据挖掘算法 • 用户隐私保护、商业数据泄漏、复杂的访问控制需求 数据安全 • 企业发展的达摩克利斯之剑企业发展的达摩克利斯之剑 • 如何利用大数据盈利 商业模式商业模式 • 数据驱动的新业务模式与企业传统业务模式的冲突 5 阿里巴巴的大数据产品探索阿里巴巴的大数据产品探索 淘宝贷款淘宝贷款 • 解决小微企业贷款难的问题： – 金额高 – 流程长 – 授信难 – 周期长周期长 • 完全以数据驱动的产品 •• 对既有数据进行二次挖掘对既有数据进行二次挖掘 • 颠覆原有业务模式 •• 规模优势规模优势 7 阿里巴巴大数据事业部阿里巴巴大数据事业部 离线存储 在线存储 实时计算 流式计算 与计算 与计算 任务调度 数据开发与数据 数据同步数据同步 数据质量监控数据质量监控 与管与管理 可视化视化界面 服务化务化 元数据管理