【PDF】阿里云数加大事记_阿里巴巴技术文档.docx

2016杭州·云栖大会

THECOMPUTINGCONFERENCE

阿里云数加大事记

——大数据操作系统，七年磨一剑

陈鹏宇(不老)

AlibabaGroup主办单位：

AlibabaGroup

主办单位：

战略合作伙伴：

2016杭州·云栖大会云栖社区THECONPUTINGCONFERENcya,

目录

content

①数加进化史：内部业务锤炼

②数加对外开放：普惠大数据

③与合作伙伴共赢

扫码观看大会视频

2016杭州·云栖大会云栖社区

THECOMPUTINGCONFERENcya,

2009年，马云说阿里巴巴是一家数据公司

扫码观看大会视频

2016杭州·云栖大会云栖社区THECOMPUTINGCONFEReNc

七年前伴随数加一起成长的业务：阿里金融(蚂蚁小贷)

0人工审批

0人工审批

1秒钟获贷

申请

准入资质评估个性化授信风险监控

Facts:

百万级客户

日均笔数过万

极低坏账率

数据

模型

阿里巴巴大数据平台

扫码观看大会视频

数据化运营的信贷流水线

数据仓库决策引擎

EDW算法部署访问接口

数据加工流水线

模型决策模型结果

数据加工模型运算

2016杭州·云栖大会云栖社区THECOMPUTINGCONFEReN

金融业务

贷款

在线系统

扫码观看大会视频

2016杭州·云栖大会云栖社区THECONPUTINGCONFERENcya,

阿里金融带来的启示：

从Data1.0(看数据)进化到Data2.0(用数据)

扫码观看大会视频

金融

2016杭州·云栖大会云栖社区THECOMPUTINGCONFEREN

客服

信用

安全

风控

营销

搜索

物流

一切业务数据化，一切数据业务化

云计算

大数据

扫码观看大会视频

阿里金融的生存状态：刀口舔血

2016杭州·云栖大会云栖社区THECONPUTINGCONFERENcya,

IOE+Greenplum+Hadoop+....

存储昂贵，可扩展性差。再过几年，IOE的成本就可以使得公司破产

数据孤岛

各业务部门的数据散落在多个集群，彼此之间数据不通，数据共享太难太难!

数据重复建设

由于数据不集中，导致数据被拖来拖去、重复存储和计算。光淘宝商品类目表就有70多张!

扫码观看大会视频

2016杭州·云栖大云栖社区THECONPUTINGCONFERENcya,

如何孵化更多阿里金融?

阿里巴巴大数据背后的挑战

■EB级的数据算不算得动?

■百万张表如何管理?

■数据质量之殇：一分钱一百万

■大集中的数据如何确保安全?

登月：史无前例的数据和应用大搬家

2016杭州·云栖大会云栖社区THECOMPUTINGCONFEREN

登月数据孤岛MaxCompute(原ODPS)

登月

数据孤岛

Hadoop,GP,Oracle,..

所有BU参与，历时一年半，耗费数万人天。

扫码观看大会视频

统一大数据技术平台

2016杭州·云栖大会云栖社区THECONPUTINGCONFERENcya,

1

2

3

统一平台，数据大集中

统一的存储，统一的计算引擎，统一的数据开发平台

资源共享，弹性分配

基于ODPS多集群技术，由数以万计的服务器提供超级计算能力，按需弹性分配给各数据开发团队

数据隔离，分权管理

基于ODPS多租户机制，各部门可独立管理自身的数据，独立做数据授权

扫码观看大会视频

2016杭州·云栖大会云栖社区THECOMPUTINGCONFEReN

安全的数据共享机制

(基于MaxCompute多租户数据授权模型)

部门1部门3部门5

部门2部门4

MaxCompute集群。多粗户

数据不搬家，可用不可见

扫码观看大会视频

阿里大数据体系架构

2016杭州·云栖大会云栖社区

THECOMPUTINGCONFERENCya,

金融前台

金融

业务

中台

公共数据服务

OneData

后台

公共技术平台

OnePlatform

客服

信用

安全

风控

营销

搜索

物流

公共数据产品和数