有货大数据演进之路-七牛云存储.PDFVIP

有货大数据演进之路 张春华 @ YOHO ！ 媒体 零售 生活方式 YOHO! @ 七⽜ 早批云存储⽤户之⼀ •  From 2014 ； •  截⽌⺫前存储总量近 100TB， 主要是图⽚、⾳视频等⼩⽂件 ； CDN⽤户 有货⼤数据系统V1.0 2013～2015 基于Hadoop生态体系，主要提供hive计算能力，支撑报表业务 报表 业务 hive 计算 存储 HDFS 数据源 点击流 业务数据库 基础设施 IDC + 物理机 问题 •  存储能力不足 •  海量的历史数据需要存储 •  磁阵的成本压力 •  计算能力不足 •  hive无法支持实时/近实时的业务需求 有货⼤数据系统V2.0 2015～2017.2 全面云化，Hive + Spark作为主业务引擎。 基于Spark streaming的实时系统支撑实时运营系统 业务 报表 运营 计算 spark Hive 存储 kafka hbase HDFS 数据源 点击流 日志 业务数据库 基础设施 云虚拟机 问题 •  计算存储耦合 •  灵活性：差 •  成本：高 •  Spark ：毫秒级、大吞吐场景下实时计算的挑战 •  基于hive的数据仓库无法满足近实时查询 有货⼤数据系统V3.0 •  2017.3～NOW •  计算-存储分离 •  Hive + MPP的混合数据仓库 •  基于Flink的Steaming计算: 基于event time处理 •  OLAP on Hadoop 业务 报表 运营 CRM 风控 推荐 数据仓库 流处理 OLAP Batch Green