大数据云平台之架构与实践-李威jordan.pdf

扫我加入 深圳课堂微信群 大 数 据 云 平 台 之 架 构 与 实 践 李威 Jordan Li 目录 ► 云计算与大数据 ► 云上大数据平台的挑战 ► 大数据平台系统架构 ► 最佳实践 大数据应用客户案例 ► 大型互联网社交企业—— User Profiling Hadoop | Spark | Kafka | Redis | Mongo … ► 大型互联网金融企业—— 风控分析 Spark Streaming | HDFS | Storm | HBase | Kafka | Flume … ► 大型传统金融企业—— 日志挖掘 Hadoop | Hive … ► 大型政府部门—— 海量信息检索存储 Elastic Search | Kibana | Hadoop … 云计算与大数据 Big Data Requires Elastic, Flexible Infrastructure ► 大数据解决方案最大、最重要的决定是平台的选择 Hadoop | Spark | Hbase | GreenPlum … ► 根据实际需求选择平台 实时处理 | 离线处理 | 结构化数据 | 非结构化数据 | CRUD | 事务性 | 数据量大小 ... ► 平台的能力 能满足实际需求的平台才是好平台 ► 业务的不确定性 Relative scale, not absolute scale The world is changing! 云计算与大数据 Don’t try to do it yourself. Let us handle it. ► 自动化运维 一键部署 | API 调用 | 定时器 | Auto Scaling | 监控告警 ► 弹性、敏捷、灵活 纵向、横向伸缩 | 分钟级别 | 网络/存储/计算引擎切换 | Service Orchestration ► 稳定、高性能与安全 系统优化，平台配置优化 | 私有网络，防火墙 | 高度自动化是一个渐进的过程 目录 ► 云计算与大数据 ► 云上大数据平台的挑战 ► 大数据平台系统架构 ► 最佳实践 挑战 Virtual Machines Containers Unikernels ► 稳定性 VM Container VM LibOs App1 App2 App1 q HA / 灾难恢复等 LXC