构建云服务大数据平台.pptx

构建云服务大数据平台 1 2 3 挑战 解决方案 收益 技术挑战 直播实时性高、互动性强，对平台的稳定性、视频流的流畅度都有非常高的要求 系统监控 问题定位 性能优化 异常报警 流量预警 及时响应 快速定位 终端性能 视频优化 运营需求 内容推荐 用户运营 主播价值 市场营销 平台营收 解决方案 ELK Mysql+Web 大数据平台 面临困难 工具繁多 如何选型 海量数据 如何保证稳定 如何保证数据安全 成本紧张 时间 紧迫 人员 不足 经验 不足 经费 有限 借助阿里云构建大数据平台 运维成本低 使用门槛低 系统稳定 高安全性 非常灵活 几乎零运维成本 支撑海量数据 几乎无故障 工作人员响应很及时 组件即开即用 用最少的资源去试错 表级权限管理 非研发人员也能独立 完成数据报表需求 全民大数据架构 日志规范 数据采集 埋点 用户 事件 载体 规范先行 信息齐全 数据采集 接收服务器 Golang，单机QPS 2W+ 逻辑简单，存本地文件 适当合并请求，支持protobuf，gzip压缩 终端断网时暂存本地，等待离线上传 数据采集 实时采集 Logtail 高效稳定，资源占用少，几乎不会影响线上服务 相比 Filebeats、Flume等开源工具，性能更优 配置简单，支持JSON、正则等多种模式 部署方便，立即生效 数据采集 迅速定位用户行为轨迹 日志服务提供海量日志分析能力，可进行业务监控 实时查询 数据采集 投递到 MaxCompute 供离线计算 StreamConpute可以直连日志服务，以监控业务，对直播视频实时护航 数据投递 直播视频实时护航 视频流是直播平台的核心服务，视频流的稳定性直接影响到用户体验，继而影响平台收益 全链路实时监控 监控弹幕信息 迅速响应 快速定位 多方积极配合 切换节点 切换线路 完善监控 完善流程 数据体系 MaxCompute 提供一站式数据仓库解决方案 数据集成 DataX 结合 tunnel 简化数据同步 权限管理 通过ACL和角色管理，实现数据隔离 数据清洗 任务调度 可以设置周期时间 可以定义依赖关系 元数据管理 DataWorks 数据管理提供完整的元数据信息 2. 爬取 DataIDE 接口获取任务元数据 1. 使用开放接口获取表结构信息 表基本信息 存储信息 血缘关系 通过爬取数据，完善元数据管理 责任人信息 数据分析挖掘 支持Python直连 PyOdps Hive2.0 Hive- proxy ROdps 查询效率高 使用方便 支持更多开源工具 支持R直连 数据报表 图表展示丰富 通过Hive-proxy连接 MaxCompute 开源数据分析工具 Zeppelin 灵活易用 Hive-proxy 实时报表，业务监控 通过Log-grafana-plugin 连接阿里云日志服务 让企业专注业务 用户分群 精细化运营 主播挖掘 内容推荐