培训课件快速构建能承载海量数据的数字化体验监控平台.pdf

快速构建能承载海量数据的数字化体验监控平台 数字化体验监控技术让基础设施及运维领导人能够全面深入地监控和分析终端用户和社区 与数字化应用，服务和业务之间的交互细节 首先简单介绍一下什么是数字化体验监控。数字化体验监控（DEM，Digital Experience Monitoring ）是多个来源采集的数据集组合起，通过将可视化，分析和机器学习功能方 法，来实现可用性和性能监控的方法。通过观察和分析数据集，来优化应用和服务，达到 提升终端，人和设备的体验的目的。 通常，如果想构建一套能够承载海量数据的具有实时数据监控，日志搜索和分析功能的数 字化体验监控平台，一般需要完成以下几个步骤： 1. 首先需要开发包括移动端，web 端等在内的数据采集探针，收集包括首开，crash，http 性能，卡顿，日志等相关的数据，并进行上报； 2. 搭建一个收点网关，进行一些数据清洗和过滤； 3. 搭建消息队列服务缓存数据，如 kafka ； 4. 搭建存储服务，如 HDFS 、 Elasticsearch 等，将数据落存储； 5. 搭建实时，离线数据分析平台，如 Spark、Flink 等； 6. 数据可视化展示、告警系统。 实现以上功能，不仅需要有一个资深大数据背景的技术团队和客户端团队的支撑以及漫长的 开发周期，系统上线后仍需持续投入精力持续维护迭代，以应对诸如逐步上升的数据量和快 速变化的需求；若是对平台的横向扩展能力没考虑周全，众多开源组件崩盘的风险很可能会 让之前的投入白费。 七牛大数据平台 Pandora 七牛大数据平台 Pandora 是一套面向海量数据，能够让基础技术人员轻松管理大数据传 输、计算、存储和分析的大数据 PaaS 平台，提供简单、高效、开放的一站式大数据服 务，核心服务及功能包括大数据工作流引擎、时序数据库、日志检索服务、Spark 服务、 报表工作室。同时提供了海量离线数据分析等众多大数据分析工具支持，并结合七牛云生 态，赋能应用大数据的核心能力，让用户可将资源精力聚焦于业务价值提升而无需担忧复 杂的大数据技术和部署运维难题。 七牛数字化体验监控平台 DEM 七牛数字化体验管理平台 DEM （Digital Experience Management ）是基于七牛大数据平台 Pandora 及对象存储服务 Kodo 构建的一套支持全平台面向海量数据的数字化体验管理 平台。使用七牛 DEM 能够快速附能应用海量终端用户体验数据监控和分析的能力，免去 搭建和运维迭代大数据平台的烦恼。 移动APP 常见痛点 崩溃定位 • 快速暴露、发现、定位、修复 • 统计错误，报警 • 长时间保存 • 机器学习分析 交互响应慢 • ANR 定位 • 界面卡顿 • API 调用慢 网络问题 • 连接超时 • 网络错误 • CDN 问题 • 客户端网络信息收集 日志分析 • 客户端上报日志 • 长时间保存 • 机器学习分析 七牛DEM 特点 • 客户端开源，用户可以查看，修改，定制 • 海量数据，永久存储 • 自定义数据上报 • 网络诊断数据 • 开放式的数据流，结合Pandora 大数据平台，做各种离线，实时分析 • 日志上报 • 按真实数据量付费 DEM 架构 七牛 DEM 是构建在七牛大数据平台 Pandora 之上的 SaaS 产品，其构成组件如下： 准备工作 在使用DEM 之前，您必须做好以下准备工作： • 拥有七牛云账号； • 到七牛云官网申请 Access Key 和 Secret Key； • 联系客服或销售人员开通 Pandora 及 DEM 相关服务； 快速开始 创建第一个 App 在浏览器中打开我们的主页 使用您的七牛账号登录，然后即可如 下图所示，快速创建您的第一个 App 。 • 在创建 App 时，您可以选择开启或关闭各个功能组件，如崩溃上报、网络性能上报和 App 卡顿监控，这些开关默认都是开启的 • App 创建成功之后，请到该 App 的APP 设置页面，获取App Key ，供相关 SDK 上报 数据使用 安装各平台的探针 S