电视用户大数据分析报告.docxVIP

实用文档 电视用户数据剖析 实用文档 文档改正记录 修他日期改正人改正说明版本号改正页 实用文档 目 录 1 总体描绘 ........................................................................ 4 1.1 建设目标................................................................ 4 1.2 整体架构................................................................ 4 2 功能实现 ........................................................................ 6 2.1 数据采集模块............................................................ 6 数据收集............................................................ 6 数据办理............................................................ 6 2.2 数据剖析................................................................ 7 2.3 数据可视化.............................................................. 8 2.4 系统管理................................................................ 9 3 初步方案 ....................................................................... 10 3.1 C平台接口日志剖析...................................................... 10 3.2 流水文件剖析........................................................... 11 4 技术实现 ....................................................................... 11 实用文档 总体描绘 1.1建设目标 互联网电视是成立在通信网络上的互动性视频服务，能够特别灵活地实现电子菜单、 节目预约、实时快进、快退等操作。经过对OTT用户的实时数据收集，统计剖析，建设 实时数据剖析系统，对OTT的EPG界面设计、内容营运有着重要意义。 系统在经过对OTT业务营运平台数据收集的基础上，实时（定期）获取用户行为数 据，联合业务营运平台数据日志、用户端APK上报日志等数据，经过大数据办理平台（如 Hadoop），对OTT的各纬度指标进行统计剖析，并提供用户自定义剖析功能，进行数据 展示，为EPG的界面设计和营运建设提供决议依据。 1.2整体架构 实用文档 数据抓取 负责整个互联网电视营运中心平台或许分平台系统的原始基础数据的获取，包括2部分内容：（1）平台日志：联合营运平台的日志管理模块，实现获取并接收用户的行为数据；（2）APK日志上报。提供数据接口，且支持FTP等传输导入。 数据抓取用于接入存储数据，目前分为三部分： （1）C平台各业务系统经过AOP方式将各接口调用情况输出标准日志，由FLUME进行抓取；再经过KAFKA将数据输送到STORM中；STORM将元数据直接寄存到HDFS中。 （2）各业务系统的错误日志变换为json后直接寄存到ES中，方便查找。 （3）将流水文件（需变换为csv格式）和流水日志（导出txt格式）经过文档上传系统上传到HDFS中，文件所在的文件夹以当天日期命名（减少需办理的文件数量，提高效率）。 数据剖析 鉴于hadoop大数据办理技术，将数据收集获取到的基础数据，进行数据预办理、数据统计计算，包括数据排重、数据冲洗、结果展示指标计算等，并将原始数据、结果表 数据进行存储和备份。根据多维度的数据展示需求，设计结果表数据，并对其进行实时统计计算，并将结果数据，推送给前端展示平台。此外还提供用户自定剖析功能，用于对原始数据和结果表数据的自定义查问和剖析功能，便于非数据剖析人员对系统进行二次剖析。 数据剖析用于对指定数据进行切割分解为各个维度，给展示系统提供数据支撑： （1）由STORM对C平台接口日志进行办理，将办