大数据可视化管理与应用解决方案.ppt

某有线运营商终端数据分析平台·项目概述 某有线运营商的TVOS系统高清智能机顶盒已达到600万台，机顶盒每天产生的日志多达1T包括性能指标、用户行为、终端系统运行日志等； 目前现网缺乏对机顶盒日志的有效收集，没有一个统一的日志分析平台来监控日常业务。 某有线运营商网络有限公司经营着全球最大的有线电视城域网--整个A市的有线电视网络资源，拥有带宽、用户资源、光纤资源和规模运营的优势。 打造多维度的终端数据分析能力，实现对网络运维、市场规划、设备运维等多种业务的有效支撑； 实现对各类终端异常的感知和预测、对于区域性网络故障预测，辅助市场决策。 采用flume、datax进行数据采集； Hadoop+spark进行数据存储分析； sparkml进行机器学习算法实现。 对机顶盒的网络、性能、信号等方面进行实时检测，在用户报修之前完成预警和兼修，减少工单报障，提升企业形象； 对机顶盒各项指标进行数据分析为领导的决策提供数据依据。 项目背景 项目目标 解决方案 项目价值 某有线运营商终端数据分析平台·总体方案 基于大数据平台为某有线运营商搭建了终端数据分析平台，注入了多维度的数据分析能力，实现了对网络运维、市场规划、设备运维等多种业务的有效支撑。整个系统分为数据清洗层、数据整合处理层、数据展现层，层次间分工清晰。 数据清洗层提供了分析使用的基础数据，该层的存在解耦了分析平台和采集平台的耦合关系，大大简化了分析中的格式化数据操作； 数据处理层使用spark大数据内存处理平台由于其使用内存的特性使得整个分析耗时较短； 数据展现层使用传统的JDBC+mysbtis+mysql的方式； 业务实现脚本之间使用ooize调度平台对spark任务进行集中管控。 某有线运营商终端数据分析平台·应用场景 在本次项目中我们采用了分批接入的模式，逐步将600万户家庭的终端设备接入到平台中，并整合设备对应的各项应用与业务数据，展开相应的数据分析与应用。 终端综合统计 终端预警 终端用户行为统计 故障统计和关联分析 故障原因与改进分析 区域网络故障预测 网络状态数据 设备状态数据 用户行为数据 ……数据 掌握终端各状态数据 网络维护资源调配 完成网络运维分析 掌握用户日常行为 辅助市场活动策划 辅助客服服务跟进 某有线运营商终端数据分析平台·系统应用 某有线运营商终端数据分析平台·项目收益 系统上线以来，系统运行稳定，大规模数据的存储和分析处理正常，为某有线运营商的网络运维和市场开拓提供了数据支撑，很好的助力了某有线运营商运维和市场工作，奠定了数据化运维和业务开展的基础。 平台上线后成为了某有线运营商服务服务品质管控的重要载体； 使用系统后服务品质管控有了显著改善，不仅提升了客户感知，也有效降低了用户离网率用户离网。 系统上线之后，现网工单产生量明显降低; 使用本平台后，有效避l 免因服务/业务好原因离网。 帮助客服和市场部门提升了客户维系成功率； 每年助力成功维系1万+用户， 每年助力客户维系收入约1800万。 谢谢！ * * * * 目 录 CONTENTS * * * * * 大数据可视化管理与应用解决方案 01 方案背景概述 03 成功案例介绍 02 解决方案概述 技术的发展的让我们进入了DT时代 随着互联网、移动互联网以及物联网、云计算、大数据、人工智能等技术的快速发展，人类文明正在步入一个崭新的时代：DT时代。 在DT时代，社会的发展将以数据为核心和内在驱动力，以云计算、大数据为导向的技术革新也将成为社会发展的重要引擎。 在DT时代，传统工业模式会被颠覆，商业也会朝着定制化方向发展，在保证效率的同时优化供需，有效节约成本，提高劳动生产率。 数据处理能 力越来越强 数据种类与 量越来越大 智能DT时代 这个世界正在 不断被数据化 具备挖掘应用 数据价值能力 技术发展与应用 数据将成为组织最重要、最有价值的资产 DT时代企业实施大数据的关键点 DT时代的到来，对于传统产业的推动和促进将是前所未见的，传统产业也将因DT时代的到来而焕发出新的生机和活力。 1 找准大数据规划切入点 2 强化高管团队大数据领导力 3 设计合理的大数据架构 4 搭建有效的大数据团队 5 用制度和文化来保障大数据的实施 当前企业数据管理与应用的总体现状 当前数据管理与应用模式 财务 财务相关 数据统计 系统报表 OA OA相关 数据统计 系统报表 生产 生产相关 数据统计 系统报表 供应链 供应链相关 数据统计 系统报表 销售… 销售相关 数据统计 系统报表 各个系统单独建立，相互之间的数据没有打通，形成一个个数据孤岛，相关数据与信息无法进行共享。 数据孤岛 目前对各系统数据主要是做了基本业务数据统计，没有深入的分析应用。 浅度应用 目前管理和决策人员经常需要登到各个系