基于云点播生产平台智能分析系统.docVIP

基于云点播生产平台智能分析系统 　　摘 要：随着互联网技术的发展，网络视频的需求日益增加，而云计算的兴起，极大地推动了网络视频业务的发展，视频云服务越来越重要。该文介绍了云点播生产平台的现状，针对不能及时监控异常数据、缺少数据分析等问题，提出了智能分析系统。智能分析系统包括4个子模块：数据中心、数据分析、监控中心、报表中心。该文重点对各个子模块的功能、系统架构及实现方式进行了阐述。智能分析系统为优化生产平台提供了数据支撑，为生产平台正常运行提供保障，也为后续业务扩展提供决策依据。 　　关键词：云计算 视频 智能分析 数据挖掘 　　中图分类号：TP31 文献标识码：A 文章编号：1674-098X（2015）12（a）-0143-03 　　云计算是一种基于互联网的新兴商业计算模型，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能根据需要获取计算力、存储空间和各种软件服务。云点播是基于云计算的视频平台，集合了拍摄、视频上传、存储备份、多码率转码、CDN分发、视频播放六大核心基础功能于一身，为用户提供优质的视频一站式服务。云点播的核心技术是多码率转码，将云点播平台中的上传、存储、转码、分发过程抽取出来，形成云点播视频的生产平台，生产平台负责对各个子模块进行统一调度，统一管理。 　　1 云点播生产平台及现状 　　云点播生产平台是进行视频生产的平台，一个视频的生产流程大致如下。 　　生产平台的编辑人员把需要进行转码的视频片源上传至生产平台中，生产平台调用存储模块，将视频保存在云端存储；生产平台生成转码任务，调用转码模块，由转码模块完成后续的视频转码、截图等；生产平台调用分发模块，将转码成功的视频分发到CDN节点上。最终用户可以通过生产平台返回的播放页地址进行视频观看。 　　随着生产平台业务量的增长，以及各类需求的提出，生产平台逐渐暴露出一些问题。例如，生产平台在与各个子模块交互过程中，如果出现问题，不能快速定位，也不能及时通知到相关负责人；各类角色人员无法了解到生产平台的运行状况、平台转码能力、网络设备使用情况等。 　　2 智能分析系统概述 　　智能分析系统负责监控生产平台和各个子模的交互细节，通过预警，使开发人员及时发现生产平台的问题，确保了生产平台的稳定性和容错率；通过对生产平台的历史数据、现有数据、情景、性能的分析，全方位地统计生产平台的运行情况，包括平台的稳定性、转码失败率、平台的吞吐量以及各业务线的服务请求量等，同时决策者还可以得到有价值的洞察力，使他们能够预测未来趋势，做出更优的决策。 　　智能分析系统在设计时，需要考虑两点。 　　第一，监控响应实时性。生产平台肩负着支撑视频点播业务的重任，一旦某个子模块出现问题，需要能及时预警，并反馈给相关人员。 　　第二，数据准确性。智能分析系统提供各类监控数据及报表数据，它是生产平台优化的依据，也是后续运营决策的依据，由于业务数据的复杂性，在数据处理时，务必要将数据误差控制在合理范围内，保证数据的准确性。 　　3 智能分析系统架构 　　智能分析系统由4个模块组成：数据中心、数据分析、监控中心、报表中心。架构图如图1。 　　3.1 数据中心 　　数据中心主要负责采集视频生产过程中的各类数据，并将数据汇总至数据仓库。数据采集的数据来源包括以下几方面。 　　第一，业务数据库。为保证正常业务不受影响，采集系统对业务数据库进行主从备份，做到数据隔离，在从库中进行数据采集，保证了数据的安全性，采集过程使用ETL实现。 　　第二，消息。业务系统使用异步消息队列发送数据，例如转码状态数据，数据采集模块收到消息后对消息进行解析，将数据汇总至数据仓库。 　　第三，接口。对实时性要求较高的数据，业务系统采用接口上报方式，将数据上报至数据采集模块，采集模块收到数据后将数据汇总至数据仓库。例如对于转码环节的数据，需要转码机实时上报转码轨迹数据。 　　第四，日志文件。采集模块创建定时任务，定期从业务日志文件中采集数据。 　　数据采集过程中，需要对数据源的数据进行预处理，预处理过程包括数据整合、数据清洗、数据变换、数据约简。其中，数据整合是指从数据源中收集相关数据，过滤不必要的部分，找出必要的数据和变量。数据清洗是识别数据集中的值，填补空缺值，减少数据噪声，消除不一致性。数据变换是将数据标准化、离散化。数据约简是将数据进行降维，减少数据的质量。 　　通过以上预处理，将数据汇总至数据仓库，供后续数据分析使用。 　　3.2 数据分析 　　数据分析包括3个层次。 　　第一，描述性分析。了解企业正在发生什么，并理解潜在的趋势和事件发生的原因。 　　第二，预测性分析。分析未来可能会发生什么。例如使用聚类分析算法将客户细分为不同的类别，按照不同类别针对性地提供