中科曙光大数据优秀应用解决方案申报书.docVIP

PAGE 1 中科曙光广电行业大数据应用解决方案 （□产品 □服务平台 ?应用解决方案） 曙光公司在大数据领域深耕多年，拥有涵盖大数据产业链的产品体系，积累了大量前沿的大数据技术和丰富的大数据行业应用。尤其在广电、军工、安全、教育、气象、环保等领域表现突出。曙光针对广电行业的大数据应用解决方案成功在珠江数码、新华社等企业得到了有力应用，全面满足了广电企业对大数据平台建设和大数据业务分析的需求。 （一）广电行业大数据应用背景及需求 （1）行业背景 随着有线电视的普及、数字化改造等新型光电技术的推广以及国家“三网融合”战略的实施，传统广电运营商已由原来的单一网络运营商向多媒体网络及信息服务运营商转变、广电业务也向着移动互联网等新媒体方向拓展。这些因素都使得用户信息、使用信息等海量数据的采集、处理和应用成为可能、使得广电运营系统成为名副其实的大数据系统。同时，由于众多新业务的推出和普及，需要建设一个大数据分析平台，通过这个平台可以整合集团各个系统的所有和用户相关的数据，建立一套完整的数据分析及挖掘平台，用于了解用户需求，促进各项业务的发展。 （2）需求分析 与电信、互联网企业一样，广电开始从战略高度来认识用户，并以此来反向构建广电新的发展模式与运营思维。具体需求如下： （1） 数据共享平台。整合集团各系统的所有和用户相关的数据，包括用户收视行为数据、用户数据、用户服务情况、用户终端的设备数据等。并对这些数据进行统一存储和检索，为前端应用系统提供丰富的数据预处理类服务。 （2） 收视行为分析。将传统收视行为分析和互联网行业用户画像相结合，基于当前用户的收视习惯数据和用户评论、用户属性、广告点击等相关信息，完成基于排行榜和用户浏览历史的界面和广告推荐。 （3） 精准营销。构建针对每个用户的数据化视图，建立用户的各项数据档案，将其标签化、积分化。建立用户档案，为业务部门提供精准化营销、客户挽留、产品推介等市场服务。 （4） 智能运维。整合品牌订阅、工单信息等信息，更好地分析、预测用户的消费行为，提高整体效益；实现对客户挽留等业务的支持，提高挽留的成功率等。 （二）广电行业大数据应用解决方案整体架构 在深入分析广电行业特点及需求的基础上，中科曙光形成了一整套实用的广电行业大数据解决方案。该方案的系统整体架构如图1所示： 图1有线运营商大数据分析架构图 多源异构数据经过统一的数据抽取和转换平台进行抽取、格式转换、脱敏等操作。然后将清洗好的数据（含结构化数据和非结构化数据）加载到数据共享平台中进行存储。 数据共享平台对其内部数据进行最终的数据分析和数据挖掘，支持根据不同的业务分析和挖掘需求建立不同的模型，支持自助设计面向具体业务的查询任务流，支持查询分析服务的二次开发，支持增强的数据安全性。 数据分析服务通过建模对数据共享平台中经过初步加工的数据进行进一步的分析挖掘，通过大数据可视化工具对分析挖掘结果进行展现，方便数据转化为信息，进而为业务决策提供支撑。 （三）广电行业大数据应用解决方案关键技术 （1） 多源异构数据接入 广电行业数据主要来自运支中心、新媒体、网维中心、呼叫中心等内部数据源及外购商业报告、微信、微博等外部数据源。从多种来源数据系统采集数据，统一各类数据的逻辑模型，实现企业数据的标准化统一存储和整合。数据接入方式包含离线批量接入和流式数据实时接入。 （2） 数据共享平台 数据共享平台在数据源和数据分析服务之间起着承上启下的作用，定位于整合广电运营商内部各大系统的数据和外购数据，按照统一的数据模型进行数据整合，提升数据质量，对外提供数据共享能力，支撑跨系统数据的分析应用，并为企业高层决策提供数据支持。 数据共享平台架构如下图所示： 图2 数据共享平台架构 数据共享平台由统一存储、计算框架、元数据管理、数据交换、集群运维以及数据访问接口构成。其中， A. 统一存储层提供关系型数据库、分布式文件系统、列式数据库、内存数据库以及全文检索库等多种数据存储方式，实现对各类型数据的存储和组织； B. 数据计算框架支持多种类型数据的查询、统计分析以及数据挖掘的处理要求，实现并行SQL计算框架、流计算框架、内存计算框架、离线计算框架、图计算框架及数据挖掘算法库，并通过资源调度模块对集群的计算资源和处理作业进行统一分配和调度，提供对实时、近实时及离线等多种处理场景的支持； C. 元数据管理负责存储和维护集群的拓扑信息、权限数据以及各类型数据对象的定义数据； D. 数据交换层提供通用的数据导入功能，实现数据接入、格式转换、数据清洗、数据关联合并、数据校验、数据传输以及日志记录等功能； E. 数据访问接口对外提供的统一接口层，包括客户端和开发工具包两个部分，客户端实现命令行和图形化两种模式，开发工具包提供接口库、Rest API和Thri