基于云计算平台的全网音乐运营与稽核系统的构建.doc

研发项目结题报告（上报集团版） 项目名称及编号 基于云计算平台的全网音乐运营与稽核系统的构建 主要研究单位及负责人（联系方式） （如为联合项目，此处只填牵头单位及其负责人，联系方式需注明联系电话和Email ） 其他研究单位及负责人（联系方式） 四川公司 曾东zengdong@12530.com 是否集团重点(是/否) 是 是否联合项目（是/否） 是 项目经费（万元） 50 项目起止时间 2010年 1 月 － 2010 年 10 月 专业类别 IT云计算 研究类别 现有业务优化 关键词索引（3～5个） 云计算 云数据处理中心 稽核系统 该项目在研究单位内部的评审结果 优秀 该项目在研究单位内部的评审意见： 本项目基于大云平台，使用HugeTable的扩展性，高速并行计算等特性构建云计算平台，极大提升了音乐基地运营与业务检测系统在数据存储、统计计算、数据查询等方面的服务能力，具有良好的市场前景。 项目的简介：简要描述该项目的目的和意义，解决的问题，取得的社会和经济效益等。 本项目通过对无线音乐基地运营与业务检测系统的云计算构架平台研究，以期利用廉价的PC集群，形成强大的、具有高伸缩的并行运算能力和并行海量存储能力的“云数据处理中心”，为运营与业务检测系统提供数据存储、统计计算、数据查询等服务。 对现有企业标准规范的符合度：列举该项目使用并符合的中国移动统一发布的企业标准的名称和编号，描述该项目成果在现有的企业标准基础上所需新增的功能要求（如业务流程的改变、设备新增的功能要求等）。 符合相关标准 该项目的专利情况：没有的话填“无”，有的话填写专利名称及申请号或授权号。 无 该项目研发存在的主要问题及今后的设想： 云数据存储中心的实施有待深入。 项目研究成果的主体内容（3000字以上，可附在表格后）： 请点击下面图标： 基于云计算平台的 全网音乐运营与稽核系统的构建 研究背景: 前沿 尽管早在上个世纪90年代，“云计算”就已经作为一种新型技术模型被提出，但直到最近两年它才焕发出真正的生机。随着产业链各环节参与者的不断介入，各项基于云计算的业务也表现出了强大的市场潜力。2010年云计算在全球范围内达到了一个空前的热度，几乎全部有影响力的ICT厂商都出台了自己的云战略。随着技术与市场的日益成熟，各大厂商、IT服务提供商、运营商等产业链各环节参与者都在云计算领域找到了自己位置，并不断有新产品、新方案推向市场。 云计算 研究与应用现状 无线音乐基地业务运营与业务检测系统是中国移动无线音乐基地为加强业务管理，进行业务分析与营销分析支撑，发现并防止CP及用户欺诈行为、业务过程漏洞等情况而建立的两套支撑系统，通过对大量业务数据的统计，进行业务分析、营销分析支撑，以及时发现用户、CP违规行为并告警：如发现单一用户短时间大量业务操作或某段时间对同一CP歌曲进行大量操作等违规行为。 目前运营与业务检测系统单日处理数据记录约1亿条，全天进行不间断运算，仅能实现在违规行为发生15分钟后发现并预警。随着业务量、违规手段的不断变化，需要监测的指标和计算模型不断增加，对主机计算能力和存储的需求成倍增长。 启动对无线音乐基地运营与业务检测系统的研究，以期利用廉价的PC集群，形成强大的、具有高伸缩的并行运算能力和并行海量存储能力的“云数据处理中心”，为运营与业务检测系统提供数据存储、统计计算、数据查询等服务。 现网业务系统数据处理模式 全网音乐运营与稽核系统数据处理分为以下步骤： 数据获取：数据从一百多个数据源得到； 数据转换：ETL系统进行数据清洗和转换，然后将数据LOAD进入SYBASE IQ A数据库； 数据处理：调度系统根据需求，定时运行任务，完成数据处理； 数据同步：数据即时被同步到Sybase IQ B 数据库，WEB应用系统从此台IQ进行数据查询 大云子系统Hugetable特性： 支持高速数据加载,业务系统每天生成上百G的数据，所以高效数据加载很重要； 索引查询和查询优化：支持全局索引，可以通过主关键字、此关键字做精确或者范围查询，时间在秒级别； 支持Mapreduce并行运算； 支持SQL，方便业务系统开发； 支持高数据压缩，节省宝贵的磁盘空间，降低能耗； 数据插入、更新和删除操作：提供完整的数据访问机制。 小结 现网系统每天大量的数据load，HugeTable支持高速的速度导入，可以满足需求 现网系统每月有小量数据需要更新，HugeTable执行更新删除，可以满足需求 HugeTable支持数据压缩，更节省磁盘空间，可保存更多数据。 因此，综合上述各方面，基于HugeTable的稽核系统构建理论上是可行的。 云