《流处理技术在OSS中的应用研究项目项目预开题报告》.ppt研讨.pptxVIP

流处理技术在OSS中的应用研究 ;一、项目信息;新的数据处理对象：原始信令数据、CDR/XDR、业务网管日志等 数据特征 数据量大大超过传统电信数据处理规模，是传统统计类数据的100到1000倍。 数据通常采用操作系统文件方式保存，内容为半格式化形式，准实时延迟（几秒）。 快速处理的业务需求 业务级问题的快速发现：准实时发现某业务的运行劣化。能定位到号段。 实时智能服务：实时对低ARPU值用户进行流量限制，保证高ARPU值用户的网络资源。等等。 定时的批量数据处理无法满足苛刻的业务需求！ ; 性能数据 ?????? 性能系统目前分散在各个专业网管，影响其对整个性能的总体分析 目前的性能监控主要为从部分指标从专业网管进行采集，其时延较长，?omc--》专业网管--》上层性能相关运用系统???，这每一环节生成性能文件和处理性能文件均存在时延?，同时还有如下的问题： ?其这一条链路任务内串行重吞吐量，响应时间完全没有保证?； ?单输入单输出，链式浪费严重? 粗粒度容错，可能会造成数据质量等问题 ?时间戳问题:omc生成的性能文件数据内容与时间戳不一致，导致性能数据质量问题? ?omc的服务器、专业网管服务器或者接口出现问题，造成性能数据丢失?，影响上级性能相关系统运用 ?omc升级、割接期间的性能数据，上层网管经常无法补采这一期间的性能数据 ; ?资源数据 非实时同步：资源数据采用每天定期采集1～2次，资源数据有变化未能及时通知和上报给相关的专业网管及上级资源相关运用系统 名称不一致：?OMC部分资源数据与综合资源的命名规范不一致，导致基于?OMC的性能与综合资源的资源进行关联分析存在困难 ?告警数据 OMC数据发送历史告警，导致数据质量问题 OMC的告警中的资源名称与资源采集上来的资源名称不一致，导致告警无法关联到对应的网元，导致数据质量问题 OMC告警缺失,厂家接口断连（或接口升级），导致传输网管与厂家网管无法正常连接，告警产生/告警消失消息不能正常上报 告警延时:?OMC向专业网管发送告警有时会出现延时，即网元产生告警时间与厂家网管传送告警时间有时延 由于时钟同步问???，造成专业网管采集告警时间与?OMC上报告警时间有很大时差 ;四、立项意义;五、课题预期研发目标;五、课题预期研发目标——技术突破;六、课题相关业务场景1-局数据错误发现;六、课题相关业务场景2-基于业务KPI定位分析;七、项目的难点;八、项目的技术方案;;;;;十一、项目预计产出;十二、联合项目分工;十三、项目企业绩效贡献情况预测（选填);谢谢！