《流处理技术在OSS中的应用项目项目预开题报告》.描述.pptx

流处理技术在OSS中的应用研究 单位：省网管中心 网管支撑室 日期：2013年11月 一、项目信息 项目名称 流处理技术在OSS中的应用研究 项目牵头单位及联系人 网管中心网管支撑室 方津 项目协助单位 无 关键字 流处理 课题预计开始时间 2014年1月 预计结束时间 2014年10月 项目完成人 方津、黄春宁 新的数据处理对象：原始信令数据、CDR/XDR、业务网管日志等 数据特征 数据量大大超过传统电信数据处理规模，是传统统计类数据的100到1000倍。 数据通常采用操作系统文件方式保存，内容为半格式化形式，准实时延迟（几秒）。 快速处理的业务需求 业务级问题的快速发现：准实时发现某业务的运行劣化。能定位到号段。 实时智能服务：实时对低ARPU值用户进行流量限制，保证高ARPU值用户的网络资源。等等。 定时的批量数据处理无法满足苛刻的业务需求！ 二、立项背景 oss数据面临挑战 性能数据 ?????? 性能系统目前分散在各个专业网管，影响其对整个性能的总体分析 目前的性能监控主要为从部分指标从专业网管进行采集，其时延较长，?omc--》专业网管--》上层性能相关运用系统???，这每一环节生成性能文件和处理性能文件均存在时延?，同时还有如下的问题： ?其这一条链路任务内串行重吞吐量，响应时间完全没有保证?； ?单输入单输出，链式浪费严重? 粗粒度容错，可能会造成数据质量等问题 ?时间戳问题:omc生成的性能文件数据内容与时间戳不一致，导致性能数据质量问题? ?omc的服务器、专业网管服务器或者接口出现问题，造成性能数据丢失?，影响上级性能相关系统运用 ?omc升级、割接期间的性能数据，上层网管经常无法补采这一期间的性能数据 三、存在的问题（1） ?资源数据 非实时同步：资源数据采用每天定期采集1～2次，资源数据有变化未能及时通知和上报给相关的专业网管及上级资源相关运用系统 名称不一致：?OMC部分资源数据与综合资源的命名规范不一致，导致基于?OMC的性能与综合资源的资源进行关联分析存在困难 ?告警数据 OMC数据发送历史告警，导致数据质量问题 OMC的告警中的资源名称与资源采集上来的资源名称不一致，导致告警无法关联到对应的网元，导致数据质量问题 OMC告警缺失,厂家接口断连（或接口升级），导致传输网管与厂家网管无法正常连接，告警产生/告警消失消息不能正常上报 告警延时:?OMC向专业网管发送告警有时会出现延时，即网元产生告警时间与厂家网管传送告警时间有时延 由于时钟同步问题，造成专业网管采集告警时间与?OMC上报告警时间有很大时差 三、存在的问题（2） 四、立项意义 研究在OSS中引入基于流处理的数据处理能力，具备以下意义： 不同于传统的基于KPI的实时网络性能监控，为解决基于大数据的准实时的网络级、业务级、甚至用户级的性能问题发现和定位提供一种新的方案。 为大数据技术在OSS中的应用提供一个新的思路。目前基于Hadoop的批量大数据处理技术已经快速发展起来了。在解决非实时大数据的数据清洗、过滤、入库、查询、汇总、关联等方面都能极大地提高处理性能表现。但是对实时大数据的处理场景，Hadoop并不适合。 在OSS中引入流计算技术，预计可以解决的一些业务目标： 实时发现业务降质，定位故障原因； 实时对事件进行监控，如骚扰电话监控，国际长途盗打； 实时对用户行为进行监控，如客户关怀； 提高指标计算的实时性，减小指标计算延迟； 五、课题预期研发目标 总结整理OSS中流处理技术的应用场景，如准实时业务、网络故障发现和定位等； 提出流处理应用的框架模型，相关数据模型； 研究流处理系统关键技术要求，包括多机并发部署原则，多数据源规则设置等； 进行目前业界流处理平台的对比分析； 就选定的特定问题，开发验证系统。如，实现业务级故障的快速发现及定位 五、课题预期研发目标——技术突破 传统处理 流处理 基于硬盘 静态数据 定时处理 批量汇总 数据处理延迟大，至少是秒级 详单数据全量入库，按照数据模型汇总，输出结果 适用于数据仓库的历史数据分析 基于内存 动态输入 实时处理 流式分析 毫秒级数据处理延迟 实时的将详单数据按照数据模型汇总处理，输出结果 适用于对数据处理要求时效高、延迟低的实时分析 流处理技术并不是要彻底要替代传统的数据处理方式，而是给了我们更多的技术选择。当对数据处理有时效高、延迟低的要求，传统的数据处理方式达不到预期效果时，流处理技术可以作为传统数据处理的有效补充，形成历史数据分析和实时数据分析的闭环， 更好地服务于OSS，是技术方面的突破、革新。 六、课题相关业务场景1-局数据错误发现 方法：汇总分析全网信令中的被叫HLR号段数据，统计失败率，发现故障点HLR。 举例 假定某网有3台交换机、3个HLR，某13