综合资源数据处理培训课程.pptVIP

Inspur group 要完成数据汇总有两个必要条件： 一、模型调研：与系统实际使用方确认模型，用户关心那些网元，网元中比较关心哪些指标，上层应用需要用到哪些指标。这些调研清楚之后将模型固化到系统中。也就是我们所说的正式表，用以页面展现。 二、算法调研：模型中每一个字段需要用到什么命令采集，对应命令中哪一部分，是否需要多个命令关联展现，多个命令之间如何关联（数据库、文件方式大同小异）。调研清楚之后将每个命令配置到采集系统中将文件采集下来分析入库，对应我们所说的原始库。最终将复杂的业务关联关系固化到资源系统的原始库与正式库的数据库语句关系，从而实现将复杂算法固化到系统中完成数据汇总的目的。 原始库与正式库实现比较时的三种情况：1、新增：插入正式表；2、删除：从正式表中将未采集到的数据删除；3、更新：正式表中某几个属性发生变化，更新正式表。这一点请各位同事注意，在今后的灰名单章节中将说明此三种情况对灰名单的影响。 该部分从技术角度上说是最简单的一层，单纯使用SQL语句就可以完成汇总，但从业务角度上说，这里面包含了太多复杂的算法知识，需要日积月累的专业知识方可实现开发、维护。感兴趣的同事可以在今后的工作中多接触一下这方面的知识。 SQL使用注意事项： 1、临时表的使用。 2、索引的使用。 3、exists、in、not in的区别。 数据汇总 Inspur group 某些情况下，原始的表数据可能无法满足汇总要求，这时就需要在原始数据的基础上用PERL进行二次分析，将数据处理成满足汇总条件的格式，重新插入新的表中以备数据汇总只用。二次数据也就应运而生。 例如：在汇总小区临区列表时要求将相邻小区以逗号分隔，更新到一个字段中。而原始文件采到的数据却是多条记录，这时就需要将这多条记录导出压缩成一条数据并以逗号分隔，以达到汇总需求。 缺点： 1、频繁导入、导出操作减慢了系统运行速度。 2、过多的操作增加了故障几率。例如：锁表、进程将死。 解决思路： 这对业务要求一定的了解，在文件分析时提早预见到所需数据的格式，必要时可以一个文件分析成多个db文件，分别达到不同的汇总要求。避免无谓的导入导出操作。 数据导出后的二次处理 Inspur group 三、智能校验 二、资源自动采集 目录 四、传输数据处理 一、数据维护 Inspur group * 智能校验 为了保证网络资源的完整性和准确性，智能模型校验功能将不符合业务规则的数据发现，放入灰名单库，通过短信、灰名单滚动提示、告警呈现、告警自动派发工单等多种途径提示维护人员及时维护数据，最大程度地实现资源数据的智能检错、纠错，提升资源数据的智能化管理程度和准确性管理。 智能模型校验是根据定义好的校验规则对资源数据的合法性进行核查，分为智能校验规则定义、资源数据智能校验、短信发送、灰名单数据处理。 Inspur group 在数据汇总章节中我们曾经介绍过原始库与正式库实现比较时的三种情况，那现在请各位同事想一下，在做数据删除操作时如果由于采集原因造成采集文件为空是否会造成正式库的数据丢失？？ 灰名单功能正是在这种背景下开发出来的。 在数据连续几天采集不到的情况下，可以认为数据为退网数据，此时系统并不做删除操作，而是提交为维护人员进行确认，待确认后进行删除操作。 当数据发生变化时，还可以提供数据对比功能，让维护人员及时了解到变化前后数据的变化过程。 灰名单相当于底层数据的一个上层应用，为历史数据对比的一个应用实例。它的正常运行必须基于底层数据的正常汇总。 灰名单功能 Inspur group 智能校验-校验规则 校验规则包括： 连续多日未采集到数据 连续5日未采集到的基站、小区、中继端口、单板数据，则为异常数据。 基站配套设备校验 基站配套设备中的所属基站在基站中不存在，则配套设备数据为异常数据。 话务网BTS中，基站ID以G、N、H、Z开头并且“是否一体化、边界背靠背基站”属性为否的基站，去掉微蜂窝基站，统计基站个数。配套设备中的基站空调所属基站数、基站蓄电池组所属基站数、基站开关电源所属基站数、基站机房数量应等于基站数，基站存在而没有配套设备的则为异常数据。 单板状态冲突 同一个序列号的单板既存在与现网又存在与备件库。 Inspur group 智能校验-校验流程 Inspur group * 将校验汇总模型校验数据在首页滚动显示，直观了解模型校验数据，以便及时处理。 智能校验-灰名单滚动提示 Inspur group 智能校验-灰名单数据