通信-综合资源数据处理培训资料资料文档.pptVIP

Inspur group Inspur group 综合资源数据处理培训资料 数据维护-资源系统数据维护 为了保证资源数据的准确性和及时性，数据维护采取手工维护和自动采集相结合的方式。 手工维护方式简洁、便于操作，批量导入导出功能，操作方便，能有效保证导入数据的准确性和导出数据的完整性。 通过定制自动采集，可以对资源属性进行自动采集更新。每一次的自动采集都有日志记录，以查看资源数据采集情况。采集失败的任务可以执行数据补采，以确保某一周期内资源数据的准确性、完整性。 为满足网络资源完整性的需要，智能校验管理功能，对违反完整性规则的网络资源以列表形式呈现。 数据维护-资源系统维护范围 资源自动采集-采集流程 数据采集及处理大致可以分为数据采集（形成标准文件）、数据分析（PERL分析）、数据入库（LOAD入库）和数据汇总（SQL）四个步骤。 数据流转流程图 数据接入流程概述 通过采集系统将数据以文件的形式采集下来以后，系统通过PERL进行分析，通过任务定制程序根据调度时间自动调用脚本对数据进行分析、入库、汇总。及时反映网管信息。程序在UNIX系统环境下运行，以SHELL脚本的方式实现各流程的调用。通过PERL脚本实现数据分析。通过SHELL+SQL实现数据的入库，通过SQL语句实现汇总。最终完成数据的展现，及时反映现网情况。 数据采集的种类 一、命令方式采集 该采集方式为目前较为常用的采集方式，具有数据时效性高，准确性好的特性。由于我们直接从交换机获取数据，减少了中间数据流转的流程，数据的可信任程度比较高，这种数据获取方式也是我们首选的采集种类。 但是，由于此种采集方式直接与交换机交互，如有误操作可能对交换机造成不可逆转的影响。所以如要使用此种方式采集，应在用户许可的前提下，通过特定账户，在特定时间内使用指定命令进行数据采集。 此种采集方式的原理为登陆交换机发送特定命令后，交换机会反馈相应信息在屏幕上，且当反馈接收后不同厂商会有特定的命令结束标志。根据不同标志拷贝屏幕并保存为文本文件以供系统分析使用。 目前可以通过采集调度系统或者我们自己编写的PERL工具来配置信息获取文件。 数据采集的种类 二、数据库方式采集 此种采集方式为湖南、贵州及联通一些运营商较为常用。尤其涉及多厂商配合建设资源的情况（例如：贵州底层采集由亿阳负责，上层应用由浪潮负责）。这时数据库的采集方式便成了最合适的跨系统数据传输平台。 经过多年建设，我们此种采集方式系统已涵盖了INFORMIX、ORACLE、SYBASE三种比较常用的数据库，且完善形成了工具性的采集系统。通过配置相应信息便可完成数据采集。这种工具在后面的常用工具一章中会详细解释。 使用此种采集方式应注意两点问题：1、采集应给底层数据准备留出足够时间，避免底层数据还在生成过程中便启动采集造成锁表。2、采集应在保证不锁表的前提下尽量提前，给资源汇总留出足够时间。 数据采集的种类 三、文件方式采集 文件大致分为四种：文本文件、DB数据库文件、XML文件、EXCEL文件。此种采集方式为三种方式中相对简单的一种，通常与FTP或SMBClient配合使用，需要注意的是SMBClient为跨系统文件系统访问接口（例如UNIX系统访问Windows系统文件），需要在UNIX系统下以root用户相应配置才能生效。而且在文件分析时需要安装相应的PERL模块方可识别不同的文件格式。 使用时注意两点：1、过期历史文件的垃圾删除功能。2、文件的互斥访问功能（防止文件生成过程中被获取过来，造成数据丢失）。 目前辽宁传输资源数据的采集就是通过文件方式实现，数据文件由直真采集并放到浪潮相应的文件目录下，数据分析和入库由浪潮来处理。 资源自动采集-采集策略 通过采集任务管理平台来实现资源数据的自动采集、手工补采、采集任务监控、采集任务调度，通过任务定制界面将该采集任务保存到数据库中，通过任务调度完成数据库中该任务的调度解析，最后通过集中代理完成命令自动定时采集。 采集系统产出物 采集系统的产出物必定为以文件为载体的数据。但文件的命名必须有一定的规范。文件名包含多种信息，以“＃”分隔。形式为： 网元类型＃厂商标识＃网元名字＃命令标识＃采集时间＃进程号＃是否成功标识.src 其中是否成功标识0代表采集成功，1代表采集失败。采集时间精确到秒。 例如：MSC#SIEMENS#MSC1#statmp#20070804003000#1471#0.src 为什么以此种方式命名？ 一、此种命名方式可以唯一确定一个最小粒度的命令，以上面说明为例，文件给出了我们这样的信息：该文件为