数据监控2.docxVIP

1.数据交换监控数据交换监控管理模块需要实时了解数据交换节点运行状态、节点之间的链接状态、数据传输状态等关于数据交换平台运行情况，并根据运行情况进行分析、分析等。1.1传输状态监控传输监控的主要任务是对交换平台本身和流过交换平台的数据包进行观察与控制。传输监控包括如下几个方面：（1）对数据流量和状态的查询、统计与审计；（2）对信息交换平台自身运行状态的查询和监控；（3）对信息交换平台的远程监控。数据流量和状态的监控，首先是对于所有通过信息交换平台进行交换的数据总量的把握，其次是对每个通过信息交换平台的数据包状态的微观把握。通过监控功能，可以了解在指定时间内按照进入/转出、目的地/来源地、数据量大小等项目进行查询和统计，从而实现对总量的把握；通过对数据状态（例如等待处理、正在进行、处理完毕、回执收到、处理中断等）的监控，可以追踪某一个指定数据的状态。对信息交换平台自身运行状态的查询和监控，是为了确认信息交换平台自身的运行是否正常。查询和监控的对象主要是构成共享平台的各类软件运行实体（例如进程、队列等）。以进程为例，监控的主要操作包括查询进程状态、停止进程、重新启动进程等。对信息交换平台的远程监控，是指通过监控命令的交换，对系统中的远端信息交换平台部件进行上述监控。由于信息交换平台的运行记录不仅是进行监控的重要依据，还是进行审计的重要基础，因此根据监控的功能设计，必须实现相应的日志机制。1.2交换预警处理(1)当节点队列消息数、队列容量等达到预定的阈值时，可及时进行预警，以便运维人员进行处理；(2)当节点碰盘空间、数据库表空间等达到预定的阈值时，x可及时进行预警，以便维护人员进行处理。1.3交换追踪可远程查询某一时间段两个节点之间的日志，并对交换的整个过程进行追踪分析，调取任意一次、任一节点上的日志，进行分析与故障排查。1.4交换统计(1)可现实按时段、按单位、按业务等多维度统计分析功能，为业务系统提供统计报表；(2)可现实对交换调度、数据封装、数据传输、数据解析等各个环节的耗时分析，分析影响数据交换的因素。如图：2.数据库数据监控数据交换平台涉及中心数据库，前置节点数据库等多套数据库系统，通过监控系统能实时了解各节点数据运行的状态，能通过图示的方式进行提醒。2.1数据处理流程的监视2.1.1未处理的文件数主要查看资料处理的原始目录下有多少未处理的文件,当未处理文件个数超过设置的阀值时,给出相应的报警信息。2.1.2要素资料的入库情况根据实时用户使用要素资料的时间规律以及各种资料的应到站号表,定时查看关心站点的资料到达情况,如果某个站点资料未到,则给出报警提示信息,并通过弹出的小窗口,列出详细的未到站号;此外监视系统还实时显示数据库中对传输过来的数据起到关键作用的资料的统计信息。2.1.3各点资料的入库情况根据实时用户使用格点资料的时间规律以及资料到达的实际时间,为每一中心的资料制定了查看起始时间和截止时间,/查看起始时间0表示在这个时间必须要有资料入库了,/查看截止时间0表示在这个时间该中心这个时次的资料必须到齐,如果超过以上时间没有收到资料或资料没有到齐,则给出异常资料的详细描述信息;此外监视系统还实时显示数据库中格点资料的统计信息。2.1.4数据库运行日志监控数据同步过程中的异常数据，日志系统会自动记录下来，包括数据和错误原因。在监控平台上，可以查看数据库的运行状态，供系统维护人员进行分析处理。设置数据传输最大和最小阈值。当超出阈值根据信息影响范围，以日志的形式通告维护人员。3.前置机监控3.1前置机运行监控对服务器上运行的数据库服务进行实时监控，当发现受监控的数据库服务不能正常提供服务时，重新启动该服务，以使其能够运行正常，并将问题发生时间和处理信息写入日志文件，以供网络管理人员进行分析。3.2适配器监控对数据交换计算机的端口进行监控，验证数据交换是否正常运行，可以及时发现问题，处理问题，保证数据交换正常运行。4.网络连接异常监控为了实时保障数据的准确传输以及保证数据传输的稳定性，对网络连接进行检测。网络性能管理通过SNMP、ICMP等多种方式检查网络设备的性能，线路的连通性和服务质量，同时通过对网络协议和服务的检查，查看网络为业务提供的服务的可用性和服务质量。其中可通过监测端口的方式来监听前置机或是服务器是否连接成功，如若不成功则通则维护人员进行处理。5.统计分析5.1数据分析数据分析有极广泛的应用范围。典型的数据分析可能包含以下三个步：5.1.1探索性数据分析当数据刚取得时，可能杂乱无章，看不出规律，通过作图、造表、用各种形式的方程拟合，计算某些特征量等手段探索规律性的可能形式，即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。5.1.2模型选定分析在探索性分析的基础上提出一类或几类可能的模型，然后通过进一步的