监控日志数据库系统的开发研究及业务应用.docVIP

监控日志数据库系统的开发研究及业务应用 　　摘要：为解决传统监控日志录入不规范及数据管理差的弊端，提出了一种基于mfc定制前端，和嵌入式数据库SQLite作为后台调度的解决方案，并且已在天津网络广播电视台运维部的工作中得到了有效的应用。介绍了此系统的开发设想、开发技术、功能应用等。实践表明，该系统的引入对运维部门信息管理、数据分析能充分发挥其高效、精确的优势。 　　关键词： SQLite数据库； MFC； 嵌入式开发； 监控日志管理 　　中图分类号：TP392 文献标识码：A 文章编号：1009-3044（2014）28-6598-05 　　先前天津IPTV监控日志均为手写和word文档记录，通过日积月累的记录数据，为研究解决故障提供了依据，对于新设备、新配置也是起到观察反馈的作用。但是随着IPTV平台的业务发展扩大，日常监控任务更加繁重，数据量急剧增，传统形式的日志记录在规范录入、使用、统计查询等方面效率低下，无法真实有效利用起庞大的数据做大数据挖掘，也不能满足日益提高的维护标准。在此背景下，本人研发基于MFC （Microsoft Foundation Classes）界面，使用VC++编程完成模拟监控日志记录流程系统前端并嵌入SQLite数据库作为底层管理调用的一套完整解决方案来替代原有形式。希望通过本文的解决方案能为广电系统乃至其他注重记录日志信息的单位在实现现代化信息管理采集上提供一些参考。 　　1 开发流程 　　1.1 开发设想 　　主要替代每天的监控日志，由目前的word文档记录形式转变为通过自制MFC前端录入进嵌入式SQLite数据库的形式。其优势在于一方面可以规范数据采集形式，避免人为错误和不规范行为，为每个录入点建立一套独立的记录档案；更重要的是另一方面可以方便查询，精确到任何一种类型、一台设备、一个频道、一类故障都可以根据条件迅速定位，减轻人员的工作负担，高效管理大量的趋于碎片化的数据，评估运行情况，预警和规避问题发生，从而大幅提升部门工作效率。同时，对于监控员在录入故障信息时由被动的根据报警信息记录转型为主观判断故障点来记录，熟悉设备链路，提高排障精准度和技能熟练度。 　　设计的思路和基本模型如图1所示，主要分为数据库层面以及MFC为基础的前端软件层面。记录的信息通过 SQLite 数据库函数接口存储到本地数据库中，通过 MFC 函数库实现前端的操作。数据库文件与前端软件分离，方便软件更新功能扩展以及本地数据库备份。 　　1.2 数据库设计 　　对于数据库的选择，经过与Mysql、PostgreSQL、Access等对比与试验，最终选择的是SQLite 开源嵌入式数据库。其优势在于以下几点： 　　1） SQLite 属于一款开源的、遵守ACID、可嵌入的轻量关系数据库。它提供了对ANSI SQL92 的大多数支持。如Access数据库不支持事务操作，无法定制最合适的前端。 　　2） 适应多种操作系统如：Windows/Linux/Unix以及多种程序语言如：C/C++、PHP、Java等。这也是最终能完成软件系统的支撑点。 　　3） SQLite对比Mysql、PostgreSQL这两款开源数据库，无需任何配置部署或安装任何其他的框架，速度更快，体积最小。 　　4） SQLite引擎占用资源低，和C/S构架不同，无中间服务进程，其作为连接到程序的主要组成部分，直接读写磁盘上的数据库文件，减少内存消耗和时间延迟。 　　5） SQLite历经近14个年头的开发完善，可以支持2TB大小的数据库文件，支持完整的Unicode 编码，中文环境适应性很好，可以保存任意类型的数据。SQLite的稳定兼容性，对于日志录入这种轻量级应用，毋庸置疑。 　　SQLite 数据库是以表的形式存储数据，本系统的数据表结构设计如下表1所示，包含10项条目。 　　表1 设计的数据表结构 　　[序号＼fault_id＼整型＼主键 自动录入＼登录人＼user＼字符型＼手动输入（可查项）＼日期＼date＼日期型＼手动输入（可查项）＼时间＼time＼字符型＼手动输入＼平台＼path＼字符型＼下拉菜单选择（可查项）＼信源类型＼source＼字符型＼下拉菜单选择（可查项）＼故障节点＼node＼字符型＼下拉菜单选择（可查项）＼故障频道＼program＼字符型＼下拉菜单选择（可查项）＼故障原因＼description＼字符型＼下拉菜单选择（可查项）＼备注＼remark＼字符型＼手动输入＼] 　　1.3 软件设计 　　基于MFC的非模态对话框设计，以模块化逐层对话框展开呈现，支持后续的功能扩展，目前除包含录入与查询的基础功能之外，还附加通知和通讯录功能。具体的界面安排及实现全部本着贴近实际使用流程而布置