分布式环境下通用日志系统的设计与实现-软件工程专业论文.docx

Classified Index: TP311 U.D.C.: 621.3 Dissertation for the Master’s Degree in Engineering DESIGN AND IMPLEMENTATION OF GENERAL LOGGING SYSTEM UNDER DISTRIBUTED COMPUTING ENVIRONMENT Candidate: Ruan XiaCheng Supervisor: Prof.Zhai JianHong Associate Supervisor: ZhuXiaoJun Academic Degree Applied for: Master of Engineering Speciality: Software Engineering Affiliation: School of Software Date of Defence: June, 2015 Degree-Conferring-Institution: Harbin Institute of Technology 哈尔滨工业大学工程硕士学位论文 哈尔滨工业大学工程硕士学位论文 - - I - 摘 要 记录日志在当前互联网服务中扮演了重要的角色，成为了不可忽视的重要组 成部分。无论是在软件的开发阶段，还是在软件的运行阶段，打印日志都能起到 很大的作用。通过查看日志，开发人员能了解系统正在运行的情况，进而定位和 诊断有疑问的地方；运营人员通过收集日志，能了解到业务的运营状况，用户数 量，增长趋势，使用习惯。随着互联网规模的不断扩大，用户量的增加，单机服 务由于自身的限制，已经不能满足现有的需要，服务在往分布式方向发展。而在 当前分布式环境中，记录日志成为了一个需要重新审视的问题：服务分布在多台 机器上、日志收集不便、数据量增长快，本地存储空间有限。如何支持快速、简 便同时保证数据安全地收集大数据量的日志成为了值得研究及具有商业价值的课 题。 本文全面地分析了分布式环境下通用日志系统的功能性需求，包含了记录、 查询、管理等，同时也对系统的性能及安全性提出了一定的要求。具体的工作主 要有①在分布式环境下日志系统的搭建。客户端从配置中心获取服务器信息，将 本地数据处理后交由服务器进行处理。②高性能服务端实现。服务端负责将数据 存入到数据库中，由接口层与存储层的两部分组成。考虑到写数据库的速度较慢， 为了提高并发能力，减缓接口层的压力，接口只负责获取日志内容，并转存到共 享内存。存储层负责存储数据。考虑到性能及易用性，数据库采用了 MySQL， 并且使用了 Infobright 引擎来提供高效的查询性能。③通用日志系统的设计与实 现。通过定义好接口与代理的交互协议，大多数语言可以很容易的开发出相应的 接口代码，从而接入到本系统中，进行工作。④高性能客户端的设计与实现。客 户端分为瘦接口部分及富代理部分。接口仅仅负责将日志存入到共享内存当中， 剩下的写本地日志、发送到服务端都由富代理来执行。⑤查询系统的搭建。查询 系统以网页的形式提供服务，通过 Bootstrap、jQuery 及大量辅助型插件，查询系 统提供了简洁、易用、用户友好的界面，供用户使用。并且在开发过程中，通过 收集用户意见，不断迭代，更加照顾用户的使用习惯。 整个系统经过一定的功能测试和性能测试，确定系统在基本满足用户需求的 情况下，在性能上对用户的影响做到最小。整个系统可投入实际使用和运行。 关键字：日志系统；分布式；流量控制；共享内存 - - II - Abstract Logging becomes much more important in todays internet service. During whenever developing or serving, logging can perform a big role. Software developers use logging to inspect status of system, then find and locate system bug, while bussiness operator gather stats of business, user number, user growth from logging data. As the exposive growth of internet and the size of user, one server wont be able to server well due to the limit of its resource. Distrubuted computing stands out and beco