一种使用Node.js构建的分布式数据流日志服务系统①.PDFVIP

计 算 机 系 统 应 用 2013 年 第 22 卷 第 2 期 一种使用Node.js 构建的分布式数据流日志服务系统① 张 煜 (上海阿尔卡特网络支援系统有限公司 技术项目管理部, 上海 200122) 摘 要: 介绍了使用 Node.js 来实现一个分布式的数据流日志处理系统. 为解决随着运行服务数量的增加, 基于 文件的日志操作会带来的存储性能瓶颈和必须要多处查看等问题提供一种方案. 将日志从文件还原为流, 利用 Node.js 来实现一个可分布式获得各日志数据流并且汇聚到中心存储的新型日志系统 octoLogStreamlet. 充分利用 Node.js 的非阻塞 I/O 特性及 NoSQL 数据库的读写高性能, 实现多个数据流同时写入. 系统适用于有集中存放日 志需求的计算机服务集群. 集中存放后对日志的处理和使用均提供了极大的便利. 关键词: 数据流; 非阻塞 I/O; 日志; Node.js; Redis Distributed Data Stream Log Service System Built with Node.js ZHANG Yu (Technology and Project management Division, Shanghai Alcatel Network Support System Co.,Ltd., Shanghai 200122, China) Abstract: This paper introduces a distributed log service System treating logs as data streams built with Node.js. and provides a solution to the problem that with the service number increases, the operation based on files gives rise to disadvantages that files I/O have performance bottleneck and have to be checked at multiple places. Logs are considered as a sort of data stream rather than files. Write a new log service system named octoLogStreamlet which collects the streams to a central storage with Node.js. Combining Node.js’ non-blocking I/O model and outstanding performance of NoSQL database, the system meets the requirements to cope with distributed data streams. The system is suitable for computer clusters needing centralized storage of logs, which provides great convenience for processing and utilizing logs. Key words: data stream; non-blocking I/O; log; Node.js; Redis 传统的服务器后台进程通常使用文件来存放日志, 有 1 个Nginx, 3 个 Tomcat, 则可能会需要同时查看4 个 一般而言会提供缺省的文件路径并允许用户对文件日 日志文件才能完成对系统的访问情况的跟踪. 而且日志 志存放的位置进行配置[1]. 比如 Nginx 默认的日志就 的容量和读写速度完全受限于