电信营运设计-数据采集与整合.doc

电信营运设计 后台：数据采集与整合 文档编号： Version 1.0 2008年05月 达内IT培训集团 修改记录 摘要 日期 修改原因 版本 2008-05-28 新建 1．0 数据采集 UI设计 （无） 数据采集类图设计 数据采集客户端 类结构概要说明-类图 类功能结构说明-时序图 类详细说明 CollectionLaunchor 采集主程序类，发动采集线程。 客户采集启动器，主要启动采集线程，单独启动一个线程进行数据采集 在main函数中创建CollectionThread线程对象，并调用run函数启动线程。 注意：该启动器可以由用户发起为一个后台服务，也可以由Unix的定时服务发起，我们采用使用Unix发起的方式。 用户后台服务发起的方式只需要把线程的运行方式改变成循环就是。 CollectionThread 采集线程，负责启动采集过程。 封装一个采集线程。该类主要调用采集器类DataCollector进行数据采集。 函数run(): 就是主要创建DataCollector对象，并调用其collection函数进行数据采集。该函数是Thread的run函数覆盖函数. 函数start(): 负责启动线程，该函数来自Thread线程类. 注意：该线程是否循环决定采集器启动的方式是否利用Unix的定时启动功能，如果采用Unix的定时功能，则该线程采集完毕自动关闭清空。 DataCollector 负责采集环境的处理与数据采集，分析处理 所有的采集任务有该类完成，主要获取本机IP，复制备份并清空日志文件，读取日志文件，解析日志文件，匹配处理日志登录/登出记录获取用户登录时间，在线用户下次匹配。 函数getNativeIP 读取要采集服务器的IP，该IP用属性文件配置。 函数 initlog（）负责调用Runtime执行mv shell指令进行日志文件的备份并清空原始文件。备份的文件名wtmpx+年(4位)+月（2位）+日（2位）+时（2位），比如wtmpx2008053013. 注意：利用Unix系统的Kenerl函数读取的时候，该文件必须采用x结尾，在这里用java处理就不需要。 函数mappingLogBuffer 主要把备份的日志文件映射为本地内存缓冲，便于后面解析。参数是备份日志文件名，返回MappedByteBuffer. 函数parseLogBuffer，负责解析缓冲的内存结构，利用参数返回两个Vector结构对象，一个存放登录数据，一个存放登出数据，Vecotor中存放的元素类型是LogRecord.该类型请参考LogRecord类说明。 【参考】 #define EMPTY 0 #define RUN_LVL 1 #define BOOT_TIME 2 #define OLD_TIME 3 #define NEW_TIME 4 #define INIT_PROCESS 5 #define LOGIN_PROCESS 6 --登录进程 #define USER_PROCESS 7 --用户进程 #define DEAD_PROCESS 8 --终止进程 函数activate 负责把上次为匹配的数据读取为Vector结构。便于后面匹配。参数是存放上次未匹配的登录日志记录，返回Vector结构，其中元素类型LogRecord。 函数match，负责匹配登录/登出数据，并返回用户登录时间数据。参数是两个Vector类型的登录/登出数据结构，元素类型是LogRecord,返回的是匹配好的用户登录时长记录，数据类型是Vector，其中元素类型是MatchedRecord,详细说明请 参考MatchedRecord类的说明。 函数passivate,负责把这次没有匹配好的登录记录保存成文件，以便下次采集的时候匹配。参数是没有匹配好的登录记录,类型是Vector，其中元素类型是LogRecord. 函数collect,负责整个采集过程。这是该类中的唯一的一个public函数，主要供采集线程调用。 LogRecord类，负责登录/登出数据封装。 MatchedRecord类，负责匹配好的数据的封装。 CollectionListener接口，规范采集好的数据的处理方式。 函数deal，负责匹配好数据的处理，返回void,参数是Vector类型，元素类型是MatchedRecord,是匹配好的所有登录时长数据。 LogDealer类，负责匹配好数据的发送处理，如果发送失败，则数据被保存。该类主要实现CollectionListener接口。 函数init，主要初始化服务器参数，服务器参数使用属性文件配置IP与Port。 函数initSocket，主要初始化网络