电信营运设计-据采集与整合20080701.docVIP

电信营运设计 后台：数据采集与整合 文档编号： Version 1.0 2008年05月 达内IT培训集团 修改记录 摘要 日期 修改原因 版本 2008-05-28 新建 1．0 数据采集 UI设计 （无） 数据采集类图设计 数据采集客户端 类结构概要说明-类图 类功能结构说明-时序图 配置文件说明： 为了保证系统得灵活性，在该系统中把服务器和本机有关的参数都通过属性文件配置，由程序动态读取。文件名确定为unix_server.properties 属性key 属性value例子 备注说明 interval interval = 60 采集的间隔时间,以分钟为单位 ip ip = 192.168.0.20 采集点的IP地址。 sourcefile sourcefile= f:\\usr\\adm\\wtmpx 采集的源的文件名，包含目录 destinationpath destinationpath= f:\\usr\\history\\ 采集源的备份目录，目录后面必须加\目录分隔符号。 command command=cmd /C move 数据源被采集的时候，先移动到备份目录，这个属性设置数据源文件移动的shell指令或dos指令。 historyfile historyfile = history.dat 由于在采集的时候有的用户正在登录中，还没有登出，所以无法处理这种数据，这就是不能匹配成对的数据。这些数据必须保存起来，在下次采集的时候用来匹配，这个属性就是设置没有匹配成功的数据的保存文件名。该属性只指定文件名，目录采用上面指定的备份目录。 serverip serverip = 127.0.0.1 接收服务器IP serverport 接收服务器端口。 storefile storefile= store.dat 数据发送失败的临时存储文件。目录采用使用上面的指定的备份目录。 类详细说明 类CollectionLaunchor 采集主程序类，发动采集线程。 Main函数 函数说明 创建CollectionThread线程对象，并调用run函数启动线程。 参数 args：环境变量参数 返回类型 void 函数流程说明 注意：该启动器可以由用户发起为一个后台服务，也可以由Unix的定时服务发起，我们采用使用Unix发起的方式。 用户后台服务发起的方式只需要把线程的运行方式改变成循环就是。 类CollectionThread 采集线程，负责启动采集过程。封装一个采集线程。该类主要调用采集器类DataCollector进行数据采集。该类继承JDK的Thread类 函数run: 函数说明 就是主要创建DataCollector对象，并调用其collection函数进行数据采集。该函数是Thread的run函数覆盖函数. 参数 void 返回类型 void 流程说明 函数start(): 函数说明 负责启动线程，该函数来自Thread线程类，该函数继承自JDK标准类Thread。 参数 void 返回类型 void . 注意：该线程是否循环决定采集器启动的方式是否利用Unix的定时启动功能，如果采用Unix的定时功能，则该线程采集完毕自动关闭清空。 类DataCollector 负责采集环境的处理与数据采集，分析处理。所有的采集任务有该类完成，主要获取本机IP，复制备份并清空日志文件，读取日志文件，解析日志文件，匹配处理日志登录/登出记录获取用户登录时间，在线用户下次匹配。 函数getNativeIP 函数说明 读取要采集服务器的IP，该IP用属性文件配置。 参数 void 返回类型 String 返回属性文件中配置的本机的IP地址数据 函数 initlog（） 函数说明 负责调用Runtime执行mv shell指令进行日志文件的备份并清空原始文件。备份的文件名wtmpx+年(4位)+月（2位）+日（2位）+时（2位），比如wtmpx2008053013. 参数 void 返回类型 String 返回的是采集数据源的备份文件（包含路径） 注意：利用Unix系统的Kenerl函数读取的时候，该文件必须采用x结尾，在这里用java处理就不需要。 函数mappingLogBuffer 函数说明 函数原型： public MappedByteBuffer mappingLogBuffer(String fileName) 主要把备份的日志文件映射为本地内存缓冲，便于后面解析