电信DMS项目数据采集与整合分析设计.docVIP

  • 3
  • 0
  • 约1.28万字
  • 约 32页
  • 2017-10-27 发布于重庆
  • 举报

电信DMS项目数据采集与整合分析设计.doc

电信DMS项目数据采集与整合分析设计

电信营运设计 后台:数据采集与整合 文档编号: Version 1.0 2008年05月 达内IT培训集团 修改记录 摘要 日期 修改原因 版本 2008-05-28 新建 1.0 数据采集 UI设计 (无) 数据采集类图设计 数据采集客户端 类结构概要说明-类图 类功能结构说明-时序图 配置文件说明: 为了保证系统得灵活性,在该系统中把服务器和本机有关的参数都通过属性文件配置,由程序动态读取。文件名确定为unix_server.properties 属性key 属性value例子 备注说明 interval interval = 60 采集的间隔时间,以分钟为单位 ip ip = 192.168.0.20 采集点的IP地址。 sourcefile sourcefile= f:\\usr\\adm\\wtmpx 采集的源的文件名,包含目录 destinationpath destinationpath= f:\\usr\\history\\ 采集源的备份目录,目录后面必须加\目录分隔符号。 command command=cmd /C move 数据源被采集的时候,先移动到备份目录,这个属性设置数据源文件移动的shell指令或dos指令。 historyfile historyfile = history.dat 由于在采集的时候有的用户正在登录中,还没有登出,所以无法处理这种数据,这就是不能匹配成对的数据。这些数据必须保存起来,在下次采集的时候用来匹配,这个属性就是设置没有匹配成功的数据的保存文件名。该属性只指定文件名,目录采用上面指定的备份目录。 serverip serverip = 127.0.0.1 接收服务器IP serverport 接收服务器端口。 storefile storefile= store.dat 数据发送失败的临时存储文件。目录采用使用上面的指定的备份目录。 类详细说明 类CollectionLaunchor 采集主程序类,发动采集线程。 Main函数 函数说明 创建CollectionThread线程对象,并调用run函数启动线程。 参数 args:环境变量参数 返回类型 void 函数流程说明 注意:该启动器可以由用户发起为一个后台服务,也可以由Unix的定时服务发起,我们采用使用Unix发起的方式。 用户后台服务发起的方式只需要把线程的运行方式改变成循环就是。 类CollectionThread 采集线程,负责启动采集过程。封装一个采集线程。该类主要调用采集器类DataCollector进行数据采集。该类继承JDK的Thread类 函数run: 函数说明 就是主要创建DataCollector对象,并调用其collection函数进行数据采集。该函数是Thread的run函数覆盖函数. 参数 void 返回类型 void 流程说明 函数start(): 函数说明 负责启动线程,该函数来自Thread线程类,该函数继承自JDK标准类Thread。 参数 void 返回类型 void . 注意:该线程是否循环决定采集器启动的方式是否利用Unix的定时启动功能,如果采用Unix的定时功能,则该线程采集完毕自动关闭清空。 类DataCollector 负责采集环境的处理与数据采集,分析处理。所有的采集任务有该类完成,主要获取本机IP,复制备份并清空日志文件,读取日志文件,解析日志文件,匹配处理日志登录/登出记录获取用户登录时间,在线用户下次匹配。 函数getNativeIP 函数说明 读取要采集服务器的IP,该IP用属性文件配置。 参数 void 返回类型 String 返回属性文件中配置的本机的IP地址数据 函数 initlog() 函数说明 负责调用Runtime执行mv shell指令进行日志文件的备份并清空原始文件。备份的文件名wtmpx+年(4位)+月(2位)+日(2位)+时(2位),比如wtmpx2008053013. 参数 void 返回类型 String 返回的是采集数据源的备份文件(包含路径) 注意:利用Unix系统的Kenerl函数读取的时候,该文件必须采用x结尾,在这里用java处理就不需要。 函数mappingLogBuffer 函数说明 函数原型: public MappedByteBuffer mappingLogBuffer(String fileName) 主要把备份的日志文件映射为本地内存缓冲,便于后面解析。 参数 String filename 备份日志文件名 返回类型 MappedByteBuffer本地文件映射缓冲Mappe

文档评论(0)

1亿VIP精品文档

相关文档