- 3
- 0
- 约1.28万字
- 约 32页
- 2017-10-27 发布于重庆
- 举报
电信DMS项目数据采集与整合分析设计
电信营运设计
后台:数据采集与整合
文档编号:
Version 1.0
2008年05月
达内IT培训集团
修改记录
摘要 日期 修改原因 版本 2008-05-28 新建 1.0
数据采集
UI设计
(无)
数据采集类图设计
数据采集客户端
类结构概要说明-类图
类功能结构说明-时序图
配置文件说明:
为了保证系统得灵活性,在该系统中把服务器和本机有关的参数都通过属性文件配置,由程序动态读取。文件名确定为unix_server.properties
属性key 属性value例子 备注说明 interval interval = 60 采集的间隔时间,以分钟为单位 ip ip = 192.168.0.20 采集点的IP地址。 sourcefile sourcefile= f:\\usr\\adm\\wtmpx 采集的源的文件名,包含目录 destinationpath destinationpath= f:\\usr\\history\\ 采集源的备份目录,目录后面必须加\目录分隔符号。 command command=cmd /C move 数据源被采集的时候,先移动到备份目录,这个属性设置数据源文件移动的shell指令或dos指令。 historyfile historyfile = history.dat 由于在采集的时候有的用户正在登录中,还没有登出,所以无法处理这种数据,这就是不能匹配成对的数据。这些数据必须保存起来,在下次采集的时候用来匹配,这个属性就是设置没有匹配成功的数据的保存文件名。该属性只指定文件名,目录采用上面指定的备份目录。 serverip serverip = 127.0.0.1 接收服务器IP serverport 接收服务器端口。 storefile storefile= store.dat 数据发送失败的临时存储文件。目录采用使用上面的指定的备份目录。
类详细说明
类CollectionLaunchor 采集主程序类,发动采集线程。
Main函数
函数说明 创建CollectionThread线程对象,并调用run函数启动线程。 参数 args:环境变量参数 返回类型 void 函数流程说明
注意:该启动器可以由用户发起为一个后台服务,也可以由Unix的定时服务发起,我们采用使用Unix发起的方式。 用户后台服务发起的方式只需要把线程的运行方式改变成循环就是。
类CollectionThread 采集线程,负责启动采集过程。封装一个采集线程。该类主要调用采集器类DataCollector进行数据采集。该类继承JDK的Thread类
函数run:
函数说明 就是主要创建DataCollector对象,并调用其collection函数进行数据采集。该函数是Thread的run函数覆盖函数. 参数 void 返回类型 void 流程说明
函数start():
函数说明 负责启动线程,该函数来自Thread线程类,该函数继承自JDK标准类Thread。 参数 void 返回类型 void .
注意:该线程是否循环决定采集器启动的方式是否利用Unix的定时启动功能,如果采用Unix的定时功能,则该线程采集完毕自动关闭清空。
类DataCollector 负责采集环境的处理与数据采集,分析处理。所有的采集任务有该类完成,主要获取本机IP,复制备份并清空日志文件,读取日志文件,解析日志文件,匹配处理日志登录/登出记录获取用户登录时间,在线用户下次匹配。
函数getNativeIP
函数说明 读取要采集服务器的IP,该IP用属性文件配置。 参数 void 返回类型 String 返回属性文件中配置的本机的IP地址数据
函数 initlog()
函数说明 负责调用Runtime执行mv shell指令进行日志文件的备份并清空原始文件。备份的文件名wtmpx+年(4位)+月(2位)+日(2位)+时(2位),比如wtmpx2008053013. 参数 void 返回类型 String 返回的是采集数据源的备份文件(包含路径) 注意:利用Unix系统的Kenerl函数读取的时候,该文件必须采用x结尾,在这里用java处理就不需要。
函数mappingLogBuffer
函数说明 函数原型:
public MappedByteBuffer mappingLogBuffer(String fileName)
主要把备份的日志文件映射为本地内存缓冲,便于后面解析。 参数 String filename 备份日志文件名 返回类型 MappedByteBuffer本地文件映射缓冲Mappe
您可能关注的文档
最近下载
- 河北广谋新材料科技有限公司年产600万平方米复合革及隔音布、400万平方米新型复合网项目环境影响报告表.docx VIP
- 部编版语文五年级下册第七单元教材解读大单元集体备课.pptx VIP
- 部编版语文五年级下册第六单元教材解读大单元集体备课.pptx VIP
- 部编版语文五年级下册第五单元教材解读大单元集体备课.pptx VIP
- 部编版语文五年级下册第四单元教材解读大单元集体备课.pptx VIP
- 部编版语文五年级下册第三单元教材解读大单元集体备课.pptx VIP
- 部编版语文五年级下册第二单元教材解读大单元集体备课.pptx VIP
- 部编版语文五年级下册第一单元教材解读大单元集体备课.pptx VIP
- 车工 (数控车床)理论知识考核要素细目表四级.pdf VIP
- 本科课程《基础护理学》教案,第十二章给药.doc VIP
原创力文档

文档评论(0)