基于SSH的电信数据采集与整合.doc

基于SSH的电信数据采集与整合 序 言 本课题采用由亚信公司提供的“电信用户管理和计费系统NetCT OSS” 该系统是一个典型的基于Unix平台、Mysql数据库、Web界面，以Java语言实现的大型软件项目，是为电信运营的IP计费服务的。该系统运行于Tomcat平台,采用JavaEE架构、Struts框架，Hibernate、Spring技术及Mysql数据库，并成功运行于Sun Solaris UNIX及Windows2000环境下。该系统主要分为用户自服务管理模块，管理员管理模块，用户管理等模块，资费模块，帐单和帐务模块以及数据采集与整合模块。本论文主要阐述的是该系统下的两个模块，数据采集与整合。 数据采集与整合是整个系统的后台实现，功能是定期采集(采集系统)原始计费日志文件，并将采集的数据封装整合，然后通过Socket将数据传送到数据采集服务端；中数据采集服务端将数据保存到Mysql数据库当前时间所对应的t_daily_x表中，最后周期性进行数据的整合(整合系统)。 该课题在设计中要解决的主要问题就是在采集过程中，如何解决数据匹配问题，如何将采集到的有效数据封装成我们需要的结构并输出到网络另一端，由接收端将数据插入到数据库中，如何在数据库中进行周期整合，产生系统所需要的各个表。指导这些问题解决的思想就是文件读写、socket编程和UNIX下的作业操作。 在设计中主要用到的语言以及技术主要是Java、jdbc。之所以选择这些语言及技术，一方面是因为在电信运营支撑系统中，安全性有着很关键的作用，安全性直接影响着整个系统的使用，另一方面是在Java语言中，已经存在对日志文件读取的各种方法，可以很方便的实现采集。考虑到数据采集与整合的这些诸多特点，所以在做该子系统时选择了Java、jdbc等语言和技术。 第1章 概述 1.1 课题的背景及意义 随着网络的不断发展，网络几乎进入了家家户户。查资料需要网络，看新闻需要网络，看电影需要网络，买东西也需要网络，网络给人们带来的方便无处不在，人们需要使用网络的愿望也越来越大。无法想象人们离开网络会是什么样的。现阶段，要想上网就必须向网络运营商申请代理服务器，随之而产生的问题就是计费和管理问题。另一方面为了让用户更放心的使用网络运营商的代理服务器，让用户随时可以查询自己的信息及使用情况，方便网络运营商管理一系列的复杂事物，以及处理大量的数据，我们设计了本系统。系统只针对电信运营商出租的实验室，即服务器。 《基于SSH电信系统》是利用J2EE平台下的WEB技术设计和运行。通过读取服务器日志文件采集数据然后整和到数据库中,供用户和管理员使用.其中持久层采用封装了JDBC的Hibernate框架,数据库采用Mysql,利用Struts框架作为控制器,页面显示采用JSP技术,并且用Spring框架整合Hibernate、Struts,完成企业级应用。 1.2 课题内容及目标 基于SSH的电信系统的后台数据服务模块分为数据采集和数据整合模块。数据采集模块负责读取数据服务器日志文件，并进行过滤，将符合要求的数据存入数据库；数据整合端负责将数据库中的原数据按年、月、日进行数据整合，并将整合后的数据存入数据库中。 1.3 开发及运行环境 基于SSH的电信系统的后台数据服务模块在开发时采用C/S架构，使用Myeclipce6.0的运行环境；服务器和客户机都采用Windows XP操作系统；数据库服务器是Mysql5.0 ； 第2章 系统分析和设计 2.2系统设计思想 随着网络的不断发展，网络几乎进入了家家户户。查资料需要网络，看新闻需要网络，看电影需要网络，买东西也需要网络，网络给人们带来的方便无处不在，人们需要使用网络的愿望也越来越大。无法想象人们离开网络会是什么样的。现阶段，要想上网就必须向网络运营商申请代理服务器，随之而产生的问题就是计费和管理问题。另一方面为了让用户更放心的使用网络运营商的代理服务器，让用户随时可以查询自己的信息及使用情况，方便网络运营商管理一系列的复杂事物，以及处理大量的数据，我们设计了本系统。系统只针对电信运营商出租的实验室，即服务器。 《基于ssh的电信计费系统》是利用J2EE平台下的WEB技术设计和运行.通过采集数据然后整和到数据库中,供用户和管理员使用.其中持久层采用封装了JDBC的Hibernate框架,数据库采用Oracle,利用Struts框架作为控制器,页面显示采用JSP技术,并且用Spring框架整和Hibernate、Spring,完成企业级应用。 2.2系统功能描述： WEB系统可供用户和管理员查询相关内容。通过登录该系统，用户可以完成查询帐单，修改个人信息，浏览电信运营商提供的各种资费服务。管理员可以完成查询所有用户帐单，