数据采集系统设计思路.docx

数据采集系统设计思路

根本功能

将各采集点，如医院，药店等数据库〔或其它数据载体〕中的数据按照一定的规那么提取，生成适合传输和存贮的文件，通过互联网将文件上传到效劳器，效劳器对数据进行分析处理，并按照一定的配置条件进行数据告警处理，最后把数据存贮于数据库效劳器中，提供应其它应用系统进行数据查阅。

根本架构

主要包括前端数据采集和后台数据存贮两大功能。前端采集负责把各种数据源中的数据按要求存为文件上传到后台效劳器；后台效劳主要将上传的文件进行分析和存贮，如下列图。

功能组成模块

前端采集系统功能模块：

前端采集系统主要包括配置效劳、数据查询、文件上传、日志、错误处理、自动更新效劳、平安效劳、网络效劳等模块，各模块主要功能如下：

配置效劳模块

配置模块至少提供二类接口，一是本地配置接口，本地可以通过配置界面进行相关参数设置；二是远程配置接口，远程效劳器可以通过此接口下达配置命令，实现远程配置，方便以后前端系统的维护。

需要实现的根本配置项：

效劳器相关，包括效劳器地址，端口，使用长连接还是短连接等。

文件传输相关，自动上传时间；文件在效劳器上存贮的相对位置；多个文件传输时使用单连接还是多连接传输。文件上传失败的重传间隔等。

数据库访问相关，数据库连接相关配置，包括数据库类型，连接串，用户名，密码；获得查询结果的相关SQL查询语句和查询条件；数据定时采集的时间；多条采集命令的优先级等。

程序升级更新相关，包括手动还是自动更新，自动更新的时间等。

其它配置，包括是否记录日志文件，日志文件存放的路径，单个日志文件的大小，日志文件最长存放的时间，采集文件存放路径，是否删除已经上传的采集文件，是否对可用磁盘空间进行监控和剩余空间缺乏告警；登录相关配置等

注：招唤采集不提供单独的配置，招唤采集其实就是定时采集，由效劳器下达一个优先级较高并立即执行的采集配置命令即可。

配置数据读取功能，读取配置数据，提供应其它模块使用。

数据查询模块

针对不同的数据库，根据配置条件或接收的命令，查询数据库，生成查询结果记录集，系列化为二进制文件，使用高效压缩算法对文件进行压缩，按照文件命名规那么存贮于指定位置。

文件上传模块

按照配置条件或接收到的命令，上传文件，包括需要的任何文件，如采集的二进制结果文件，日志记录文件等。

日志模块

提供日志记录功能，其它模块可以通过本模块提供的接口进行日志记录。以及日志查询功能。

错误处理模块

包括输出程序出错信息，向效劳器提供出错信息，便于程序排错升级。

自动更新效劳

提供手动或自动更新效劳，或者为效劳器强制更新提供效劳。

平安效劳

提供前端系统登录认证效劳，防止非法使用系统。

网络效劳

提供与效劳的连接效劳，维护与效劳的连接，与效劳进行信息传输和文件传输，接收命令，将命令分发给相应的模块，转发各模块向效劳器发送的效劳请求。

前端采集系统模块之间的层次关系

各模块功能独立，通过各自提供的效劳接口进行关联。实现网络，业务逻辑，界面别离。

后台存贮系统功能模块

根本参数配置功能，包括网络相关配置，告警参数配置，存贮配置,登录用户配置等，如网络参数配置:

网络效劳模块，提供socket连接的效劳端，为前端系统提供连接效劳。接收前端系统发送的数据，解析数据，分发给其它模块；转发各种命令给前端采集系统。

数据分析处理模块，如更新效劳请求，招唤采集命令等的执行结果，文件传输。

数据告警模块，告警模块提供各种告警效劳，每种效劳对自己关心的数据进行告警；根据告警的优先级，最高级的告警效劳先接收数据分析模块传来的数据，判断是否告警，然后传给下一级的告警效劳，直到配置的所以告警类型全部处理完毕。

数据存贮效劳模块，将采集结果写入数据库。

提供升级更新效劳的模块。为前端提供手动，自动，和强制升级效劳，包括升级程序和配置。

日志效劳和前端登录认证效劳。

后台存贮系统模块之间的层次关系