数据采集分析系统开发和试点地区系统数据采集、清洗、分析.docx

数据采集分析系统开发及试点地区系统数据采集、清洗、分析工作需求第一部分: 数据采集分析系统开发一．软件总体要求数据采集分析系统要求可实现数据的自动同步采集与分析的数据同步系统软件。为了能够通过自动定时或不定时获取基层卫生社区服务机构的业务数据，及时把握辖区通过获取基层社区卫生服务机构的业务数据，及时准确把握辖区内各社区卫生服务机构的运行现状，并将获取的数据作为绩效管理系统对医疗卫生服务机构实施有效的绩效考核的数据依据，通过绩效考核，为卫生经费的合理划拨提供科学的依据，能实现数据自动同步抽取而进行开发和研制。二．软件功能需求实现数据定时自动采集、同步到绩效考核管理系统中。实现外部文件中数据上传并抽取文件中数据同步到绩效管理系统中。系统可手工配置数据源字段使其映射到绩效管理系统中目标源字段。针对系统采集的数据进行相关数据分析。三．功能需求描述1. 定时采集任务管理添加采集任务：添加一个任务，并对该任务的信息进行添加录入。更新采集任务：可以对当前的某个定时任务进行修改。删除采集任务：删除一个定时任务，删除时提示信息，防止误操作。重置采集任务数据：对当前某个失败的任务进行重置使其重新开始正常运行，并将信息记录到系统日志中。暂停任务：暂停某个正在运行的任务。重启任务：重新启动某个暂停的任务。立即执行任务：通过该功能可以对一个失败的或者还没有到时间的任务可以立即再次执行。采集任务查询:通过下拉框选择对应的值查询当前运行或者停止的任务2.数据采集文件管理配置数据文档管理：可实现单个或批量上传excel文件生成对应的jobxml文件。定时采集任务脚本管理：定时任务脚本管理主要作用是实现上传excel自动生成job任务到数据库。3.手工生成配置基本信息配置：对数据采集的目标数据库与源数据库发的基本信息进行配置管理，对目标数据库与源数据库发的信息进增加、修改、查询。采集数据字段映射配置：配置目标数据库与源数据库信息会，需要将源数据库表中的字段与目标数据库表中的字段进行映射，可读取源数据库表与目标数据库表中结构，实现可视化管理。数据分析与利用对采集到目标数据库的数据，进行数据加工并对数据进行合理的业务分析，并以图形和表格形式将数据直观展现以便用户结合历史情况和当前现实情况，进行合理业务调整，起到一定的决策支持作用。任务日志管理可以查看所有任务的日志，也可以通过上方的选择框选择要查看的定时任务的日志。表达式生成集成Cron时间表达式生成的工具。非功能性需求软件兼容性系统需采用B/S架构，并兼容市面主流IE6.0以上版本浏览器。可靠性系统上线后用户并发量情况相对较少，但对稳定性有一定的要求，任务一旦终止需要计入日志，可使管理员快速清晰定位原因。可用性本系统的潜在用户主要为系统管理员或维护人员具有一定的专业型，故对于可操作性和易用性的要求适中，应能让任何用户都不必借助任何操作手册或相关的系统帮助就能顺利地进行各种操作。服务时间软件服务周期为一年。第二部分: 试点地区系统数据采集、清洗、分析工作需求概况为提高试点地区医疗卫生机构信息化水平，实现对试点地区各医疗卫生机构信息的自动化抽取、清洗和分析，为此次招标的主要内容。由于试点地区医疗机构地理位置相对分散，各医疗机构使用的业务系统也不尽相同，使系统自动抽取规定的医疗数据并对数据进行清洗带来一定难度。数据时宝贵的，在完成抽取和清洗功能后，如果能对医疗数据进行合理的业务分析，将使系统数据产生更大的意义。设计原则系统应按可靠、先进、实用、经济的原则设计，同时应充分考虑系统的扩展性。系统设备选择应定位于中高档次，保障系统设备的稳定性；系统出现故障时有日志文件，管理员可及时定位故障原因。系统实现的功能应具有良好的性能价格比。系统应合理有效的利用原有安防系统设备，保护前期投资，同时充分考虑系统今后发展趋势要求。系统具有较好的兼容性，可兼容市面主流的浏览器、数据库等软件。技术路线系统整体采用B/S架构设计，并兼容市面主流浏览器。使用JAVA语言开发，开发架构需在SSH架构基础上进行适当改造以使用试点地区系统数据收取、清洗与分析的SOA，EBS的分布式需要，可采用4层结构体系机构。使用轻量级服务器，作为系统Web应用服务器。使用目前市场主流应用数据库，如MySQl、Oracle等，建议使用MySQL。4. 功能需求4.1 数据采集可实现对定时任务管理，包括当任务的新增、修改、删除以及查看功能，但当前正在运行的任务不可以修改和删除。对已经运行的任务完成暂定任务；对暂停或未开启的任务进行重新开启，如果当前某个失败的任务进行重置使其重新开始运行。完成对日志任务的管理，以查看所有的任务日志也可以查询某个任务的日志，使系统管理员可以随时跟踪和定位。完成对表达式的生成，系统科嵌入一个Cron时间表达式生成的工具4.2 数据清洗作为发现