医联体协作、数据汇聚、共享管理平台设计方案.docxVIP

3医联体协作、数据汇聚、共享管理平台

3.1信息前置管理平台

信息前置管理平台是XX新区医院数据中心进行数据共享的中转站，定期采集或导入运营数据及科研数据，用于规范数据的存储结构，并采用技术手段对纳入的数据进行严格的审查与清洗，以便于后期数据的使用与共享。

3.1.1大数据采集

采集中心子系统主要向采集前置机派发采集任务，采集前置机执行采集任务并将采集数据文件传输至采集中心，采集中心收到数据文件后通知大数据中心进行入库；采集中心子系统需要对各被采集的医疗机构管理、元数据管理、采集管理、采集报表、调度管理及实现前置机远程升级。

为保障数据采集的稳定有序运行，采集中心将会分发采集任务至各家机构的采集前置机，采集前置机负责执行采集任务，针对不同类型的任务，前置机通过不同的服务来执行。

机构管理

可对接入采集中心的机构信息如机构名称、机构编码、经营性质等进行管理，包括增加、修改和删除等；

可对机构的基本信息进行查询和检索；

当遇到特殊情况需要临时暂停改机构采集任务时，可关闭指定机构的采集任务，同时在有需要时可重新开启采集任务。

元数据管理

可对接入采集中心的医疗机构各业务系统的数据表进行管理，包括数据表类型、表重要性、表见关系等；

可对医疗机构的元数据日志进行管理，包括业务系统元数据的变化情况，如增加、修改、删除了那些表或字段等。

采集管理

为满足科研、人工智能等批量数据应用需求，可支持获取增量数据的接口，通过管控列标识来实现增量数据的采集方式；

根据采集前置机和接入结构负载能力的不同，可制定不同的采集策略，以降低数据采集对源系统的影响；

可按照采集规则生成采集任务，通过调度程序发送至采集前置机由其执行采集任务；

可保障采集前置机的稳定运行，包括监控前置机的状态、运行服务组件，

实现智能化运维；

可在数据采集过程中对医疗机构数据库中存在的、与大数据中心存储引擎有差异的特数字符进行转换后进行存储。

质量管理

支持通过报表方式分析数据采集的完整性，分别从数据汇总、任务汇总、明细三个为分析；

支持在特定时间内采集的数据和机构源数据进行数据量对比，确保数据采集符合预期，保障数据采集的完整性。

调度管理

支持采集规则定时启动采集任务或关闭采集任务；

支持根据各节点任务饱和度实时派发任务；

支持根据网络流量负载实时调整传输任务；

在特定时间内采集的数据和机构源数据进行数据量对比，确保数据采集符合预期，保障数据采集的完整性。

远程升级

支持采集系统的远程升级，同时在测试发生问题时可在线回滚，确保远程升级可靠性。

数据采集服务

支持对采集中心派发结构化数据的采集任务，实现对医疗机构结构化数据的采集并回传至采集中心，采集任务信息包括数据文件输出路径、数据文件名、字段分隔符、脚本执行状态等。

影像采集服务

支持对采集中心派发影像数据的采集任务，对医疗机构的影像文件进行采集，并将所采集的影像文件按照任务要求回传至采集中心。

数据加密

为增加数据传输过程中的安全性，采集任务将采集数据文件传输至采集中心过程中，采集数据除了通过选用AES，RSA，MD5等加密方式外，在每个任务的数据文件中加入不同随机的混淆字符进行加密，增加额外的安全性。

3.1.2大数据管理

大数据管理是整个健康医疗大数据平台的功能枢纽，需存储大数据采集完成的数据，实现对数据的统一存储管理；需接收大数据治理的数据治理逻辑并将其转化为可执行作业，通过这些作业的执行真正实现数据治理过程；需响应来自大数据检索和大数据服务的请求，提供数据查询检索和数据抽取服务。

作业管理

支持对作业分类管理，用户可自行创建和维护作业类目录树；支持作业的配置管理，提供作业创建、修改、删除和查询功能；

支持作业的调度策略配置管理，提供调度策略的创建、修改、删除和查询功能；

支持对一个作业的若干任务的配置，提供任务的创建、修改、删除和查询功能；

任务调度引擎可实现对任务和作业的状态维护，包括对作业的提交、对已提交任务的执行状态跟踪以及执行错误任务的处理等；

支持对作业执行状态以及任务执行结果的监控；

支持通过可视化界面编辑SQL和相关配置完成ETL流程；

任务调度引擎支持定时时间触发执行数据处理任务；

任务调度引擎支持数据从医院采集到大数据入库再到中间层、集市层的完整依赖链。中间层依赖的相关医院表的所有采集任务完成后执行相关数据处理、转换任务。

数据计算管理

支持流失数据处理引擎和批量数据处理引擎；

支持对数据计算任务分配的资源管理，包括CPU、内存、磁盘和网络等；

支持对数据计算任务的执行情况进行监控并将结果反馈至其他监控运维系统。

数据存储管理

可提供多种查询接口及定时任