XX社保大数据分析系统平台.PDFVIP

XX 市社保大数据分析系统平台 一、建设背景 目前，XX 市“金保工程”业务系统基于联机事务处理（OLTP），主要解决了日 常业务经办的问题，但随着社保数据不断积累，数据量呈现海量存储特征，随着公 共服务的不断推进，非结构化数据量也迅猛增加，这些情况导致社保的统计分析能 力不断下降，普遍存在业务报表分散、统计查询不便、效率低下的问题，另一方面， 随着基金平衡压力剧增，管理层基于海量数据的主题分析、预测分析、政策仿真需 求日渐增多，现有的传统数据库平台和核心业务平台难以满足上述这些需求，亟待 使用大数据技术来破解难题。 二、项目建设总体要求 2.1 总体建设思路及目标 针对人社部门中社保业务数据分析和利用最为迫切的特点，作为我市“智慧人 社平台”的重要组成部分，拟在我市“金保工程”应用系统数据基础上，运用大数 据技术，建立XX 市社保大数据系统平台，建立完整的社保数据指标体系，实现对社 保数据的综合统计分析，实现社保业务关键指标的主题分析、关联分析，建立数据 分析模型，来协助社保政策部门、基金监管部门、经办部门进行政策调整仿真，分 析预测社保基金运行的走向,辅助实现社保基金的“开源”和“节流”,辅助实现“应 保尽保、应收尽收”,帮助“堵塞漏洞” 2.2 本项目建设目标 （1）建设社保大数据综合统计分析基础平台框架； （2）建设社保大数据综合统计分析系统； （3）建设养老保险关联分析系统； （4）建设医疗保险关联分析系统。 3.1 项目解决需求 3.1.1 建设社保大数据综合统计分析基础平台框架 采用先进的混搭架构模式，运用大数据技术，结合数据仓库的设计模式，采用分 布式计算+分布式数据存储的技术架构框架来实现基础平台框架，本期主要工作包 括： （1）根据平台技术架构及应用部署架构完成系统环境搭建。 （2）将“金保工程”业务系统的数据通过ETL 工具或同步工具，抽取到MPP 数 据仓库。 （3）完成数据质量分析，进行数据预处理，重点包括数据清理、数据集成、数 据规约、数据变换等。 （4）初步完成基础建模，在MPP 数据仓库中构建数据集市。 （5）通过ETL 工具将MPP 数据仓库中明细数据抽取到Hadoop 中，同时将爬虫过 来的数据存储到Hadoop 中。 （6）MPP 数据仓库作为数据集市支撑上层数据分析和服务，Hadoop 提供非结构 化数据的存储和管理，同时提供社保明细数据查询。 其中数据抽取部分，可根据源系统的特点采用不同的数据采集方式。数据采集 方式包括： (1)△变更数据抽取：在业务系统部署监控程序，业务系统数据一有变化，就实 时从业务系统获取变更数据，保障了业务监控和决策的快速反应。适合的数据源： 人社的核心业务系统。 (2)△批量增量数据抽取：定期从数据源中增量抽取数据。适合的数据源：人社 的核心业务系统（在无法采用变更数据抽取时）。 (3)数据交换平台：人社部门与其它数据提供方确定数据交换接口和规范，通过 数据交换平台以文件数据交换的形式获取。适合的数据源：政府部门相关数据资源、 社会部门相关数据资源、互联网数据资源。 (4) 网络爬虫：自动的抓取互联网信息的程序。对于如公共服务网站的信息可以 利用网络爬虫抓取数据。 (5)API 接口：按需求订制开发API 接口供数据需求方获取数据。 △为重要的数据抽取方式，必须保证不影响原有核心业务系统的正常运 行，需要原核心系统开发商配合完成的工作由建设方负责协调，配合工作若 产生的相关费用须由中标商承担。 3.1.2 建设社保大数据综合统计分析系统 按原有统计口径重新开发现有“金保工程”系统中的各类综合统计汇总查询功 能，并确保数据的准确、一致。按照业务部门实际需求，根据统计分析系统设计要 求，设计开发各类可定制化的条件查询统计汇总功能，其主要统计分析对象应至少 包括： （1）参保人员 分析参保人群在各险种间参保、缴费的对比统计分析情况。基于参保人口的当 前信息和历史信息（如年龄、性别、在职或退休、生存状态等），根据生育率、生 命表等，利用年龄移算，分析参保人口的现状、预测人口趋势。通过参保人口的分 析与预测，可以了解辖区内参保人口现状（年龄结构、性别结构、在职与退休人员 比例、期望寿命等），了解参保人口和老龄化的演化趋势。通过系统内外数据比对 联动，分析查询