社保大数据分析平台建设方案.docx

社保大数据分析平台建设方案一、建设背景目前，XX市“金保工程”业务系统基于联机事务处理（OLTP），主要解决了日常业务经办的问题，但随着社保数据不断积累，数据量呈现海量存储特征，随着公共服务的不断推进，非结构化数据量也迅猛增加，这些情况导致社保的统计分析能力不断下降，普遍存在业务报表分散、统计查询不便、效率低下的问题，另一方面，随着基金平衡压力剧增，管理层基于海量数据的主题分析、预测分析、政策仿真需求日渐增多，现有的传统数据库平台和核心业务平台难以满足上述这些需求，亟待使用大数据技术来破解难题。二、项目建设总体要求2.1 总体建设思路及目标针对人社部门中社保业务数据分析和利用最为迫切的特点，作为XX市“智慧人社平台”的重要组成部分，拟在我市“金保工程”应用系统数据基础上，运用大数据技术，建立XX市社保大数据系统平台，建立完整的社保数据指标体系，实现对社保数据的综合统计分析，实现社保业务关键指标的主题分析、关联分析，建立数据分析模型，来协助社保政策部门、基金监管部门、经办部门进行政策调整仿真，分析预测社保基金运行的走向,辅助实现社保基金的“开源”和“节流”,辅助实现“应保尽保、应收尽收”,帮助“堵塞漏洞”2.2?本项目建设目标（1）建设社保大数据综合统计分析基础平台框架；（2）建设社保大数据综合统计分析系统；（3）建设养老保险关联分析系统；（4）建设医疗保险关联分析系统。3.1?项目解决需求3.1.1 建设社保大数据综合统计分析基础平台框架采用先进的混搭架构模式，运用大数据技术，结合数据仓库的设计模式，采用分布式计算+分布式数据存储的技术架构框架来实现基础平台框架，本期主要工作包括：（1）根据平台技术架构及应用部署架构完成系统环境搭建。（2）将“金保工程”业务系统的数据通过ETL工具或同步工具，抽取到MPP数据仓库。（3）完成数据质量分析，进行数据预处理，重点包括数据清理、数据集成、数据规约、数据变换等。（4）初步完成基础建模，在MPP数据仓库中构建数据集市。（5）通过ETL工具将MPP数据仓库中明细数据抽取到Hadoop中，同时将爬虫过来的数据存储到Hadoop中。（6）MPP数据仓库作为数据集市支撑上层数据分析和服务，Hadoop提供非结构化数据的存储和管理，同时提供社保明细数据查询。其中数据抽取部分，可根据源系统的特点采用不同的数据采集方式。数据采集方式包括：(1）△变更数据抽取：在业务系统部署监控程序，业务系统数据一有变化，就实时从业务系统获取变更数据，保障了业务监控和决策的快速反应。适合的数据源：人社的核心业务系统。(2）△批量增量数据抽取：定期从数据源中增量抽取数据。适合的数据源：人社的核心业务系统（在无法采用变更数据抽取时）。(3）数据交换平台：人社部门与其它数据提供方确定数据交换接口和规范，通过数据交换平台以文件数据交换的形式获取。适合的数据源：政府部门相关数据资源、社会部门相关数据资源、互联网数据资源。(4）网络爬虫：自动的抓取互联网信息的程序。对于如公共服务网站的信息可以利用网络爬虫抓取数据。(5）API接口：按需求订制开发API接口供数据需求方获取数据。△---为重要的数据抽取方式，必须保证不影响原有核心业务系统的正常运行，需要原核心系统开发商配合完成的工作由建设方负责协调，配合工作若产生的相关费用须由中标商承担。3.1.2建设社保大数据综合统计分析系统按原有统计口径重新开发现有“金保工程”系统中的各类综合统计汇总查询功能，并确保数据的准确、一致。按照业务部门实际需求，根据统计分析系统设计要求，设计开发各类可定制化的条件查询统计汇总功能，其主要统计分析对象应至少包括：（1）参保人员分析参保人群在各险种间参保、缴费的对比统计分析情况。基于参保人口的当前信息和历史信息（如年龄、性别、在职或退休、生存状态等），根据生育率、生命表等，利用年龄移算，分析参保人口的现状、预测人口趋势。通过参保人口的分析与预测，可以了解辖区内参保人口现状（年龄结构、性别结构、在职与退休人员比例、期望寿命等），了解参保人口和老龄化的演化趋势。通过系统内外数据比对联动，分析查询人员社保变化轨迹，提炼人员标签，进行个体特征分析，并提供给“智慧人社”公共服务平台查询；针对人群特征比对，挖掘全民参保扩面空间，分析政策补贴拉动社保征缴的可行性。（2）参保单位参保缴费率分析：按区域、单位类型、经济类型、隶属关系、行业等分析不同企业的参保缴费情况。欠费情况分析：分析欠费规模、欠费企业特征。缴费基数分析：比较分析同类企业的缴费基础，与社平工资、行业指导工资的差异。针对缴费基数按照最低缴费工资水平缴费的现象进行分析。企业经营状况分析：根据企业的人员规模、工资规模、人员流动情况、缴费情况分析企业的经营状况。通过系统内外数据比对联动，分析单位社保变化轨迹，提炼