社保解决方案与大数据复习课程.pptx

社保与大数据Larry ZhouSenior Consultant目录备注天云科技简介天云科技是由田溯宁领导的宽带资本投资的创新科技企业，总部设在北京，在中国（包括香港及台湾）的16个省市设有分支机构，并在美国硅谷拥有自己的研发中心。助力中国企业进入云时代天云科技管理运营团队由具有国际化管理能力与本地化市场经验的优秀人才组建而成，在IT及网络软硬件研发、系统构建及解决方案等方面有着丰富的行业经验。第页天云科技大数据产品体系大数据平台云挖掘引擎解决方案BDP分布式数据存储和数据处理平台离线挖掘算法引擎云ETL客服上网话单查询手机上网行为分析精准营销/广告引擎社交网络传播分析Stream流数据处理引擎在线挖掘算法引擎基于语义的即席分析实时报表实时规则引擎第页目录备注社保数据量逐渐增大数据膨胀！备注社保大数据带来的大挑战海量数据如何存储数据导入导出的时间成本旧数据只能用旧版本软件读取异构平台的数据迁移查询性能低下非结构化难存储，难分析高昂的维护成本没有标准化的产品……低下的数据管理性能沉重的维护成本问题惊人的储存成本旧架构难以管理和使用海量数据OperationalData SourceData WarehouseGenerationData WarehouseManagementData AnalysisPortalUsersOLAPData StagingMeta Data Data MartsCDRPCIQuery, ReportingExtract,Transform LoadData WarehousingNetworkDataStore andMerchandiseData一个典型省BI系统投资：1300万美金Data Mining有多少IT投资继续被“O”, “E”, “M” 恐龙们吃掉？Enterprise Data WarehouseCRM EmployeeScheduling社保数据需要“云化”的统一管理“云计算”是手段，“管数据”是目的统一分析统一规划数据挖掘人口数据失业保险养老保险生育保险医疗保险综合分析综合社保数据平台云化架构数据应用（查询，分析，BI展现，挖掘）BDP API社保统一数据视图社保数据序列化管理BDP统一分布式存储BDP统一规则转换引擎BDP流式数据同步BDP流式数据同步BDP流式数据同步省级社保库省级社保库省级社保库备注架构技术实现综合数据统一视图BDP平台社保综合信息序列化对象存管实时业务库BDP数据同步备注平台架构部署示意BI Portal各省社保数据库备注目录备注功能架构社保数据管理分析平台查询，分析，BI展现，数据挖掘展示层管理层Web接口（REST/SOAP… ）接口层并行数据导入导出流程管理任务调度 集群协调服务 统一资源数据视图 统一规则转换引擎安全管理数据层社保信息序列化存管元数据管理分布式数据库MapReduce集群监控分布式存储安全管理社保数据库库北京上海……BDP平台——整合社保数据BDP备注接口层——并行数据导入/导出分布式存储系统并行导入关系型数据库并行导出企业级数据仓库文档数据分布式文件系统分布式数据库分布式数据仓库外部数据源外部数据源可以是关系型数据库或者数据仓库，包括：Oracle、SqlServer、PostgreSql、Mysql，支持基于JDBC的数据源连接；也可以是各种文档文件：Log日志、多媒体文件等；接口层——API接口存储层通过对外提供API接口，供上层应用和外部系统访问。支持类型包括：REST、HTTP、SOAP。同时也可以提供URL页面链接地址，供外部系统嵌入到自己的应用中。应用层——让我们发现大数据背后的价值商业智能(BI)是快速,准确,即时提供有价值的信息给最终决策者进行分析的一种技术应用层BI技术架构大数据管理平台门户数字仪表盘 动态表格图形化报表UNIFIED WEB INTERFACE多维分析Scorecards DashboardsAdvanced Analysis Ad-hocReportingOLAPAlerts Proactive NotificationBI展现支撑组件 Integrated BackplaneServices Oriented Architecture展现场景配置支撑 统一数据指标模型数据源及接口应用层——海量数据的分析预测在基于大数据的社会保险统计分析项目中，预测模块是以统计分析海量数据库为基础，利用经济学、人口学、数理统计、精算科学等理论，通过建立不同的经济模型，进行政策模拟。并根据各种数据的历史发展与成长情况，做出相应的长期趋势预测分析和风险分析，对确保政策的制定、执行和完善提供定量性的依据。预测分析子系统未来基金收支余发展趋势未来人口发展趋势长期精算平衡分析整体人口抚养比分析参保人口抚