MongoDB及Spark在金融保险行业技术实践.pptx

MongoDB及Spark在金融保险行业技术实践.pptx

此“经济”领域文档为创作者个人分享资料,不作为权威性指导和指引,仅供参考
  1. 1、本文档共13页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
MongoDB及Spark在金融保险行业技术实践运用MongoDB及Spark 实现保险行业开门红秒杀大屏公司介绍中国太平保险集团有限责任公司于1929年在上海创立,1956年根据国家统 一部署,中国保险、太平保险停办国内业务,专营港澳和海外保险业务。1999 年所有境外国有保险机构划归中国保险股份有限公司管理。2000年在港交所上 市,是我国首家在境外上市的保险企业。2001年以太平品牌在境内复业。2011 年底列入中央管理,升格为副部级金融央企。2013年完成重组改制和整体上市。2018年7月19日,首次进入世界500强。目前,中国太平总保费超过1600亿 元,总资产突破6000亿元,管理资产规模突破1万亿元,已经成为一家拥有60余 万名内外勤员工、24家子公司和2000余家各级营业机构的大型跨国金融保险集团,经营范围涉及中国内地、中国香港、中国澳门、北美、欧洲、大洋洲、东 亚及东南亚等国家和地区,业务范围涵盖寿险、财险、养老保险、再保险、再 保险经纪及保险代理、互联网保险、资产管理、证券经纪、金融租赁、不动产 投资、养老医疗健康产业投资等领域。太平保险开门红开门红特点:统计纬度多秒杀并发大实时要求高存在的痛点实现思路不足使用触发器对原始数据进行裁剪写入小表延迟大,无法满足实时要求,当前聚合计算和ETL的时 间延迟>4m对写入到小表的数据利用存储过程进行聚合分析,结果 写入到聚合表存储过程中的聚合分析无法进行并发计算,性能空间有 限聚合表数据通过shareplex的cdc机制将数据同步到读库统缺乏水平可扩展性Spark + MongoDBSpark Streaming应用app消息队列指标大屏MongoDB实现思路优点不足业务APP将数据写入到消息队列(建议 采用kafka)统计实时性强,延迟<5s对业务系统有一定的改造,业务系统的数据 持久化逻辑受影响,需要将数据直接写入消 息队列通过Spark Streaming消费消息队列中 的数据,进行总金额的实时累加,实时 反应统计排名系统水平可扩展性高原始数据快速写入MongoDB 聚合结果实时写入MongoDB系统高可用(high availablitity)分片扩展能力Spark高速易用通用比hadoop快100倍Java, Scala, Python, R, and SQL.流式运算、机器学习、图计算、SQLSpark Streaming数据采集:用户使用流式数据采集工具将数据流式且实时地采集并传输到大数据消息Pub/Sub系统,该系 统将为下游流计算提供源源不断的事件源去触发流式计算任务的运行。流式计算:流数据作为流计算的触发源驱动流计算运行。因此,一个流计算任务必须至少使用一个流数据 作为数据源。一批进入的数据流将直接触发下游流计算的一次流式计算处理,并针对但批次流式数据得出计算 结果。数据集成:流计算将计算的结果数据直接写入目的数据源,这其中包括多种数据源,包括数据存储系统、 消息投递系统,甚至直接对接业务规则告警系统发出告警信息。不同于批量计算,流计算天生自带数据集成模 块,可以将结果数据直接写入到目的数据源。数据消费:流计算一旦将结果数据投递到目的数据源后,后续的数据消费从系统划分来说,和流计算已经 完全解耦。用户可以使用数据存储系统访问数据,使用消息投递系统进行信息接收,或者直接使用告警系统进 行告警。数据库选型关键能力描述RDBMSHDFSMongoDB性能与扩展海量数据处理能力否是是高效查询效率是否是性能扩展有限(垂直)水平扩展水平扩展模型灵活度数据模型变更是否灵 活否N/A是支持结构化、半结构、非机构化数据有限支持支持支持企业级支撑完整的企业级运维标 准及工具是否是Why MongoDB?原始交易数据(高峰10w消息/秒),有重复,要求能够快速写入数据库并去重(唯一索引),之后Spark Streaming快速读出数据处理展示指标纬度多,单一基于key-value的内存数据库无法支撑多条件查询MongoDB Spark connector,支持双向读写;查询条件下推,利用MongoDB索引过滤无用数据, 减少数据传输量MongoDB查询功能强大(Aggregation/范围/地理位置/JOIN/Key-value/Graph),可以应付今 后的更多场景实际性能功能虚拟机配置数量Spark集群CPU 4core RAM 16GB5MongoDB集群CPU 4core RAM 16GB3处理数据量 batch 4s处理时间(秒)是否有延迟25000.2N/A50000.5N/A200003N/A300004N/A400005延迟1s数据准确度100%注意点1. 在对接MQ时,使用Pull的方式3. 可以由Spark自己调整计算速率和性能2. 在设

文档评论(0)

智慧IT + 关注
实名认证
内容提供者

微软售前技术专家持证人

生命在于奋斗,技术在于分享!

领域认证该用户于2023年09月10日上传了微软售前技术专家

1亿VIP精品文档

相关文档