1、运用MongoDB及Spark实现保险行业开门红秒杀大屏张德银公司介绍中国太平保险集团有限责任公司于中国太平保险集团有限责任公司于1929年在上海创立，年在上海创立，1956年根据国家统年根据国家统一部署，中国保险、太平保险停办国内业务，专营港澳和海外保险业务。一部署，中国保险、太平保险停办国内业务，专营港澳和海外保险业务。1999年所有境外国有保险机构划归中国保险股份有限公司管理。年所有境外国有保险机构划归中国保险股份有限公司管理。2000年在港交所上年在港交所上市，是我国首家在境外上市的保险企业。市，是我国首家在境外上市的保险企业。2001年以太平品牌在境内复业。年以太平品牌在境内复业。2

2、011年底列入中央管理，升格为副部级金融央企。年底列入中央管理，升格为副部级金融央企。2013年完成重组改制和整体上市年完成重组改制和整体上市。2018年年7月月19日，首次进入世界日，首次进入世界500强。目前，中国太平总保费超过强。目前，中国太平总保费超过1600亿亿元，总资产突破元，总资产突破6000亿元，管理资产规模突破亿元，管理资产规模突破1万亿元，已经成为一家拥有万亿元，已经成为一家拥有60余余万名内外勤员工、万名内外勤员工、24家子公司和家子公司和2000余家各级营业机构的大型跨国金融保险集余家各级营业机构的大型跨国金融保险集团，经营范围涉及中国内地、中国香港、中国澳门、北美、欧

3、洲、大洋洲、东团，经营范围涉及中国内地、中国香港、中国澳门、北美、欧洲、大洋洲、东亚及东南亚等国家和地区，业务范围涵盖寿险、财险、养老保险、再保险、再亚及东南亚等国家和地区，业务范围涵盖寿险、财险、养老保险、再保险、再保险经纪及保险代理、互联网保险、资产管理、证券经纪、金融租赁、不动产保险经纪及保险代理、互联网保险、资产管理、证券经纪、金融租赁、不动产投资、养老医疗健康产业投资等领域。投资、养老医疗健康产业投资等领域。太平保险开门红开门红特点：统计纬度多秒杀并发大 实时要求高存在的痛点实现思路不足使用触发器对原始数据进行裁剪写入小表延迟大，无法满足实时要求，当前聚合计算和ETL的时间延迟4m对

4、写入到小表的数据利用存储过程进行聚合分析，结果写入到聚合表存储过程中的聚合分析无法进行并发计算，性能空间有限聚合表数据通过shareplex的cdc机制将数据同步到读库统缺乏水平可扩展性Spark+MongoDB应用app消息队列Spark StreamingMongoDB指标大屏实现思路优点不足业务APP将数据写入到消息队列（建议采用kafka）统计实时性强，延迟5s对业务系统有一定的改造，业务系统的数据持久化逻辑受影响，需要将数据直接写入消息队列通过Spark Streaming消费消息队列中的数据，进行总金额的实时累加，实时反应统计排名系统水平可扩展性高原始数据快速写入MongoDB聚合

5、结果实时写入MongoDB系统高可用(high availablitity)分片扩展能力Spark高速比hadoop快100倍易用Java,Scala,Python,R,and SQL.通用流式运算、机器学习、图计算、SQLSpark Streaming1.数据采集：用户使用流式数据采集工具将数据流式且实时地采集并传输到大数据消息Pub/Sub系统，该系统将为下游流计算提供源源不断的事件源去触发流式计算任务的运行。2.流式计算：流数据作为流计算的触发源驱动流计算运行。因此，一个流计算任务必须至少使用一个流数据作为数据源。一批进入的数据流将直接触发下游流计算的一次流式计算处理，并针对但批次流式数

6、据得出计算结果。3.数据集成：流计算将计算的结果数据直接写入目的数据源，这其中包括多种数据源，包括数据存储系统、消息投递系统，甚至直接对接业务规则告警系统发出告警信息。不同于批量计算，流计算天生自带数据集成模块，可以将结果数据直接写入到目的数据源。4.数据消费：流计算一旦将结果数据投递到目的数据源后，后续的数据消费从系统划分来说，和流计算已经完全解耦。用户可以使用数据存储系统访问数据，使用消息投递系统进行信息接收，或者直接使用告警系统进行告警。数据库选型关键能力描述RDBMSHDFSMongoDB性能与扩展海量数据处理能力否是是高效查询效率是否是性能扩展有限（垂直）水平扩展水平扩展模型灵活度数

7、据模型变更是否灵活否N/A是支持结构化、半结构、非机构化数据有限支持支持支持企业级支撑完整的企业级运维标准及工具是否是Why MongoDB？1.原始交易数据（高峰10w消息/秒），有重复，要求能够快速写入数据库并去重（唯一索引），之后Spark Streaming快速读出数据处理2.展示指标纬度多，单一基于key-value的内存数据库无法支撑多条件查询3.MongoDB Spark connector，支持双向读写；查询条件下推，利用MongoDB索引过滤无用数据，减少数据传输量4.MongoDB查询功能强大（Aggregation/范围/地理位置/JOIN/Key-value/Graph），可以应付今后的更多场景实际性能功能虚拟机配置数量Spark集群CPU 4coreRAM 16GB5MongoDB集群CPU 4coreRAM 16GB3处理数据量 batch 4s处理时间（秒）是否有延迟25000.2N/A50000.5N/A200003N/A300004N/A400005延迟1s数据准确度100%注意点1.在对接MQ时，使用Pull的方式3.可以由Spark自己调整计算速率和性能2.在设置唯一索引时，注意单属性索引和复合索引的区别工具推荐MongoDB Charts查询结果快速实现可视化共享面板谢 谢！