《郭育波-Flink在众安保险金融业务的应用.pdf》由会员分享，可在线阅读，更多相关《郭育波-Flink在众安保险金融业务的应用.pdf（25页珍藏版）》请在三个皮匠报告上搜索。

1、郭育波/高级技术专家FlinkFlink在众安保险金融业务应用在众安保险金融业务应用整体概况整体概况智能营销应用智能营销应用实时特征应用实时特征应用后期规划后期规划#1#2#3#5反欺诈应用应用#4#1#1整体概况整体概况实时计算架构实时计算架构ODSRaw_TableDWD/DIMDWSkafkaFlink SQL/Flink Stream API业务数据库用户行为埋点应用消息事件kafkaView_Table用户行为（注册，登录，微信.）信贷（授信，支用，还款，额度.）保险（中收,权益.）营销（投放，触达，活动.）多维明细宽表汇总指标宽表实时大盘特征工程用户标签实时监控数据服务应用日志数据

2、源实时数仓OLAP层数据应用实时计算平台架构实时计算平台架构EventEvent 便利的SQL编辑和调试功能，内置多种Connector，丰富UDF和自定义UDF上传功能 多种任务启动策略如checkpoint,offset,时间点，最新最早位置等方式，即时和定时生成SavePoint 除了任务异常外，资源使用率高，消息积压等的情况下也会进行实时告警平台特性实时计算平台展示实时计算平台展示#2 2智能营销应用智能营销应用智能营销平台架构图智能营销平台架构图金融业务数据催收系统.APP智能营销CRM智能运营离线数仓标签管理标签资产标签治理标签配置ETL保险业务数据用户行为数据广告平台数据营销触达

3、数据实时数仓FLINK标签分类用户标签接口离线标签配置标签权限管控标签数据监控标签分类标签需求管理用户标签接口离线标签配置实时标签配置标签权限管控标签使用统计营销AB实验标签数据服务客群画像效果分析客群圈选流量AB实验使用现状使用现状标签总数500+流量AB调用数2000w+（天）200w+（天）营销AB执行数智能营销平台数据流图智能营销平台数据流图业务数据库埋点事件离线标签Hologres营销AB标签服务客群服务DATAX实时标签实时客群语音触达短信触达微信触达权益中心流量ABCMS实时数据平台离线数仓客群圈选实时客群离线客群标签查询营销触达实验调用标签查询TableStore实时业务数据实

4、时效果数据智能营销平台特性智能营销平台特性定制标准化实时事件数据结构，借助Flink的实时计算能力实现自动化实时标签和实时客群接入自助化的营销流程配置，丰富的时间策略、多通道触达，多分支流转通过实时效果回收赋能精细化运营，支持营销流程漏斗分析和业务成效分析实时画像实时分析智能策略#3 3实时特征应用实时特征应用特征工程是什么特征工程是什么特征挖掘特征开发特征服务经过数据分析和处理，特征提取和选择挖掘出有效合规的特征风控老师慧眼识金根据特征的数据来源，通过对接三方，离线计算，实时计算，机器学习模型等方式进行特征开发开发团队精耕细作通过特征平台为风控前筛，反欺诈，风控决策提供风控特征数据服务，实现

5、特征全生命周期的管理，进行持续的监控和优化，确保特征的稳定性和正确性特征服务平台化特征工程是将原始数据转化成更好的表达问题本质的特征的过程，使得这些特征运用到预测模型中能提高对不可见数据的模型预测精度。居于对业务理解，找到对因变量y有影响的自变量x。特征工程是数据挖掘模型开发中最耗时、最重要的一步，为全流程风险管理体系提供核心数据支撑。特征现状特征现状实时任务特征总量1万+100+特征调用3000万+(天)合规性金融风控特征核心指标EventEvent特征加工准确无误系统运行高可用特征数据实时可得特征计算快速响应实时性高性能稳定性准确性实时计算引擎Flink高性能存储引擎Tablestore/

6、Hbase系统功能平台化微服务架构特征平台架构图前台系统决策系统保后系统特征网关特征管理平台三方数据网关征信数据网关数据集市三方特征服务金融特征服务反欺诈特征服务关系图谱服务名单特征服务风控模型服务联合建模服务组合特征服务机器学习平台特征监控平台实时计算平台特征平台是以微服务化构建的特征服务体系，数据来源主要是三方数据，征信数据，实时数据，离线数据，通过三方特征服务，特征组合服务，模型服务提供特征计算的一个风控数据产品。数据接入层特征加工层调度平台特征组合层网关层基础服务层实时金融特征数据流图EventEventEventEventFlink实时任务把明细数据和多维明细宽表写入TableSto

7、re使用TableStore的高性能点查能力支持灵活和复杂的特征计算抽象用户ID，身份证，手机号等用户实体关系，结合业务数据进行多维查询利用自定义特征计算引擎实现用户自助的特征配置化加工，同时也在开发支持SQL的特征计算引擎#4 4反欺诈应用反欺诈应用实时反欺诈应用数据流图EventEventFlink+Nebula实现关系图谱数据的实时存储,实时简易社群算法实现，使用GraphX实现社群算法离线计算使用TableStore的多元索引和LBS函数实现位置相关反欺诈特征的计算多维时间粒度窗口统计任务使用redis作为source数据源，大窗口数据使用bitmap状态存储实时反欺诈特征应用Even

8、tEvent123位置识别设备关联图谱关系4社群统计关系图谱社群大小等统计类社群特征关系图谱邻边关系：节点度数，是否关联黑灰名单等图谱特征同一设备关联的用户数业务数等实时数据GPS+GeoHash位置类型特征图数据NebulaGraph简介Nebula Graph 由三种服务构成：Graph 服务、Meta 服务和 Storage 服务，Meta 服务负责数据管理，例如Schema 操作、集群管理和用户权限管理;Nebula Graph 采用计算存储分离架构,Graph 服务负责处理计算请求，Storage 服务负责存储数据。Shard-nothing分布式存储：支持超大规模图，支持千亿节点，

9、万亿边 存储计算分离：计算和存储可以独立扩缩容，传递计算，减少数据搬迁 易集成：Nebula Graph提供Java、Python、C+和Go等流行编程语言的客户端，同时还提供Flink Connector，Spark Connector关系图谱实现路径用户信息设备信息联系人信息离线ETL实时Flink图数据源图数据存储Nebula Graph图数据计算相邻边社群发现最大路径/最短路径图数据应用风控决策反欺诈营销推荐N-SQLSparkGraph-XAPI#5 5后期规划后期规划后期规划后期规划 实时数据的血缘关系管理 资源动态扩缩容，任务自动诊断#2#3 Flink+Nebula的图谱平台化建设 Flink+Hologres进行流批一体尝试#1 尝试Flink ML实现在线学习 实时业务场景挖掘和扩展