《网易游戏实时计费风控体系建设.pdf》由会员分享,可在线阅读,更多相关《网易游戏实时计费风控体系建设.pdf(62页珍藏版)》请在三个皮匠报告上搜索。
1、DataFunSummit#2023基于Flink的实时支付环境风控平台建设林佳-易游戏-资深开发程师01支付环境上的风控挑战02借助Flink从T+1走向实时风控03实时风控平台的建设04发展历程与展望未来目录CONTENTDataFunSummit#202301支付环境上的风控挑战支付环境上的风控挑战打开商城选择道具付款收到道具一次应用内购行为支付环境上的风控挑战外部服务内部服务支付环境上的风控挑战下单下单回执客户端下单支付环境上的风控挑战下单下单回执支付支付回执客户端下单渠道支付支付环境上的风控挑战支付凭证回执验证回执客户端下单渠道支付验证支付凭证支付环境上的风控挑战发货通知回执发货客户
2、端下单渠道支付验证支付凭证服务端发货支付环境上的风控挑战用户在手机客户端的一次点击服务端多个系统的协同工作跨请求、异构的中间结果、复杂的调用链路、不一致的时间标准支付环境上的风控挑战风控业务会话由一次用户行为所引发的,需要多个系统协作完成、同时触发多个请求、产生跨越多个服务提供方调用的全过程。支付环境上的风控挑战业务会话多服务、多请求产生的异构结果难以直接关联调用顺序复杂,存在并发、异步的情况时间跨度大、业务水位不同步支付环境上的风控挑战业务会话多服务、多请求产生的异构结果难以直接关联调用顺序复杂,存在并发、异步的情况时间跨度大、业务水位不同步业务会话级的问题定位,极度依赖人工处理和个人经验,
3、重复工作多,容易错判开源Tracing方案:依赖全局trace-id通常需要侵入服务打点单次请求链路跟踪支付环境上的风控挑战数据持续而大量产生数据与数据间存在会话关联关系数据来源的异构数据结构的异构数据时间步调的不一致ELK体系持续采集T+1 全量离线分析网盘同步/rsync/接口推送/多以业务特制脚本处理各种数据的ETLT+1 Spark离线处理07.51522.53037.512:0015:0018:0021:0024:0003:0006:0009:00机器数量空闲机器占用机器支付环境上的风控挑战处理数据最少机器数量结果交付 9时近100T30支付环境上的风控挑战实时化以提升能效支付环境上
4、的风控挑战07.51522.53037.512:0015:0018:0021:0024:0003:0006:0009:00机器数量空闲机器占用机器支付环境上的风控挑战07.51522.53037.512:0015:0018:0021:0024:0003:0006:0009:00机器数量机释放器占用机器降本增效支付环境上的风控挑战用更少的资源算更多的数据能更早地交付支付环境上的风控挑战用更少的资源算更多的数据能更早地交付更高效的成本使用更实时的计算结果更及时的决策响应支付环境上的风控挑战用更少的资源算更多的数据能更早地交付更高效的成本使用更实时的计算结果更及时的决策响应资源/数据能效UPData
5、FunSummit#202302借助Flink从T+1走向实时风控借助Flink从T+1走向实时风控借助Flink从T+1走向实时风控Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams.Flink has been designed to run in all common cluster environments,perform computations at in-memory speed
6、 and at any scale.可靠的有状态计算-可靠语义保证:At Least Once、Exactly Once-故障恢复-避免与外部系统的复杂交互逻辑-TTL借助Flink从T+1走向实时风控Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams.Flink has been designed to run in all common cluster environments,perfo
7、rm computations at in-memory speed and at any scale.流批一体化-统一的计算引擎,统一的API借助Flink从T+1走向实时风控-自然的计算逻辑表达-可靠的计算语义-高性能分布式计算借助Flink从T+1走向实时风控零侵入对现有业务零改动无序全局跟踪ID跨数据源日志维表事实表REST接口实时实时产生结果无需等待T+1低代码向导式配置微观链路图还原宏观报表展示30 000 000 000 events/d借助Flink从T+1走向实时风控RDBFSMQJFlink-SDKJDBC SourceView SchemaFilebeat SourceV
8、iew SchemaKafka SourceView Schema借助Flink从T+1走向实时风控RDBFSMQJFlink-SDKJDBC SourceView SchemaFilebeat SourceView SchemaKafka SourceView SchemaAlioth 数据集市元数据借助Flink从T+1走向实时风控RDBFSMQJFlink-SDKJDBC SourceView SchemaFilebeat SourceView SchemaKafka SourceView SchemaRoam View(ROW)Roam View(ROW)Roam View(ROW)借
9、助Flink从T+1走向实时风控基准补充(非基准)补充(非基准)补充(非基准)基准需要关注的核心风控数据点一旦出现就认定存在一个包含它的业务会话有一个请求ID跟踪整个业务会话补充非关键的、辅助判断的风控数据点依附到相应的基准风控数据中,不单独开启业务会话有至少一个ID可以和基准数据进行关联簇由同一种数据来源的基准和补充所关联得到的一个雪花状数据结构借助Flink从T+1走向实时风控客户端到计费服下单(log)客户端打开支付界面(log)客户端上传支付凭证(log)客户端支付完成(log)基准需要关注的核心风控数据点一旦出现就认定存在一个包含它的业务会话关于订单号字段 order_id 的关键风
10、控数据点借助Flink从T+1走向实时风控客户端到计费服下单(log)客户端打开支付界面(log)客户端上传支付凭证(log)客户端支付完成(log)补充非关键的、辅助判断的风控数据点依附到相应的基准风控数据中,不单独开启业务会话有至少一个ID可以和基准数据进行关联客户端获取商品信息(log)渠道服校验支付凭证(log)客户端渠道回调(log)计费服订单库下单记录(db)关于基准的product_id关联目标的id关于基准的order_id关联目标的sn关于基准的order_id关联目标的sn关于基准的trans_id关联目标的trans_id借助Flink从T+1走向实时风控借助Flink从
11、T+1走向实时风控借助Flink从T+1走向实时风控生成基准簇Flink EventSession Window借助Flink从T+1走向实时风控补充风控点的数据源和基准可能不同需要用不一样的字段与基准风控结果簇做关联水位线推进速度不一致、甚至存在局部的同步延迟借助Flink从T+1走向实时风控Flink Event Time Interval JoinWatermark延迟数据队列side output(16还未支持)补回延迟数据逻辑借助Flink从T+1走向实时风控延迟数据队列FlinkLuna EngineLate Consumption on FlinkAsync JoinTiDB找回
12、关联会话补回更新和实时情况一致的关联逻辑借助Flink从T+1走向实时风控RDBFSMQLuna on FlinkSourcesLunaEngineLabeler/StatisticsSinksLuna风控平台实时同步(Flink broadcast stream)TiDB借助Flink从T+1走向实时风控RDBFSMQLuna on FlinkSourcesLunaEngineLabeler/StatisticsSinksLuna风控平台实时同步(Flink broadcast stream)TiDB规则1:最近7日有跨服充值规则2:有跨币种充值规则3:有跨设备登录累计风险评估值:7.0借助
13、Flink从T+1走向实时风控DataFunSummit#202303实时风控平台的建设实时风控平台的建设实时微观业务会话检索与查错实时宏观业务环境统计与风控业务会话级数据能效挖掘与提升实时风控平台的建设微观业务会话还原实时风控结果宏观业务环境统计原始数据业务会话分析模板+Flink关联分析引擎统计/Labeler+Flink实时统计风控策略配置+Flink计算任务实时风控平台的建设原始数据层计算层LunaonFlinkSource/Sink Schema关联规则引擎MySQL风控标签与状态筛选业务会话详单查询会话上下文查询风控结论展示微观查询业务监控业务环境统计风控建议多维度聚合查询宏观查询
14、FSTiDBKafkaRedisStatisticsLabelerLunaPlatform业务会话还原模块可视化规则配置实时风控平台的建设数据源和抽取/聚合字段Flink Source/Sink实时风控平台的建设业务行为树的配置Flink 实时关联引擎配置(Luna-CEP)关联动作Flink UDFs预置风控结论实时风控平台的建设业务行为树实时风控平台的建设分风控场景灵活可查字段业务状态实时风控平台的建设直观展示业务行为路径业务状态抽取字段和二级指标原始数据(日志/DB记录/)AIGC驱动的分析结论导出实时风控平台的建设风控数据簇维度表in DB事实表in DBHTAP!SQL Join!实
15、时风控平台的建设宏观风控图表实时风控平台的建设宏观风控图表DataFunSummit#202304发展历程与展望未来发展历程与展望未来2019各数据源的通用ETL逻辑封装通用ETL2020支撑用户维度查询的实时数据计算用户画像2021在iOS支付会话场景上实践CEP关联分析2022开始在各重要计费业务会话场景上实践实时风控2018线上日志的实时分析监控JFlink-SDK 诞生日志分析YARN时代基于YARN的统一集群JAVA API开发到SDK开发过渡SDK时代YARN APPLICATION实时业务统一SDK+配置式开发K8S时代K8S独立集群运行独立作业统一流式管理平台个性化资源策略的独立K8S集群多租户实时平台+配置式起流实时数据集市、数据治理向导式起流发展历程与展望未来降低监控发现延迟提升监控发现率业务日志实时分析监控发展历程与展望未来支付链路串联发展历程与展望未来用户画像发展历程与展望未来支付环境实时风控发展历程与展望未来Flink-SQL即席查询风控结果用户反馈驱动的风控模型修正结合AIGC挖掘更深层次数据价值感谢观看