《A3--郑嘉庆--实时保障每一笔资金安全蚂蚁资损防控架构揭秘.pdf》由会员分享，可在线阅读，更多相关《A3--郑嘉庆--实时保障每一笔资金安全蚂蚁资损防控架构揭秘.pdf（23页珍藏版）》请在三个皮匠报告上搜索。

1、实时保障每一笔资金安全,蚂蚁资损防控架构揭秘郑嘉庆蚂蚁集团 风险效能部 技术风险数据平台负责人郑嘉庆本先后就职于付宝、百度、陆所，对应系统、基础设施、数据系统、核对系统、团队管理等的建设略有得。2017年加蚂蚁集团技术险部，负责实时数据平台RMC系统和团队的建设作，同时孵化了智能化核对系统。RMC作为技术险核基础设施，承载千万级TPS实时数据流量的采集、建模、分析和计算，撑资损防控、攻防演练、变更防御、仿真环境、性能容量、应急定位、智能监控等应场景，实时保障蚂蚁户每笔业务请求的稳定可靠。蚂蚁集团蚂蚁集团 风险效能部风险效能部 技术风险数据平台负责人技术风险数据平台负责人嘉宾照片目录CONTEN

2、TS资损资损防控方法概述防控方法概述01 实时数据系统是关键基础02 专家经验与智能化互为补充03 总结与展望04 01资损防控方法概述重复扣款蚂蚁森林能量丢失币种错误技术风险保障业务稳定，提升用户体验与信任花呗借呗余额宝网商银行支付宝基金蚂蚁森林保险Alipay+芝麻信用出行类527大型稳定性故障类1218大型资损故障万人研发百万变更上万系统支付失败扫码失败金额错误券的超发地铁没扣款红包无法使用业务的复杂多变研发的复杂多变用户体验和信任的直接影响饿了么支付失败汇率错误信用分不准转账对象错误响应超时获取数据特定领域方案数据驱动是资损防控的关键思路资金关键五要素资损防控方法论常见防控手段关键支撑

3、T+1核对T+H跑批核对历史基线核对智能核对专家经验金额币种汇率状态账户关键要素的生产关键要素的流转关键要素的消费数据系统攻防演练标准化可靠性时效性可解释可回溯高吞吐02实时数据系统是关键基础一笔业务的技术表现非常复杂*取自内部链路排错工具，云图就资损防控而言，这里还缺少很多数据一笔业务请求横跨诸多业务BU、团队、系统、服务，库表，单元化环境，交错并行如何实时地识别每笔请求的资金要素？建立单笔模型刻画用户请求抽象：单笔数据模型资损防控变更防御应急定位流量回放MSGCALDAL需求：保障每一笔用户请求ResExpRPCReqStackInsertTraceID/流量染色TraceID/业务单号应

4、用系统进程内数据微服务调用数据业务数据库数据性能洞察映射应用将业务愿景映射到技术实现GW污点分析UpdateDelete(1)资损防控第一数据诉求在DB表分库分库分库触发队列裸数据队列订阅端聚合端本地缓存写读DRCDRCDRCHBase（Join data）Redis（Row data）:k=join v=pk:index=timestamp:TTL=Xmin:k=pk v=row data构建准实时DB数据流实现思路(binlog)joinjoinjoin各种消费场景（日常全流量运行）（时延敏感）业务无感 准实时 高吞吐 一致性 可回溯 成本可控 支持红蓝攻防演练 基于binlog构建实时数

5、据旁路 面向流式计算 基于位点和时间保障可靠性，故障后可回拉row row row row row延迟触发几十万逻辑表（几百万物理分表）业务App旁路(2)通过服务调用构建链路骨架构建实时Trace链路实现思路应用容器应用JVM进程Log Agentlogs进程内采集拉取解压压缩字典训练标记解析Trace缓存队列订阅端聚合端（Redis）压缩采集压缩字典同步分组Trace触发窗口Trace触发队列补全路由端(设置TTL)(乱序到达，延续TTL)场景映射分发各种消费场景（日常运行流量）（有效率监控，基于另一款产品的采样双端比对校验）真实链路的复杂性 更大的成本挑战 更大的异步化挑战 更大的性能挑

6、战 表达关联业务 复用缓存窗口思想 订制Redis逻辑，缓存计算于一体 按需构建和消费（需异常、问题）建设特征体系关联业务场景（下下页）tracelogsbizlogserrorlogs(几十万)(3)进程内数据为资损防控提供重要补充构建进程切面和采集实现思路应用容器应用JVM进程Log Agentlogs进程内采集压缩采集压缩字典同步服务端：复用上页的Trace流服务端心跳保活桩点下发任务管理流量监控熔断机制采集管控端灰度生效采集切面ASM字节码AOP切面拦截参数过滤Trace过滤枚举过滤组合过滤Mvel引擎流量决策（融入防控过程的自动采集任务）（数据明细可视化、可追溯）单机级的业务无感细化

7、到代码行级的采集追求部署效率全环境生效，全量采集订制实现采集切面订制实现防御机制采集端轻量化，计算后移基于特征体系提升采样有效率oreg.通过参数提前发现金额问题(4)通过流量特征表达业务场景单笔数据模型应用特征刻画特征度量特征覆盖率特征完整度特征有效性构建特征流量实现思路（关联业务场景）按统一的特征标准引流 雨露均沾的流量分布 自动度量，自动保鲜 统一流量特征标准 沉淀流量用例库 更新和汰换机制params.product=trade101params.actionType=PAY特征清洗特征资产存储特征保鲜与汰换流量用例库特征路劲特征值特征场景（eg.淘宝担保交易支付）eg.请求参数（应用

8、视角的特征分布）03专家经验和智能化互为补充(1)专家经验是最简单直接的防控手段BobAlice转账100元表A表B表Cif A.a1=B.bthenA.amount=B.amountA.a2=C.cNODETRIGGER NODEJOINRULE抽象实现应用效果不足 经验的传承 不同业务线的重复投入 业务变更的保鲜 覆盖全蚂蚁业务线 上万的模型、x万的规则 日常7x24全流量运行 3min告警时效 大促峰值采样运行人工成本的膨胀检查：账户金额币种汇率状态蓝军：注入篡改信息红军：根据业务编写核对模型和规则eg.一个转账业务蓝军：度量演练结果异常事件可回溯(2)智能化提供维护成本和效率的补位维护

9、问题冗余问题保鲜问题专家经验的不足数据驱动的分析思路智能化手段的可行性数据链路可共享自动保鲜识别变更自动布防自动构建血缘模型数据血缘可推导数据变更可感知自动推导核对规则业务感知问题(3)通过自动模型表达数据关系单笔数据模型离线推导业务表集合首应用业务场景初筛推导关联关系离线分组窗口聚合相似度精筛基于特征采样学习外键学习关联关系学习触发表构建自动模型 模型托管，消除重复 覆盖业务长尾，覆盖小流量表 自动保鲜 可干预（一键托管接入布防，生成自动模型）（异常报警可追溯到源头数据详情）(在线）组装模型实例，规则执行（离线）推导规则(4)自动挖掘资金规则，自动布防数据预处理规则推导执行核对模型规则数据采

10、样外键学习关系学习触发表学习频繁项集规则核验告警压制灰度生效异常回溯反馈、保鲜多元统计遗传算法数据编码启发搜索序贯覆盖prefixspan裁剪关键诉求规则膨胀vs规则有效率规则保鲜、新业务感知规则的语义表达去黑盒化，推导过程可观测可干预，专家经验有效融合可支持规则类型：应用效果覆盖主要蚂蚁业务线高危分母覆盖80+，增长中日均告警量10笔/二级域04总结与展望智能化专家经验我们探讨了数据系统、专家经验和智能化核对思路在长尾问题、维护和投入成本等方面起到互补作用数据系统发挥了重要作用，但会面临人力成本的膨胀高质量的数据系统是资损防控的关键前提大模型技术业务领域泛化资损防控技术技术加持能力扩展eg.深入业务领域，解决强业务逻辑的核对问题eg.应用于稳定性领域，如基础设施环境的一致性核验eg.通过AIGC生成攻击点和流量，自动的攻防验证eg.基于内部系统知识问答增强解释性和问题溯源技术风险解决方案套件，逐步开源中*数据、智能核对组件筹备中TRaaS：https:/ 数据系统 人才培养ID：Asuka4J？感谢聆听关注QECon公众号