报告预览

Flink CEP 在实时风控场景的落地与优化.pdf

编号：136975

PDF 30页 2.18MB 下载积分：VIP专享

下载报告请您先登录！

Flink CEP 在实时风控场景的落地与优化.pdf

1、DataFunSummit#2023Flink CEP 在实时风控场景的落地与优化演讲人-耿飙-阿里云计算平台事业部-开发工程师01Flink CEP介绍02动态多规则支持03CEP SQL语法增强&性能优化04风控场景实际案例目录 CONTENTDataFunSummit#202301FlinkFlink CEPCEP介绍介绍什么是Flink CEP CEP:复杂事件处理(Complex Event Processing)Flink CEP:基于Flink实现的复杂事件处理库，它可以识别出数据流中符合特定模式(Pattern)的事件序列，并允许用户作出针对性处理。ABBCd1模式事件流匹配a

2、1b1b2d2c1e1a2.a1b1b2c1Flink CEP应用场景实时风控实时风控风险用户检测：5分钟内转账次数超过10次且金额大于10000实时营销实时营销营销策略优化：大促期间在购物车中添加了超过3次商品后，但最后没有结账付款的用户物联网物联网异常状态告警：共享单车被骑出指定区域且15分钟内没有回到指定区域后发出告警DataFunSummit#202302动态多规则支持动态规则支持：背景为什么需要支持动态规则更新？频繁变化的实际场景要求对初始规则的内容进行调整或者添加新的规则，而重启Flink作业来使变化后的规则生效的方式时间成本高、影响范围大关键问题：如何让Flink作业不停机加

3、载新规则？如何解决Pattern的(de)serialization?现有方案：修改CepOperator添加注入规则的接口基于Groovy引擎动态生成Pattern对象规则事实条件阈值例子：5分钟内通过广告链接访问某商品超过5次但最终没有购买 3分钟内访问超过7次最终没有购买动态规则支持：设计新增接口（FLIP-200）PatternProcessoridversiontimestamppatternpatternProcessorFunctionPatternProcessorDiscovererPatternProcessorManager动态规则支持：设计Upstream OpUps

4、tream OpDatabaseDatabaseJobManagerJobManagerTaskManagerTaskManagerDownstream Downstream OpOpOperatorCoordinatorOperatorCoordinatorDynamicCEPOpDynamicCEPOpTaskManagerTaskManagerDynamicCEPOpDynamicCEPOpP PP PP PpollpollR RR RR R:Serialized PatternProcessor:Serialized PatternProcessorP PR R:Record:Reco

5、rdPatternProcessorPatternProcessorDiscovererDiscovererNFANFANFANFANFANFANFANFA动态规则支持：(de)serialization GraphPattern的抽象：NFA 状态转换图子Pattern：节点事件选择策略：边规则的(de)serialization 格式设计原则：表达能力完整方便序列化反序列化易于拓展，方便集成可读可编辑JSON动态规则支持：(de)serialization Pattern pattern=Pattern.begin(start,AfterMatchSkipStrategy.skipPast

6、LastEvent().where(new StartCondition(action=0).timesOrMore(3).followedBy(end).where(new EndCondition();P1P2e2e1动态规则支持：拓展ConditionAviatorCondition:结合Java反射机制，使用Aviator引擎解析表达式字符串原理Compile expression in constructorExecute expression with variables in filter()示例AviatorCondition(action=1&price 20)Aviator

7、Condition(action=0&price 50)GroovyCondition：支持Groovy语法，将Groovy表达式作为参数CustomArgsCondition：自定义参数public class Event private final int id;private final String name;private final double price;private final int action;private final long eventTime;动态规则支持：多规则支持如何在同一输入流应用多条规则?多个PatternStream,多个CEPOperator，多个

8、NFA 数据要复制多次一个PatternStream,一个CEPOperator，多个NFA 数据只需传递一次CEPOpDynamicCEPOpUpstream OpCEPOpCEPOpUpstream OpNFANFANFA动态规则支持：Demo场景：广告投放中的实时反作弊https:/ SQL语法增强&性能优化 Flink CEP SQL：介绍选择事件表定义逻辑分区定义事件顺序定义CEP输出定义序列模式定义变量条件Flink CEP SQL：示例源表结果表Flink CEP SQL：语法增强01 输出带时间约束模式的匹配超时序列案例场景：用户行为模式识别用户从流量入口进入产品边界，执行一系

9、列的操作后最终完成价值转化。识别整体流程周期在10分钟之内的高质量用户。Flink CEP SQL：语法增强01 输出带时间约束模式的匹配超时序列源表结果表Flink CEP SQL：语法增强01 输出带时间约束模式的匹配超时序列结果表Flink CEP SQL：语法增强02 定义事件之间的连续性Java APISQL策略样例匹配序列A.next(B)(A B)严格连续：期望所有匹配事件严格的一个接一个出现，中间没有任何不匹配的事件。a1 b1 a3 b2 A.followedBy(B)(A-X*?-B)X为未在DEFINE中定义的变量，下同松散连续：忽略匹配事件之间的不匹配事件。a1 b1

10、a2 b2 a3 b2 A.followedByAny(B)(A-X*-B)非确定性松散连续：更进一步的松散连续，允许忽略掉一些匹配事件。a1 b1 a2 b2 a3 b2 A.notNext(B)(A B)严格非连续：期望事件之后不紧接出现另一事件。a2 A.notFollowedBy(B)(A-X*?-B)松散非连续：期望一个事件不出现在两个事件之间的任何地方。无匹配源表条件变量Flink CEP SQL：语法增强03 定义循环模式中的连续性和贪婪性标识符连续性贪婪性示例模式等效Java API样例匹配序列无严格连续贪婪(A+C)A.oneOrMore().consecutive().gr

11、eedy().next(C)a2 a3 c1a3 c1?严格连续非贪婪(A+?C)A.oneOrMore().consecutive().next(C)a2 a3a3 c1?松散连续贪婪(A+?C)A.oneOrMore().greedy().next(C)a1 a2 a3 c1a2 a3 c1a3 c1?松散连续非贪婪(A+?C)A.oneOrMore().next(C)a1 a2 a3a2 a3a3 c1源表条件变量Flink CEP SQL：语法增强04 循环模式指定停止条件（Until）模式等效Java API样例匹配序列说明(A+C)A.oneOrMore().consecutive

12、().greedy().next(C)a2 b1 a3 c1 b1 a3 c1 a3 c1以a或b开头的事件都能匹配A模式，A模式内部和AC之间为严格连续。由于a1、a2之间存在d1，无法从a1开始匹配(A+BC)A.oneOrMore().consecutive().greedy().until(B).next(C)a3 c1A循环模式增加了until B条件，AC之间仍为严格连续。由于a2开始的循环模式需要在b1处结束，无法满足与c1之间的严格连续要求(A+B-X*?-C)A.oneOrMore().consecutive().greedy().until(B).followedBy(C)

13、a2 c1a3 c1AC之间为松散连续，以a2开始的循环模式在b1处结束，并跳过b1、a3匹配c1(A+?B-X*?-C)A.oneOrMore().greedy().until(B).followedBy(C)a1 a2 c1 a2 c1 a3 c1循环模式A内部为松散连续，可跳过d1并结束于b1，匹配a1、a2源表条件变量typecontentAa1Dd1Aa2Bb1Aa3Cc1Flink CEP SQL：语法增强05 组合模式(Group Pattern)组合模式（group pattern）：将多个模式组合为一个整体用在next()、followedBy()和followedByAny

14、()函数中，并支持整体的循环。在阿里云实时计算Flink版的SQL作业中使用SQL标准中的括号语法(.)来定义组合模式，支持使用循环量词如+、*、3,等。PATTERN(A(B C*)+?D)Pattern.begin(A).where(.).next(Pattern.begin(B).where(.).next(C).where(.).oneOrMore().optional().greedy().consecutive().oneOrMore().consecutive().next(D).where(.)a1b1b2c1b3c2c3d1 a1b1b2c1c3d1Flink CEP SQL

15、：语法增强06 AFTER MATCH NO SKIP策略SKIP_TO_NEXT_ROW：丢弃以相同事件开始的所有部分匹配（CEP SQL默认策略）NO_SKIP：每个成功的匹配都会被输出（Java API默认策略）模式：a b+，输入：a1b1b2b3：阿里云实时计算Flink版扩展了SQL标准中的AFTER MATCH语句，可通过AFTER MATCH NO SKIP语句来声明NO_SKIP策略，NO_SKIP策略在完成一条序列的匹配时，不会终止或丢弃其他已经开始的匹配过程。Flink CEP性能优化减少State访问增加Cache、优化onEvent/ProcessingTime()实

16、现修复State泄漏https:/issues.apache.org/jira/browse/FLINK-23314对于部分生命周期较短的key，和其相关的computationStates没有及时清理，导致State不断增大。当key包含timestamp或随机ID时，容易出现该问题及时清除该keyTip：使用Flink1.16及之上的Flink CEP版本，减少Timer的注册，大大减少作业的CPU消耗（10 x）https:/issues.apache.org/jira/browse/FLINK-23890DataFunSummit#202304风控场景典型应用风控场景典型应用交易风控一

17、段时间内某个IP退款超过一定金额，触发熔断一段时间内某个IP退款超过一定次数，触发熔断内容风控某用户在X分钟内发布了超过Y条帖子，则进行账号禁言或其他处理物联网设备上报埋点到日志存储上，有成功和失败信息。如果某个设备连续发生10次以上的某类异常，并且超过15分钟未恢复则告警网络安全检测到某台电脑的行为满足“点击钓鱼邮件”、“下载异常文件”、“执行远程代”等模式后，触发报警风控场景典型应用获取该子Pattern之前匹配的事件：context.getEventsForPatterncontext.getEventsForPattern()()支持定义相邻事件之间的时间间隔：WithinType.P

18、REVIOUS_AND_CURRENTWithinType.PREVIOUS_AND_CURRENTnew IterativeCondition()Overridepublic boolean filter(Event value,Context ctx)throws Exception double amount=0;for(Event evnt:ctx.getEventsForPatterngetEventsForPattern(Refund)amount+=event.getPrice();return amount=1000;Pattern pattern=Pattern.begin(acceptCoupon).where(new StartCondition().followedBy(addItem).where(new MiddleCondition().within(Time.minutes(5),WithinType.PREVIOUS_AND_CURRENTWithinType.PREVIOUS_AND_CURRENT).notFollowedBy(pay).where(new EndCondition().within(Time.days(1);感谢观看

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（Flink CEP 在实时风控场景的落地与优化.pdf）为本站（2200）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

Flink CEP 在实时风控场景的落地与优化.pdf

Flink CEP 在实时风控场景的落地与优化.pdf