1、贾林杰/高级安全开发工程师/某支付公司现任某支付公司高级信息安全工程师，从事多年安全开发工作，曾主导开发过分布式WEB扫描器、漏洞管理平台、业务风控平台、SOC平台等，目前专注于XDR相关技术探索及开发。演讲主题：基于Flink的实时安全数据分析与异常检测基于Flink的实时安全数据分析与异常检测汇付天下 高级信息安全工程师 贾林杰安全领域的数据分析与异常检测的特点与要求数据来源多 数据来自主机、网络、应用、安全设备等数据类型杂 各类型数据结构复杂，且不易关联无限流数据 开机即生成，数据量巨大实时要求高 告警数据实时性要求高，越早发现，危害越小安全领域的数据处理流程数据收集阶段需要尽可能全面的

2、收集可用于后续处理的日志、告警、外部情报等数据数据收集数据处理阶段需要收集的多种日志进行标准处理、字段扩展、数据关联等操作数据处理数据分析阶段需要对标准化的数据进行多维度指标计算、条件判断等分析操作数据分析通过分析后的目标数据可以用来进行可视化输出、规则检测、特征提取等更深层次的加工与输出数据输出基于ELK的日志收集及分析方案基于ELK的日志收集及分析方案1.beats可快速接入数据并通过logstash的可配置功能对数据进行初步的清洗，扩展、过滤2.强大的搜索功能，elasticsearch可以以分布式搜索的方式快速检索，而且支持DSL的语法来进行搜索，可通过类似配置的语言，快速筛选数据。3

3、.完美的展示功能，可以展示非常详细的图表信息，而且可以定制展示内容，将数据可视化发挥的淋漓尽致。4.分布式功能，能够解决大型集群运维工作很多问题，包括监控、预警、日志收集解析等。缺点1.logstash管道配置文件对数据的清洗、转换、扩展等功能有限，无法进行数据流关联等进一步操作2.ELK套件虽然具备强大的搜索功能，可快速筛选数据，但本质是仍然是分布式检索平台，不具备事件驱动能力，无法完成一些高级的有状态计算3.ELK虽然具备分布式可扩展能力，但在仍然不适合进行较长时间跨度的数据存储平台，长时间跨度极大数据量的数据存储仍然需要借助大数据平台完成Apache Flink 是一个框架和分布式处理引

4、擎，用于对无界和有界数据流进行有状态计算。Flink 被设计为在所有常见的集群环境中运行，并以内存中的速度和任何规模执行计算FLINK的介绍：FLINK的优势海量数据秒级处理01Flink具有高吞吐，低延迟，高性能的特性支持事件时间02Flink能够使用事件产生的时间进行计算，这种机制使得事件即使无序到达甚至延迟到达，数据流都能够计算出精确的结果，同时保持了事件原本产生时的在时间维度的特点，而不受网络传输或者计算框架的影响高度灵活的窗口操作03Flink窗口分为滚动窗口、滑动窗口、会话窗口，不同的窗口操作应用能够反馈出真实事件产生的情况，用户可以定义不同的窗口触发机制来满足不同的需求。比如统计

5、在过去的5分钟内用户查询了多少次运单信息同时支持流、批处理04同一套框架支持两种处理方式，很大程度上减少了技术学习成本和系统维护成本。有状态计算架构05状态就是流式计算过程中将算子的中间结果数据的保存下来，结合checkpoint和Savepoint，可以保障在故障发生程序能自动恢复，同时也提供了更好的流式运维方式基于Flink的数据分析与异常检测基本方案FLINK的基本概念事件驱动型(Event-driven)l一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作流与批的世界观，Flink流批一体，可处理有界和无界流l 批处理的特点：有界、持久、大量，非常适合需要访问全

6、套记录才能完成的计算工作，一般用于离线统计。l 流处理的特点：无界、实时,无需针对整个数据集执行操作，而是对通过系统传输的每个数据项执行操作，一般用于实时统计l 无界数据流：有开始无结束l 有界数据流：有开始有结束l 这种以流为世界观的架构，最大好处是具有极低的延迟分层API（从上到下分三层）l a、SQLTable API 最上层高级API，使用简单，数据按表操作，可写SQLl b、DataStreanm API 核心层级API，可处理有界&无界数据（流批一体）l c、ProcessFunction API 可以拿到事件event，状态state，时间time，自定义定时事件多种数据源(有时

7、不可靠)：当数据是由数以百万计的不同用户或设备产生的，它是安全的假设数据会按照事件产生的顺序到达，和在上游数据失败的情况下，一些事件可能会比他们晚几个小时，迟到的数据也需要计算，这样的结果是准确的。应用程序状态管理：当程序变得更加的复杂，比简单的过滤或者增强的数据结构，这个时候管理这些应用的状态将会变得比较难(例如：计数器，过去数据的窗口，状态机，内置数据库)。flink提供了工具，这些状态是有效的，容错的，和可控的，所以你不需要自己构建这些功能。数据的快速处理：有一个焦点在实时或近实时用例场景中，从数据生成的那个时刻，数据就应该是可达的。在必要的时候，flink完全有能力满足这些延迟。海量数

8、据处理：这些程序需要分布在很多节点运行来支持所需的规模。flink可以在大型的集群中无缝运行，就像是在一个小集群一样。FLINK的使用场景FLINK的层级APIFLINK的第三方库CEP 用于分析低延迟、频繁产生的不同来源的事件流。CEP 可以帮助在复杂的、不相关的事件流中找出有意义的模式和复杂的关系，以接近实时或准实时的获得通知并阻止一些行为。CEP 支持在流上进行模式匹配，根据模式的条件不同，分为连续的条件或不连续的条件；模式的条件允许有时间的限制，当在条件范围内没有达到满足的条件时，会导致模式匹配超时。FLINKCEPGelly是Flink的图API库，它包含了一组旨在简化Flink中图

9、形分析应用程序开发的方法和实用程序。在Gelly中，可以使用类似于批处理API提供的高级函数来转换和修改图。Gelly提供了创建、转换和修改图的方法，以及图算法库。GellyFLINK SQL使用kafka作为数据源Flink作业分析使用FLINK SQL对CobaltStrike注入进程文件进行检测Flink作业分析FLINK SQL向kafka进行数据写入操作Flink作业分析FLINK SQL 对操作员每小时的访问特定URL的次数进行指标计算Flink作业分析使用FLINK SQL对来10分钟内自同一IP的登录失败进行告警Flink作业分析Flink SQL 关联两个数据流中4个小时内I

10、D相同的事件Flink作业分析FLINK SQL通过CEP 匹配十分钟内登录失败超过10次后登录成功的事件Flink作业分析通过编写UDF可自定义对数据的处理过程Flink作业分析Ververica PlatformVerverica平台是一个以Apache Flink开源版本为内核，用于有状态流处理和流分析的集成平台，具备K8S集成，快速部署、Flink SQL在线编写发布等功能，可快速实现对流式数据处理应用的开发、测试、部署。Flink与Sigma Sigma 是一种通用的开放式签名格式，允许您以直接的方式描述相关的日志事件。规则格式非常灵活，易于编写，适用于任何类型的日志文件。该项目的主

11、要目的是提供一种结构化的形式，研究人员或分析人员可以描述他们曾经开发的检测方法，并使它们与他人共享。通过Sigma tools 可以将社区的通用规则自动化转化为符合FlinkSQL 的形式的脚本，快速完成现有规则的在Flink 上的部署运行。目前我们完成了的部分转换过程:https:/ AI FlowFlink AI Flow 是一个连接大数据和人工智能的开源框架。它将整个机器学习项目生命周期作为一个统一的工作流进行管理，包括特征工程、模型训练、模型评估、模型服务、模型推理、监控等。在整个工作流中，Flink 作为通用计算引擎。Deep Learning on FlinkDeep Learning on Flink 旨在整合 Flink 和深度学习框架（例如 TensorFlow、PyTorch 等）。它在 Flink 算子内部运行深度学习任务，以便 Flink 可以帮助建立分布式环境、管理资源、读/写记录和处理故障。