1、分布式关联分析引擎Sabre在NGSOC中的应用01：事件关联和CEP02：大数据场景下的CEP关联分析03：分布式流式关联分析引擎-Sabre目录新一代分布式流式关联分析引擎CEP(复杂事件处理)技术在大数据领域的一个实现中文名-军刀，代表开箱即用，威慑力强“Sabre”是什么？事件关联和CEP01事件是计算机系统中某一活动产生的一组数据。事件的体现形式是一个对象，它由特定属性和数据组成。什么是事件？src_user:fangwen,dport:80,log_type:fw,msgid:d00de753f73a4583a5197d34d8a30b25,collect_ip:10.95.36.

2、14,dip:110.12.12.15,protocol:TCP,event_name:Match url profile,dev_type:/安全设备/防火墙,occur_time:00,sip:110.12.12.13,severity:6_信息,serial_num:1896129436,systype:log,dev_ip:10.91.130.216,sport:7704事件关联是一类用于对数以百计的设备中产生的数以百万计的日志进行分析以发现难以捉摸的攻击模式的技术什么是事件关联？网络攻击是复杂的，多阶段，持续时间段，跨多节点的动态过程独立的日志源无法看到攻击的全

3、貌，而只能看到完整攻击的一个片段不进行关联，就无法把大量的片段组合起来完成 全景拼图什么是事件关联？CEP：Complex Event Processing（复杂事件处理）一种基于动态环境中事件流的分析技术什么是CEP？CEP：COMPLEX EVENT PROCESSING（复杂事件处理），CEP是 SIEM(SOC)的核心技术之一。什么是CEP？事件复杂度处理速度复杂事件简单事件人类速度机器速度传统商务智能技术关系型数据库复杂事件处理Complex、Event、Processing消息队列Messaging&Routing、Systems数据库技术和CEP的区别水库vs水管CEP：SQL

4、on stream大数据场景下的CEP关联分析02海量数据如何有机结合？拥有各种类型的日志或数据，彼此之间孤立，不能发现深层复杂安全事件。大量告警如何高效应对？传统安全设备产生的大量告警事件，数量级已经达到靠人工无法有效处置。典型场景如何精准防御？缺乏对典型场景的关键影响因素细粒度地分析。高级威胁如何及时发现？面对的高级威胁事件APT攻击越来越多，没有能力及时地发现此类威胁。大数据场景下的工程难点难 点 1难 点 2难 点 3计算与存储资源的平台化趋势与已建大数据平台的兼容性依赖重运维的自有系统 VS 轻运维的产品大数据场景下CEP关联分析实现的过程步 骤 1步 骤 2步 骤 3(流式)计算框

5、架的选择复杂逻辑的拆分，使能分布式计算任务的生命周期管理（创建，运行，监控）分布式流式关联分析引擎-SABRE03SABRE的特性技 术特 性产 品独有的事件处理语言(EPL)图计算代码生成聚合计算、序列分析、关联计算、时间窗口、分组去重、表计算、国内首款大数据分布式实时关联分析引擎（产品级）可横向扩展的分布式引擎支持多源、异构日志支持漏洞、资产、威胁情报等多维数据支持自定义对象内容类Visio可拖拽轻松配置150+预置规则100+语义表达建模更简便支持分布式部署支持横向扩展集群更可靠可达10WEPS的实时处理能力性能更强劲国内第一款具有自主知识产权及专利的大数据分布式关联分析引擎来源更丰富灵

6、活的规则建模能力传统安全设备的规则是基于代码级别的编码，通过特征识别发现威胁的。但威胁是快速变化的，通过规则升级来响应是滞后的。通过类VISIO的图形化连线拖拽配置，就可实时地对威胁场景进行建模，配置规则统计规则关联规则序列规则快速配置和上线通过Sabre关联分析引擎，将一个新的监控需求的实现从开发、测试和上线的复杂流程中解放出来。通过工具化的配置拖拽即可轻松定制任何检测场景！遇到问题遇到问题分析原理分析原理确定方法确定方法编程开发编程开发测试上线测试上线具备具备监测能力监测能力快速配置和上线通过Sabre关联分析引擎，将一个新的监控需求的实现从开发、测试和上线的复杂流程中解放出来。通过工具化

7、的配置拖拽即可轻松定制任何检测场景！遇到问题遇到问题分析原理分析原理确定方法确定方法编程开发编程开发测试上线测试上线具备具备监测能力监测能力威胁建模威胁建模线上验证线上验证old规则建模工具威胁建模-统计规则Use Case-工作时间某IP地址突现异常流量场景描述：工作日时间范围内,当前1小时内的TCP平均流量超过一周时间内TCP平均流量的40%。选择统计规则模板,先配置规则属性,再进行计算单元配置：日志过滤1：数据源选择流量日志(TCP流量日志),过滤条件设置,发生时间 属于 工作时间(对象资源)将日志过滤与日志统计1计算单元进行连线 日志统计1：计算1小时内，相同源IP分组条件下，TCP流

8、量日志.下行字节数的平均值；将日志过滤与日志统计2计算单元进行连线 日志统计2：计算一周内，相同源IP分组条件下，TCP流量日志.下行字节数的平均值；将日志统计1、日志统计2与阈值比较计算单元进行连线阈值比较：日志统计1的值 变化幅度超过 40%的 日志统计2的值配置规则响应：此时只一个。该场景描述了对一些异常情况的关注。威胁建模-日志关联规则Use Case-网站被网络攻击利用成功场景描述：WAF出现攻击类报警的事件，且同时发现在IPS的报警日志中，被访问服务器（目的地址）中存在可利用漏洞时，被认为是一个高危可信告警。选择日志关联规则模板，先配置规则属性，再进行计算单元配置：日志过滤1：数据

9、源选择WAF报警事件，过滤条件设置WAF.目的IP=漏洞表.资产IP 日志过滤2：数据源选择IPS报警事件，过滤条件设置IPS.目的IP=漏洞表.资产IP 日志连接：日志过滤1.目的P=日志过滤2.目的IP 日志统计：5分钟时间范围内，聚类条件根据源IP、目的IP分组，默认统计方法为计数 阈值比较：聚类统计的计数结果=1备注：日志关联规则模板的连线关系不可修改。配置规则响应，如果需要先对规则的准确性进行验证，输出结果配置为关联事件。以上典型场景是对多类型、多维度日志和数据进行的关联分析。威胁建模-序列规则Use Case-“永恒之蓝”勒索病毒攻击场景描述：内网主机被蠕虫利用漏洞MS17-010

10、攻击，释放勒索病毒，并进一步感染其他主机。选择连接规则模板，先配置规则属性，再进行计算单元配置：日志过滤1：数据源为DNS解析日志，过滤条件中引用威胁情报，设置日志.解析域名=威胁情报.host 日志过滤2：数据源为Windows主机日志，过滤条件为“创建计划任务”包含“mssecsvc2”日志过滤3：数据源为TCP流量日志，过滤条件为目的port=445，135、137、138、139 将日志过滤1、日志过滤2、日志过滤3与序列分析计算单元进行连线 序列分析：5分钟时间范围内，对源IP（被感染主机）进行分组，对事件日志过滤1、日志过滤2、日志过滤3发生顺序进行判断。配置规则响应，可以设置告警

11、的攻击阶段、置信度等信息。以上典型场景是对全球范围内爆发的安全事件，利用威胁情报的关联，及时的内网发现和后续变种攻击的持续监测。整体架构规则配置前端词语法解析Sabre服务规则分析规则编译代码生成Flink集群告警kafka数据源KafkaXML格式规则任务包（JAR）XML格式规则支持多规则多规则进行全局语义优化规则匹配优化成流式图计算图计算编译器将规则匹配映射成等价代码直接运行对应代码，大幅提高规则匹配效率自动代码生成规则匹配拆分为图计算节点全局监控规则运行状态，包含内存、CPU、事件匹配情况等分布式状态监控核心技术图计算 引擎内部引入可计算对象的抽象概念，将各个计算节点抽象成对象，对象通

12、过数据流图组成DAG，这样可以简化数据结构的设计难度，提高引擎的可扩展性计算单元计算单元语义语义dataSource数据源，如kafka、database等filter对从数据源读取的事件进行过滤window聚集符合窗口时间的事件aggregation统计相关计算：count、max、min、average、sumsequence处理事件序列逻辑join两数据源事件关联operator对象计算模块action动作响应，处理规则触发之后的动作分布式运行 Sabre的分布式能力基于流式处理框架：Apache Flink Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算对Flink的技术依赖只使用Flink的分布式计算能力业务代码尽可能减少对Library层的依赖Sabre很容易适配到Flink的各个版本（1.4/1.7.2）技术决策-最小依赖原则分布式状态监控THANKS