1、实时攻击检测智能化之路CONTENTS智能进化未来系统介绍系统介绍-Nilekafka交 换 机镜 像 流量storm白名单规则引擎结果存储ElasticSearch漏洞自动化验证系统 Hulk消息队列2017/11/27存在的问题性能性能维护维护漏报漏报机器学习可以解决的问题回归分类聚类预测类别预测值发现相似性what are you trying to do?方案选择Pythonjavascalaspark mllib机器学习sckit-learnSpark 介绍Apache Spark is a fast and general engine for large-scale data p
2、rocessing.机器学习流程1.收集样本2.数据清洗，打标签3.特征提取4.模型训练5.验证模型，调优6.预测分类1.0 之架构trafficstorm 白名单机器学习预测规则引擎ES训练模型hdfs模型1.0 数据：url和postdata 特征选择：url decode+正则 算法：svm 算法库：spark mllib1.0 之样本恶意样本nile 命中规则的结果waf 日志网上收集poc非恶意样本交换机镜像的流量脚本关键字+人眼观察样本收集样本清洗1.0 之特征统计每个request中如下敏感符号,关键字的个数,.!*/(&等等eval ongl script select等等然后
3、转换成一个1*n的矩阵，所有的训练样本就是m*n的输入and 1=(select count(*)from master.dbo.sysobjects where xtype=x and name=xp_cmdshell)2,1,3,.1,2,0，代表2个(,2个),3个等存在的问题：总有遗漏的关键词1.0 之算法测试算法测试算法误报率误报率漏报率漏报率决策树9.9%8.4%svm8.8%8.9%朴素贝叶斯11%9.6%1.0进步从无到有，流程跑通不足特征太依赖于正则了，不够智能2.0分词：WordParser特征提取：TF-IDF（Hashing TF and IDF）特征之WordPars
4、er将每一个标点和控制符都“转换”为词，例如and 1=(select count(*)from master.dbo.sysobjects where xtype=x and name=xp_cmdshell)特征提取之TF-IDF例如我们有很多条get请求语句，第一条语句共计10个单词，其中单引号有3个，1000条语句中有10条语句包含单引号包含该词包含该词的语句个的语句个数数TFIDFTF-IDF单引号100.31.9580.5874from1000.30.9950.33182.0 之 算法测试算法测试算法误报率误报率漏报率漏报率决策树5.6%5.5%svm4.4%5.1%朴素贝叶斯6.
5、0%4.1%效果效果2.0进步可以靠数据变得更强真正开始智能化不足未解决性能问题3.0架构调整流量storm 白名单spark机器学习预测规则引擎ES训练模型hdfs3.0-架构性能效果流量：1.7 w -450w+检测量：1 w -14w 3.0进步性能大幅提高不足如果新上规则的话，很大概率检测不出来4.0再次调整架构trafficstorm 白名单spark机器学习预测规则引擎（旧规则）ES训练模型hdfs4.0-架构规则引擎（新上规则）4.0进步可抓新规则定义的攻击不足无法检测header头5.0增加动态黑名单功能trafficstorm 白名单spark 机器学习预测规则引擎（旧规则）ES训练模型hdfs5.0-架构规则引擎（新上规则）Redis(恶意IP库)storm 黑名单样本5.0 效果5.0进步更低的漏报可发现业务逻辑攻击不足未来更智能二分类到多分类使用更多的检测纬度关联各个纬度要解决的问题post数据中xml和json格式的数据存在大量误报增加反馈每周报告效果THANKS
sgpjbg002
工作日 8:30 - 17:30
报告分类
