1、加密流量恶意软件分析在金融场景的实践张志鹏张志鹏斗象科技 高级安全顾问目录安全概述加密流量的异常检测多模型融合的恶意软件分析PRS-NTA斗象&F5联合解决方案概述-加密通信加密隐私数据:防止您访客的隐私信息(账号、地址、手机号等)被劫持或窃取。提高页面加载速度:提高用户体验,防止客户流失。安全身份认证:验证网站的真实性,防止钓鱼网站。防止网页篡改:防止数据在传输过程中被篡改,保护用户体验。提升信任度:地址栏头部的“锁”型图标使您的访客放心浏览网页,提高用户信任度。-加密通信的作用-概述-双刃剑HTTPS隧道攻击者感染主机分析员数据块数据块恶意软件数据块概述-恶意软件Malware这个单词来自

2、于Malicious和Software两个单词的合成，是恶意软件的专业术语。是植入你电脑中的恶意代码，它可以完全控制、破坏你的PC、网络以及所有数据。-来自百度百科Malware包含了以下几个种类：*Computer Viruses计算机病毒*Computer Worms 计算机蠕虫*Trojan Horses 特洛伊木马*Logic Bombs 逻辑炸弹*Spyware 间谍软件*Adware 广告软件*Spam 垃圾邮件*Popups 弹出 目前使用加密通信的恶意软件家族超过200种，使用加密通信的恶意软件占比超过40%，使用加密通信的恶意软件几乎覆盖了所有常见类型，如：特洛伊木马、勒索软

3、件、感染式、蠕虫病毒、下载器等，其中特洛伊木马和下载器类的恶意软件家族占比较高。概述-恶意软件恶意软件类型恶意软件类型产生加密流量类型产生加密流量类型特洛伊木马C&C直连、白站隐蔽中转、检测主机联网环境、其他勒索软件C&C直连感染式C&C直连、母体正常流量、其他蠕虫病毒C&C直连、蠕虫传播下载器白站隐蔽中转、其他其他C&C直连、广告流量等 恶意软件产生的加密流量，根据用途可以分为以下六类：C&C直连、检测主机联网环境、母体正常通信、白站隐蔽中转、蠕虫传播通信、其它。恶意软件在受害主机执行后，通过TLS等加密协议连接C&C（攻击者控制端），这是最常见的直连通讯方式。C&C直连攻击者将控制命令或攻

4、击载荷隐藏在白站中，恶意软件运行后，通过SSL协议访问白站获取相关恶意代码或信息。白站隐蔽中转部分恶意软件在连接C&C服务器之前，会通过直接访问互联网网站的方式来检测主机联网情况，这些操作也会产生TLS加密流量。检测主机联网环境母体正常流量感染式病毒是将恶意代码嵌入在可执行文件中，恶意代码在运行母体程序时被触发。母体被感染后产生的流量有母体应用本身联网流量和恶意软件产生的流量两类。蠕虫传播蠕虫具有自我复制、自我传播的功能，一般利用漏洞、电子邮件等途径进行传播。加密流量与恶意软件有什么关系？由恶意软件生成的加密流量加密流量中携带了恶意软件那么斗象科技用什么的方式去解决加密流量中恶意软件的检测呢？

5、课题研究的方法论样本采集特征工程模型构建产品工程HTTPS的深度包解析SSL协议日志协议日志 描述了SSL/TLS握手和加密连接建立过程。有SSL/TLS版本、使用的密码、服务器名称、证书路径、主题、证书发行者等等。证书日志证书日志 在日志中的每一行都是一个证书记录，描述证书信息，如证书序列号、常用名称、时间有效性、主题、签名算法、以位为单位的密钥长度等 通过流量包深度解析方式提取HTTPS流量中的足够信息日志，包括连接通信日志、SSL协议日志、证书日志三部分连接连接通信日志通信日志 每一行聚合一组数据包，并描述两个端点之间的连接。连接记录包含IP地址、端口、协议、连接状态、数据包数量、标签等

6、信息。基于连接4元组的特征识别连接4元组是一组SSL聚合和一些单独的连接记录。它们都共享源IP、目标IP、目标端口和协议的4元组。这个4元组是每个连接4元组的唯一键连接4元组SSL聚合SSL聚合是3类数据的串联，SSL聚合仅包含一对连接记录和一个SSL记录，SSL记录是否具有证书路径取决于许多因素，例如，SSL握手是否成功等。意义？每个连接4元组总结了恶意软件连接到C&C服务器的行为，或者在大多数情况下普通用户连接到普通网站的行为。数据集CTU-13数据集是2011年在捷克共和国CTU大学捕获的。CTU-13数据集由在真实网络环境中捕获的13个不同的恶意软件组成。捕获包括恶意软件，正常和后台流

7、量，但我们只是使用正常和恶意软件。数据集的正常部分是使用运行在虚拟机上的Windows 7捕获的。正常流量使用未知的web浏览器，恶意软件可能使用自己的库与Internet通信。该数据集的作者是Sebastian Garcia,Martin Grill,Honza Stiborek和Alejandro Zunino，他们对僵尸网络检测方法项目进行了实证比较.CTU-13MCFP dataset有来自Stratosphere Malware Capture Facility项目的数据集，由Maria Jose Erquiaga完成。她通过选择使用HTTPS的恶意软件生成这些捕获。该数据集由53个

8、恶意软件捕获和6个正常捕获组成。从2015年到2017年，在运行于虚拟机上的Windows 7上使用ie浏览器，在运行于Linux Debian上的Chrome浏览器上使用谷歌浏览器，都可以捕捉到正常的数据。My own normal dataset由于缺乏正常的数据，我们不得不创建更多的正常捕获。方法是浏览普通的网站，如facebook、twitter、gmail等。其中大多数我们都有账户，并进行了一段时间的互动。我们还使用了一个来自M的网站列表，其中包含了前500个注册域名，以及来自的前700个网站，这些网站是美国人访问最多的网站。数据集的这一部分包含13个普通捕获。2017年4月，运行在

9、虚拟机上的Windows 7上的Mozilla浏览器和运行在Kali Linux上的Iceweasel浏览器分别管理了这次捕获。特征识别（1）聚合和连接记录的数量。（2）持续时间均值。（3）持续时间标准差。（4）超出标准差范围的持续时间占比。（5）总发送包大小。（1）连接记录中ssl连接的占比。（2）TLS与SSL的比值。（3）SNI占比。（4）SNI is IP。（1）公钥均值。（2）证书有效期的平均值。（3）证书有效期的标准差。（4）捕获期间证书周期的有效性。连接连接通信日志通信日志SSL协议日志协议日志证书日志证书日志提取40余个特征，对于这些特征，我们将它们分为3组：连接特征、SSL特

10、征、证书特征。连接特征是来自连接记录的特征，描述与证书和加密无关的通信流的常见行为。SSL特征是来自SSL记录的特征，描述了SSL握手和加密通信的信息。证书特征是来自证书记录的特性，描述了web服务人员在SSL握手期间提供给我们的证书的信息。测试结果数据绘图随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。随机森林XGboostXGBoost全名叫（eXtreme Gradient Boosting）极端梯度提升，经常被用在一些比赛中，其效果显著。它是大规模并行boosted tree的工具经过数据清洗和过滤后，最终得到正样本46949条，负样本45121条

11、。模型模型随机森林随机森林XGBoostXGBoost准确率98.61%96.54%多模型融合检测威胁情报、动态行为分析、静态特征分析、信誉度模型案例：基于API序列调用的恶意软件检测经过沙箱程序模拟运行后的API指令序列数据源模型模型统计机器学习模型统计机器学习模型CNNCNNNLPNLP准确率0.988380.945620.897实验结果基于NLP 的文本词袋模型检测 基于统计机器学习模型基于文本序列的深度学习检测多级融合计解决方案情报系数沙箱系数敏感API敏感字符串敏感域名/IP服务信息注册表信息执行操作 DisableCMDAutoRunDisableAllDrivers信誉模型加权计算静态特征模型动态API模型沙箱行为特征Final Score加权计算demo