1、部分可观下APT攻击行为捕获：马尔可夫决策助力AI模型孟雷孟雷斗象科技高级机器学习专家（照片部分由主办方添加）AgendaAPT威胁严峻AI模型助力APT检测马尔可夫决策助力AI模型Data Exfiltration 检测与防御总结极光行动（2009-2019）夜龙行的（2007-2011）沙虫（2009-2019）震网（2006-2010）Duqu（2007-2012）火焰（2010-2012）高斯（2010-2011）黑袋行动（2010-2011）索尼事件（2014）TAO攻击（1998-2013）KBS事件（2003-2013）Hearbeat（2009-2012）Hangover（20

2、10-2013）Darkhotel APT（2018-2019）海莲花（2012-2018）Winnti（2009-2013）Safe行动（2012-2013）RSA入侵（2011）APT1（2009-2019）乌克兰电网攻击（2015.12）响尾蛇APT（2012-2019）网络旅行者（2004-2013）全球高级持续威胁（APT）以精确打击要害及核心信息窃取为主要目，对企业网络安全，信息资产安全构成严重威胁。APT|威胁持续中Social EngineeringSpear phishing0-Day ExploitsCustom MalwareMalware Variants metamo

3、rphism&packerConvert/Encrypted Tunnel攻击行为挖掘|Cyber Kill Chain and ATT&CK智能检测|基于人工智能和大数据的威胁分析检测AI模型平台漏洞盒子安全专家 C&C 连接 内部异常访问 异常数据传输网络流量分析 邮件附件 Web页面下载文件 其它文件文件分析智能检测|基于人工智能的威胁检测建模监督学习DGA检测模型DNS隧道检测模型恶意加密流量检测非监督学习Webshell检测模型异常流量检测模型ICMP隧道检测深度学习恶意文件检测模型僵尸网络检测恶意文件家族检测Decision Tree Random forestlogistics

4、regressionIsolation forest k-means SVM检测能力/时间复杂性困境|未知的威胁严峻，防御是与时间赛跑有效处理有效告警没有告警误报造成的平均损失:每年130万美元19%40%4%快速响应平均降低了40%的成本反应慢造成的损失:成本增加40%40%新型攻击：隐蔽 伪装APT 0day 渗透入侵无处不在挑战|海量告警响应&模型准确性提升无法及时响应，资产数据已受损模型存在噪声模型运算成本提升模型准确性快速响应部分可观环境（检测模型存在噪声）弱智能体强智能体解决|构造一个强智能体analyze，block，passnormal，anomalyState:blockin

5、g，passing计算资源、算力、分析损耗DGA模型恶意文件模型Webshell模型DNS隧道模型ICMP隧道模型加密流量模型Mysql模型含噪音的AI模型集RewardObservationAction部分可观马尔可夫决策马尔可夫模型|MC HMM MDP POMDPNo observation uncertainty,with decisionWith observation uncertainty,no decisionWith both observation uncertainty and decisionMarkov Chain(MC)Hidden Markov Model(HMM

6、)Markov Decision Process(MDP)Partially Observable Markov Decision Process(POMDP)WORLDTransition DynamicsObservationRewardActionSEPolicybAgentPOMDP 通过六元组（S，A，T，R，Z，O）表示一个序贯决策过程。相对于MDP，智能体并无法直接观察目前状态，必须根据部分区域观测结果推断状态的分布。S是有限集，其中sS代表一个状态A是有限集，其中aA代表一个行动T：SA(S)称为状态转移函数，用T(s,a,s)表示在状态s上执行a达到s的概率P(s|s,a)R

7、：SAR称为回报函数，R(s,a)表示在s上执行行动a所得即时回报Z是一个有限集，zZ代表一个观察O：SA()称为观察函数，O(s,a,z)表示执行a达到s观察到z的概率P(z|s,a)框架|部分可观马尔可夫决策过程（POMDP）th公式(4-2)的充分统计量Agent通过维持一个信度状态b来对其历史进行总结,b0代表初始信度状态。(=Pr(=|,1,1,.0,0(=(0,(1,(2,.,(,(定义|基于POMDP的APT攻击行为捕获策略对于一个给定策略，在初始信念状态下，按策略执行动作得到累计代价值为：(=(,(+(|,(其中，(,(=(,(|,()()()(,()(,(),)s SsSP

8、z b ab sb s T s s aO z as=(|,(=(,(,(,POMDP模型目标是求解使累计代价值最小的最优策略*，即b，有下式成立：+1(+1(求出POMDP决策模型为：+(=(,+(,(,(POMCP|蒙特卡洛搜索树Default PolicyTree PolicySelectionExpansionSimulationBackpropagation通过邮件附件、漏洞利用、植入后门等方式感染主机与远端C&C服务器连接获取控制命令窃取凭证，提升系统权限，感染其他主机数据收集数据传递日志协议沙箱情报恶意文件模型Webshell模型渗透DGA模型C2服务端模型C&C连接横移检测模型横

9、移感染隐蔽隧道检测恶意加密流量模型命令执行传输僵尸网络模型UEBA攻击行为检测模型（弱AI）POMDP（强AI）World（S，A，T，R，Z，O）Agent观察值/奖惩动作APT攻击行为捕获|弱AI 强AI案例介绍Data Exfiltration 检测和抵御近几年数据泄露事件0200000000400000000600000000800000000Ministry of Health(Singapore)WestpacHealth Sciences Authority(Singapore)Universiti Teknologi MARADesjardinsDoorDash2019 Bul

10、garian revenue agency hackStockXAdobe Inc.Quest DiagnosticsMobile TeleSystems(MTS)JustdialCapital OneCanvaZyngaTruecallerFacebookFirst American Corporation2019年 企业数据泄露统计02000000004000000006000000008000000001E+09AcFunSacramento BeeTicketflyPaneraFacebookMyHeritageAadhaarUnderArmour华住旗下酒店圆通2018年 企业数据泄

11、露统计数据泄露|方式在进化以前现在Data Exfiltration|Hidden TunnelCommand and ControlExternal Remote AccessHidden DNS TunnelHidden HTTP/S TunnelSuspicious RelaySuspect Domain ActivityMalware UpdatePeer-to-PeerPulling InstructionsSuspicious HTTPStealth HTTP PostTOR ActivityThreat Intel MatchReconnaissanceInternal Dark

12、net ScanPort ScanPort SweepSMB Account ScanKerberos Account ScanFile Share EnumSuspicious LDAP QueryRDP ReconRPC ReconLateral MovementSuspicious Remote ExecSuspicious Remote DesktopSuspicious AdminShell KnockerAutomated ReplicationBrute-Force AttackSMB Brute-ForceKerberos Brute ForceSuspicious Kerbe

13、ros ClientSuspicious Kerberos AccountKerberos Server ActivityRansomware File ActivitySQL Injection ActivityExfiltrationData SmugglerSmash and GrabHidden DNS TunnelHidden HTTP/S TunnelBotnet MonetizationAbnomal Web or Ad ActivityCryptocurrency MiningBrute-Foce AttackOutbound DoSOutbound Port SweepOut

14、bound SpamAI模型|基于机器学习的DNS隐蔽隧道检测模型监督学习方式DNS隧道数据流量316268对正常数据流量320677对使用随机森林算法，检测准确度95%查询域名举例：0ufb582xgcxaabacuqa4xzabagdvasfsicykawrfxdahixa.aaqigumdecfrupcikhnyryf7dlk6pvclqvdzh.2hsemtaah3w2ra.log.riskivy.info通过DNS隧道攻击特征：响应时间间隔平均值和方差；查询域名长度平均值和方差；应答段长度平均值和方差；查询子域名各字符信息熵平均值和方差；查询类型频率AI模型|基于机器学习的恶意HTT

15、PS流量检测模型解析流量生成，conn.log、ssl.log、x509.log连接四元组（SrcIP，DstIP，DstPort，协议）SSL聚合（一个连接记录、一个SSL记录、一个证书记录）连接记录是非ssl的Connection.log中的连接记录包含28特征（SSL聚合和连接记录的数量、持续时间均值.）POMDP模型|针对 Data Exfiltration 设计Data Exfiltration POMPD模型是一个具有状态空间S、动作空间A、状态转移T、观测空间Z、观测概率O和报酬函数R的元组（S，A，T，Z，O，R）状态空间定义 动作空间定义 观察空间定义阻止态、放行态AI模型分

16、析、阻止、放行合法流量、隧道流量S=Sblocking,SpassingA=Aanalyze,Ablock,ApassZ=Zregular,ZtunnelData Exfiltration POMPD模型是一个具有状态空间S、动作空间A、状态转移T、观测空间Z、观测概率O和报酬函数R的元组（S，A，T，Z，O，R）状态转移函数定义当前状态下，执行动作a，转移到s概率状态s下，执行动作a，获得观察值z概率T(s,a)=1,=1|,=1|,=观察概率函数定义(|,=,=|=sin=1 ,=|=passing=,=|=1 ,=|=1|,Q指代AI模型准确率POMDP模型|针对 Data Exfilt

17、ration 设计Data Exfiltration POMPD模型是一个具有状态空间S、动作空间A、状态转移T、观测空间Z、观测概率O和报酬函数R的元组（S，A，T，Z，O，R）报酬函数定义状态s下，执行动作a，获得的即刻回报(,=,=passing,=,=,=1 ,=,=1,=passing,=,=POMCP 在线求解部分可观的蒙特卡洛搜索树算法L指代网络安全等级，C指代模型计算开销POMDP模型|针对 Data Exfiltration 设计DNS隧道检测基于POMDP决策强化状态转移图|状态转移概率矩阵、观测转移概率矩阵Aanalyze-1.0Zregular-0.05,Ztunnel-0.95Sblocking:Spassing:Zregular-0.95,Ztunnel-0.05Aanalyze-1.0Ablock，Apass-0.5Ablock，Apass-0.5超参数设置：基于ML的DNS隧道检测器准确率Q=0.95 模型计算开销C=1.28数据生成|DNS隧道攻击场景模拟内网搭建攻击环境，使用多种工具（iodine、dns2tcp、dnscat2、ozymandns）模拟攻击过程总结问题：传统基于ML的APT攻击检测模型存在噪音、处理响应慢、耗费资源等手段：部分可观马尔可夫决策+蒙特卡洛搜索树结果：模拟实验，验证方法可行孟 雷斗象科技高级机器学习专家