《张润滋 CIS2019-XAI与可信任安全智能-（41页）.pdf》由会员分享，可在线阅读，更多相关《张润滋 CIS2019-XAI与可信任安全智能-（41页）.pdf（41页珍藏版）》请在三个皮匠报告上搜索。

1、XAI与可信任安全智能张润滋张润滋绿盟科技 高级安全研究员提纲1可信任的安全智能2XAI与模型可解释性3XAI+Security实践1可信任的安全智能人工智能图片来源：中国信息通信研究院和中国人工智能产业发展联盟安全智能（恶意）软件分析恶意代码检测、分类、家族，漏洞挖掘流量分析Web攻击、DDoS、恶意软件通信、DGA、加密流量入侵检测异常检测、行为预测、实体画像团伙挖掘情报、APT欺诈检测、风控网站指纹攻击恶意邮件协议分析AI对抗 4文本分析、目标检测、图像识别、聚类、词嵌入、图嵌入、社团分析文本分析、目标检测、图像识别、聚类、词嵌入、图嵌入、社团分析云、物联网、5G、边缘、AI平台端点、网

2、络、文件、行为、情报、蜜罐免费的午餐？不存在的对抗预期现状阶段一：现状阶段一：1.1.需要大量标注数据；需要大量标注数据；2.2.经验化调参；经验化调参；未来：未来：模型模型易调试、决策可解易调试、决策可解释、自动化知识提取、释、自动化知识提取、人机交互，高度自动化人机交互，高度自动化技术认知基本：依赖专家样本分基本：依赖专家样本分析、写规则、分析结果析、写规则、分析结果现状阶段二：现状阶段二：1.1.测试集上高性能，实际高误报；测试集上高性能，实际高误报；2.2.相对专家规则的一目了然，模相对专家规则的一目了然，模型说啥就是啥？还是要人工确认；型说啥就是啥？还是要人工确认；理想：相对于专家规

3、则，基于理想：相对于专家规则，基于机器学习、深度学习的方法大机器学习、深度学习的方法大幅自动化分析流程幅自动化分析流程现状阶段三：现状阶段三：1.1.伴生新的安全问题伴生新的安全问题2.2.合规、道德约束合规、道德约束可信任的安全智能=可信人工智能+安全场景可解释性性能安全性合法合规道德约束可审计p技术层面数据处理算法模型系统架构评估方法p非技术层面法规标准涵盖面最广，透明可解释是涵盖面最广，透明可解释是核心需求之一核心需求之一常被列为隐含选项，是安全常被列为隐含选项，是安全场景下需要优化的目标之一场景下需要优化的目标之一合规、合法、公平、可控、合规、合法、公平、可控、以人为本以人为本可信任的

4、核心需求与主要技可信任的核心需求与主要技术实现之一术实现之一提纲1可信任的安全智能2XAI与模型可解释性3XAI+Security实践XAI与模型可解释性2XAI定义pXAI(eXplainable Artificial Intelligence)XAI定义pXAI(eXplainable Artificial Intelligence)https:/www.darpa.mil/program/explainable-artificial-intelligenceBlack BoxMachine LearningProcessTraining DataLearnedFunctionToday

5、Why did you do that?Why not something else?When do you succeed?When do you fail?When can I trust you?How do I correct an error?Decision orRecommendationTaskUserXAI定义pXAI(eXplainable Artificial Intelligence)https:/www.darpa.mil/program/explainable-artificial-intelligenceNew Machine LearningProcessTra

6、ining DataXAI I understand why I understand why not I know when you succeed I know when you fail I know when to trust you I know why you erredTaskUserExplainable ModelExplanation Interface develop a range of new or modified machine learning techniques to produce more explainable models integrate sta

7、te-of-the-art HCI with new principles,strategies,and techniques to generate effective explanationsExplainableModelsExplanationInterface summarize,extend,and apply current psychological theories of explanation to develop a computational theoryPsychology ofExplanationXAI热点pGartner 2019https:/ 高维度、非线性、

8、非单调（高维数组、集成模型、深度模型）天下没有免费的午餐，我们很难苛求机器完全按照人类可理解的方式去工作并输出，同时保持远高于人类的效率可解释性的缺失p可解释性与预测性能的微妙平衡缺乏可解释性又怎样？p科学 or 玄学重新训练及更新？调参？换模型？人工？缺乏可解释性又怎样？可解释性性能可信任的战友高性能，可解释高度自动化人工智能人工做低性能，难解释面子工程入门小白低性能，可解释轻量级任务神秘的黑盒子高性能，难解释偶尔智障？缺乏可解释性又怎样？非关键任务及场景：智能客服/家居，推荐，语音问答，图像识别关键任务及场景：军事、网络安全、金融、医疗、交通刑事审判 假释判断 再犯预测 警力调度金融 信用

9、/贷款评估 保险报价医疗保健 疾病检测 处方推荐网络安全 威胁检测 风险评估 自动响应军事 目标识别 自动打击当机器智能可解释p讲人话，能办事，可信任向使用者证明结果是稳定的、准确的、道德的、无偏见的、合规的，从而提供决策的支持以及AI自身安全性的可视性向开发者提供模型改进、调试的基础信息向研究者提供机器洞见，展现被人忽视、难于发现的潜在规律提升安全运维的处置效率提升安全研究自动化水平提升安全产品性能支持技术合法合规需求模型可解释性技术概览技术解释阶段/方式解释域模型相关性内在可解释(Intrinstic)建模后解释(Post-hoc)全局解释性(Global)局部解释性(Local)模型相关

10、(Model-specific)模型无关(Model-agnostic)Decision treesGraph-basedLIMESHAPDeepLiftGlobal surrogate modelsPartial Dependence Plot(PDP)Model distillation模型可解释性技术概览可解释的机器学习方法算法Algorithm线性Linear单调性Monotone特征交互Interaction面向任务TaskLinear regressionYesYesNoregr(回归)Logistic regressionNoYesNoclass(分类)Decision tree

11、sNoSomeYesclass,regrRuleFitYesNoYesclass,regrNaive BayesNoYesNoclassk-nearest neighborsNoNoNoclass,regrhttps:/christophm.github.io/interpretable-ml-book/simple.html图模型IBM Threat Intelligence ComputingMITRE CyGraphNoDozeHolmes优化原生难解释的模型模型可解释性技术概览PDP(Partial Dependence Plot)全局代理模型(Global Surrogate Mod

12、els)特征归因(Feature Attribution)可视化分析某特征值变化对模可视化分析某特征值变化对模型预测的影响型预测的影响以模型预测值为样本标签，重以模型预测值为样本标签，重新训练代理模型新训练代理模型多种方式确定分类器决策时最关键的特征集合：多种方式确定分类器决策时最关键的特征集合：基于反向传播（基于反向传播（Class Activation MappingClass Activation Mapping）、）、博弈论（博弈论（SHAPSHAP）、局部代理模型（）、局部代理模型（LIMELIME）等等）等等建模后的可解释性p特征归因 LIMELEMNA:Explaining de

13、ep learning based security applications建模后的可解释性p特征归因 LEMNAFused LassoMixture regression model如何构建可解释的模型可解释的定义、粒度、规范可解释的定义、粒度、规范以任务目标为导向的可解释定义可解释的输入可解释的输入/输出输出“以人为本”的，而非“机器为本”的预处理、特征提取可解释的模型可解释的模型针对任务目标的可解释方法选择、优化可解释性的评估可解释性的评估如何有效、量化评估解释结果的真实性提纲1可信任的安全智能2XAI与模型可解释性3XAI+Security实践XAI+Security实践3一次Web

14、shell流量检测探索p基本原理一次Webshell流量检测探索p基本原理https:/ tcp any any-any 80(sid:900001;content:“z1”;content:”base64_decode”;http_client_body;flow:to_server,established;content:”POST”;nocase;http_method;msg:”Webshell Detected Apache”;)-FireEye，2014一次Webshell流量检测探索p机器学习：百万量级标签数据，准确率可观 99.8%_Layer(type)Output Shap

15、e Param#=dense_1(Dense)(None,512)2560512 _dropout_1(Dropout)(None,512)0 _dense_2(Dense)(None,10)5130 =Total params:2,565,642Trainable params:2,565,642Non-trainable params:0_不可信任的技术打开打开PcapPcap确认确认误报以及更多的误报误报以及更多的误报调参以及没完没了的训练、更新调参以及没完没了的训练、更新Just Shut UpJust Shut Up使用LIME内核解释模型alert tcp any any-any

16、80(sid:900001;content:“z1”;content:”base64_decode”;http_client_body;flow:to_server,established;content:”POST”;nocase;http_method;msg:”Webshell Detected Apache”;)pPayload解释使用LIME内核解释模型cmd=eval%28%22Ex%22%.3A496620457272205468656E6578743A456E6420573706F6E73652E5772697465285329%22%22%22%22%29%29%3AResp

17、onse.Write%28%2%29%3AResponse.End%22%22%.%29pPayload解释Webshell规则提取p整体架构Webshell规则提取p规则命中Webshell规则提取99.2%0.26%98.9%115/388总体准确率告警误报率攻击回召率规则命中数/规则总数规则泛化能力模型的泛化能力解释的准确性数据的局限性无监督的方式场景的想象打开黑箱发现了什么模型确实能够学习到与人直观感觉一致的论据模型能够发现大量数据中容易被人忽略的其他相关性模型判断有时确实令人难以理解，是人的弱点还是模型的错误？可解释性技术本身是否令人信服？打开黑箱的方式及其安全性具备可解释，即打开沟通之门技术赋能，可信为先集成集成XAIXAI技术，高技术，高效生产可理解的效生产可理解的告警告警可解释的、可量化的评估可解释的、可量化的评估海量告警的处理优先级，海量告警的处理优先级，定位高置信度事件定位高置信度事件利用图模型高效利用图模型高效整合多源数据，整合多源数据，构建研判上下文构建研判上下文数据智能驱动持续数据智能驱动持续的、自适应的局部的、自适应的局部/全局风险感知全局风险感知鲁邦的、透明的、鲁邦的、透明的、可追溯的、合规可追溯的、合规的自动化安全响的自动化安全响应应高效、持续的人高效、持续的人-机机智能交互智能交互打造可信任的安全智能 J.A.R.V.I.S.https:/