1、百万级服务器反入侵场景的混沌工程实践高级工程师目录介绍反入侵洋葱系统及面临的挑战复杂规模下的质量建设思路反入侵场景下的混沌实践总结展望什么叫“入侵”未经授权 获取敏感数据（如关系链信息，用户信息）篡改数据（如恶意删除，给自己充钱，主页篡改）控制资产（让服务器对外发起ddos、当作渗透其它目标的跳板、跑个比特币挖矿程序等）0day/漏洞/弱口令/爆破管理系统敏感数据库业务服务提权、扫描、爆破反连从历史入侵case出发腾讯云上服务被植入ddos木马腾讯某服务redis端口对外未鉴权，被植入木马外网ssh爆破登陆并植入DDOS木马DDOS木马恶意外连通过域名获取外网ipRedis端口对外Cron文件

2、注入Cron定时执行恶意命令，下载挖矿木马木马外连国外所有的入侵动作，背后都能看到一条完整的行为链路，在链路中的关键环节层层设防，是反入侵的基本。反入侵洋葱系统反入侵入侵发现安全加固入侵回溯罗卡定律：凡两个物体接触，必会产生转移现象面临的挑战盘子大：百万级服务器业务众多：各种应用/第三方软件，自研服务，安全意识网络复杂：生产环境，合作区，腾讯云，隔离带反入侵系统的有效性（质量）至关重要复杂规模下的质量建设思路指标梳理指标埋点指标分析异常处理场景开发确定能100%覆盖所有异常场景?复杂规模下的质量建设思路入侵对抗：蓝军/tsrc白帽子/黑客模拟入侵拨测故障测试演习系统质量建设：有效覆盖、有效发现

3、混沌实验正向系统质量建设“负反馈”系统质量建设-实时质量大盘实时质量大盘：用于实时表述整个客户端系统有效覆盖率的健康度指标，以及异常分类统计占比输出；实时质量大盘异常详情，汇总统计资产管理实时资产大盘指标埋点指标梳理，采集上报在线数据洋葱agent在线心跳实时分级分析模型异常分级，指标分类发布平台/研发数据打通，异常修复系统质量建设 异常分级 分级原则：区分运维关注和开发关注，影响严重程度 分级目的：指标聚合，突出高风险性异常；运维关注部分，可直接打通发布平台自动修复运营指标梳理定义指标分类定义异常分级实时分析分级模型需要靠人工介入梳理定义，并持续更新迭代系统质量建设-异常自动修复与输出实时大

4、盘数据实时分级分析模型发布平台任务管理Svr性能问题/BUG洋葱agent综合报表展示监控告警自动生成修复任务自动生成修复任务任务下发任务下发指标更新指标更新研发同学运维同学运维同学指标新增开发测试发布新场景需求混沌实验：反哺系统质量建设有效覆盖有效策略分析模型有效发现实时质量大盘混沌实验质量建设反哺系统反入侵场景下的混沌实践混沌实验有效发现模拟入侵拨测入侵对抗有效覆盖故障测试反入侵场景下的混沌实践 故障测试方法客户端agent 低版本 插件未部署 接入切换后端接入机器高负载 主机故障分析系统进程退出 主机故障雪崩演练反入侵场景下的混沌实践 故障测试方法框架agentconnAnalysisS

5、ocTask-mgr集群化（深圳区，上海区，测试区等）集群化（深圳区，上海区，测试区等）集群化（运营区，测试区等）AgentAgentAgentCpu高负载工具暂停特定服务工具Agent组件删除Agent低版本下发正常/异常流量发送所有的服务器，包括业务服务器，和洋葱系统后台服务器，都安装有洋葱agent反入侵洋葱系统，设计有任务服务，可以向任意agent下发任务执行；通过任务通道，可以下发任何特定引入故障的工具并执行，从而达到故障注入的效果；反入侵场景下的混沌实践 模拟入侵 模拟入侵拨测，是混沌实验在安全场景下，旨在策略场景反向验证，和反入侵系统质量验证的一种实验方法。模拟入侵拨测，具备以特

6、征：1、覆盖所有现网提供服务的策略场景2、黑盒实验，周期性触发，自动化验证测试结果3、拨测数据全链路日志染色落地模拟入侵拨测模拟入侵攻击洋葱数据采集传输行为检测结果拨测系统策略场景分析入侵行为检测拨测结果输出模拟入侵行为全链路旁路实时质量大盘策略优化模拟入侵拨测效果与作用：历史上发现现网环境中，多起测试监控未覆盖场景下，策略和质量问题（发布前未知），挖出了不少引起异常波动的隐患因素入侵对抗 入侵对抗，是混沌实验在安全场景下的一种实验方法，实验对整个安全系统的入侵有效发现进行验证,，目的是检验在真实攻击中纵深防御能力、告警运营质量、应急处置能力，以此发现系统入侵数据采集、策略建设中的薄弱点和漏水

7、，然后推动系统完善和改进。入侵对抗实验，主要分下面两个角度：1、内部蓝军演习对抗（类似实际入侵，非策略验证）；2、tsrc（白帽子）/实际入侵入侵对抗：蓝军/白帽子/黑客以获取服务器或数据控制权限为目标的完整攻击演习，或者实际入侵行为；入侵对抗闭环获取立足点扩大控制权数据窃取实际攻击行为链洋葱入侵检测应急响应数据采集传输入侵行为检测检测结果入侵告警追溯定性入侵止损供给链溯源蓝军/白帽子攻击链同步新采集检测需求实时质量大盘策略优化入侵对抗闭环 完整验证入侵检测全流程有效性 每次漏水或异常，都能给入侵发现带来新的场景知识和补充 有效发现系统薄弱点和隐患，并能推动短板补齐总结与展望 总结回顾本次介绍

8、了反入侵相关的背景，以及反入侵洋葱系统在质量建设方面的思路和推进方法。从反入侵场景下质量建设的出发，看待分布式系统的质量建设，需要从正反两个方向入手，动态互补，才能不停推进系统的稳定和有效；1）正向质量建设：解决可预知的可能出现异常的监控和优化，沉淀了复杂系统规模下实时质量大盘建设的思路和方法2）反向质量建设：通过混沌实验，从系统的目标场景触发，检验在故障，或者现实非预知情况下，是否能够完整的实现目标，从而形成负反馈，推进正向质量建设。沉淀了一整套模拟入侵检验的自动化系统，以及实际入侵对抗下的质量闭环系统 未来规划1）将细化，自动化故障注入验证引入现网运营环境，演习常规化；2）iot智能硬件，服务器底层（BIOS等）更高层次对抗能力和质量建设