1、1 概 述 Overview 腾讯云容器安全白皮书 Container Security Whitepaper of Tencent Cloud 目录 Contents 01. 概述 02. 容器面临的安全威胁和挑战 03. 容器安全的行业现状 3.2. 当前容器环境面临的主要安全问题 13 17 061.1 概述 2.1 容器面临的安全威胁 2.2 容器安全的挑战 09 11 3.1 用户视角下的容器安全 3.1.1. 混合云是用户部署容器业务的主要选择 3.1.2. 提前规避业务风险是用户关注容器安全的主要原因 3.1.3. 容器逃逸是用户最关注的容器安全问题 3.1.4 容器安全能力已有

2、不同程度落地应用，但总体比例不高 3.1.5 技术门槛高是影响容器安全落地部署的主要因素 3.2.1. 镜像安全问题仍然突出 3.2.2. 容器逃逸是线上容器业务面临最多的风险 3.2.3. 针对容器的在野攻击数量巨大 3.2.4 安全配置的合规性仍不乐观 3.2.5 安全管理和运营难度大 3.2.6 多种复杂因素影响着容器安全的落地 14 14 15 16 16 17 18 19 20 20 20 04. 腾讯云容器安全体系 05. 全面的可观测性 06. 容器安全管理和运营 07. 总结 4.1. 容器安全体系设计四大原则 5.1. 日志服务 5.2. 监控服务 5.3. 追踪服务 7.1

3、. 总结 6.1. 资产组件管理 6.2. 密钥管理 6.3. 安全策略管理 6.4. 漏洞管理 4.2. 全方位层次化的容器安全体系框架 22 32 33 34 39 37 37 37 37 24 23 23 23 24 25 25 29 4.1.1. 安全能力原生化 4.1.2. 安全左移 4.1.3. 零信任架构 4.1.4 安全防护全生命周期 4.2.1. 容器基础设施安全 4.2.2. 容器基础架构安全 4.2.3. 容器应用安全 5 概 述 Overview 腾讯云容器安全白皮书 Container Security Whitepaper of Tencent Cloud 概述 O

4、verview 6 概 述 Overview 腾讯云容器安全白皮书 Container Security Whitepaper of Tencent Cloud 近年来，云计算的模式逐渐被认可和接受，但总体而言，当前企业上云更多只是基础设施形态的改变，在上云 的实践中，传统应用升级缓慢、架构臃肿、无法快速迭代等问题逐渐的显现出来，云原生的概念便应运而生。 云原生充分利用云计算的弹性、敏捷、资源池化和服务化等特性，解决业务在开发、集成、分发和运行等整个 生命周期中遇到的问题。尤其是随着“新基建”的加速布局，以及企业数字化转型的逐步深入，云原生以其高效 稳定、快速响应等特点极大的释放了云计算效能，

5、成为企业数字业务应用创新的原动力，有效推动了国民经济 的高质量发展。 对于云原生，CNCF 给出了相对标准的定义：云原生技术有利于各组织在公有云、私有云和混合云等新型动态 环境中，构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和 声明式 API。这些技术能够构建容错性好、易于管理和便于观察的松耦合系统。结合可靠的自动化手段，云原 生技术使工程师能够轻松的对系统作出频繁和可预测的重大变更。 在实现云原生的主要技术中，容器作为支撑应用运行的重要载体，为应用的运行提供了隔离和封装，成为云原 生应用的基础设施底座，近年来被广泛的认可和应用。根据中国云原生用户调查

6、报告（2020）1显示， 60% 以上用户已在生产环境中应用容器技术。 然而一次次安全事件的曝光，不管是特斯拉在亚马逊上的 Kubernetes 集群被入侵，还是 Docker Hub 频繁被 爆含有漏洞和恶意程序的镜像，让用户在享受云原生红利的同时，产生了极大的安全担忧。 中国云原生用户调查报告（2020）显示，容器的安全问题已成为用户应用云原生的最大担忧，其中 63% 的用户认为容器安全是紧迫的需求。容器的安全与否，将直接影响着整个云原生系统的安全性。相关组织在 2021 年发布的容器和 Kubernetes 安全态势报告中同样指出 2，在过去一年时间中，有 94的组织在其容器 环境中遇到

7、安全问题，其中 69% 检测到错误配置、27% 在运行时遇到安全事故、还有 24% 发现了严重的安 全漏洞。 当前，腾讯云原生产品体系和架构已非常完善，涵盖了软件研发流程、计算资源、架构框架、数据存储和处理、 安全等五大领域的多个场景。依托这些云原生产品，正在为不同行业、不同规模和不同发展阶段的数十万家客 户提供云原生服务。 2 https:/ 1 http:/ 概述 1.1 7 概 述 Overview 腾讯云容器安全白皮书 Container Security Whitepaper of Tencent Cloud 图 1.1 腾讯云原生产品矩阵 腾讯云依托在云原生以及安全方向的持续投入、

8、积累和沉淀，一直致力于在云原生领域为用户提供更全面、更 稳定、更安全的云原生服务。在云原生产品的设计和实现之初，就充分融入了安全性的设计和考虑，使我们的 云原生系统天然具备安全特性，使安全成为像计算、存储、网络一样的基础能力，助力用户实现应用系统的云 原生化，并且持续的保障其安全稳定的运行。 基于腾讯多年对安全攻防技术的研究积累，持续在安全能力上的沉淀，以及对云原生安全领域的研究和实践运 营，同时结合腾讯云容器平台 TKE 千万级核心规模容器集群治理经验，我们撰写并发布本白皮书。白皮书全 面介绍了腾讯云在云原生容器安全建设上的思路、方案以及实践，并希望以这样的方式，把我们的一些心得分 享给业界

9、，共同推动云原生安全的发展。 8 概 述 Overview 腾讯云容器安全白皮书 Container Security Whitepaper of Tencent Cloud 容器面临的 安全威胁 和挑战 Security Threats And Challenges To Containers 9 容器面临的安全威胁与挑战 Security Threats And Challenges To Containers 腾讯云容器安全白皮书 Container Security Whitepaper of Tencent Cloud 虽然容器以及云原生概念逐渐走向成熟，但云原生体系中安全能力天然不

10、足，容器安全问题越来越多的引发关 注。 2018 年，安全厂商 Fortinet 和 Kromtech 发现 Docker Hub 上 17 个受到感染的 Docker 镜像被植入挖矿木马 并被下载高达 500 万次。事实上，据 Banyan 调查显示，在 Docker Hub 官方镜像仓库中，约超过 30% 的镜 像存在高危漏洞。此外，由于集群控制台缺乏密码保护，特斯拉在亚马逊上的 Kubernetes 集群被入侵，攻击 者入侵后在一个 Pod 中找到 AWS 的访问凭证，并凭借这些凭证信息获取到特斯拉敏感商业数据。 容器面临的安全威胁，总体可以分为基础设施安全、容器和编排平台安全、网络安全

11、以及镜像和应用安全等几 部分。 容器依托于主机操作系统内核，以进程的方式运行于主机之上，因此基础设施层面的安全威胁对容器的安全 性有着重要的影响。 一方面，传统云安全面临的 DDoS 攻击威胁、Web 入侵威胁以及网络层的东西向移动等安全威胁仍然存在， 这些威胁同样影响着容器环境的安全性； 另一方面，由于容器技术在实现上的特性，主机操作系统层的安全问题对容器的安全威胁较传统的云安全相 比，影响更直接也会更严重，例如 Linux 典型的脏牛漏洞（CVE-2016-5195），可以被用来提权实现容器 的逃逸。 作为容器化最重要的支撑技术，容器以及编排平台的安全性，是容器安全最重要的因素之一。 1.

12、 组件漏洞威胁：不管是容器技术的典型实现代表 Docker，还是编排平台的典型实现代表 Kubernetes，其 作为软件，漏洞的威胁是其在安全性上最直观也是最主要的安全威胁，例如，Kubernetes 的 API-Server、 Scheduler、Controller 等多个核心组件在实现上，均有不同程度的漏洞爆出，其中不乏高危甚至是 10 分 （CVSS）的超危漏洞。 基础设施安全 容器和编排平台安全 容器面临的安全威胁 2.1 10 容器面临的安全威胁与挑战 Security Threats And Challenges To Containers 腾讯云容器安全白皮书 Contain

13、er Security Whitepaper of Tencent Cloud 2. 集群配置不当：配置问题带来的安全威胁一直以来都备受关注，在传统的环境下，我们会有各种配置检查 工具来进行预防。在容器环境下，配置风险尤为突出。例如 Kubernetes API-Server 的鉴权配置不当被攻击 者匿名登陆、Docker Daemon 的默认 2375 端口配置不当造成远程控制等。 3. 权限管控威胁：Kubernetes 提供了一个强大的、可扩展的、统一的资源模型，但该模型使得基于角色的 访问控制 RBAC 对于很多用例来说如果权限管控不当，仍然存在很大的安全威胁。 4. 网络隔离差。网络

14、隔离可以帮助防止未经授权的访问，容器的动态扩展性使得传统静态 IP 和端口的隔离 规则不再适用。而不管是 Kubernetes 的多种集群网络插件，还是 Docker 默认的各种网络模型，其在网络 的隔离上，均没有做到很好的管控。 另外，容器技术本身在设计和实现上，同样有着很大的安全威胁存在，面向容器的拒绝服务攻击（DoS）、 容器逃逸等安全威胁是容器环境面临的重要安全威胁之一。例如，默认情况下容器可以使用主机上的所有内 存，如果某个容器以独占方式访问或消耗主机的大量资源，则该主机上的其它容器就会因为缺乏资源而无法 正常运行。 云原生时代的应用交付标准不断演进，以容器镜像、Helm Chart

15、 为代表的云原生制品将贯穿整个云原生应 用生命周期。制品的构建、入库、分发和运行，其供应链的每一个环节都面临着不同维度的安全风险。 以容器镜像为例， 在镜像构建时镜像的漏洞问题、 恶意代码或敏感信息暴露问题 ； 镜像入库后的访问控制问题、 准入校验问题以及镜像的机密性和完整性问题；镜像分发时遭受恶意攻击篡改的风险等。 在容器镜像内部，除了应用漏洞需要重点关注之外，对于镜像内的其它脆弱性问题同样不容忽视，比如镜像 内是否暴露了账号密码等信息、是否包含了秘钥文件、是否提供并暴露了 ssh 服务、是否运行了禁止运行的 命令等。 传统的攻击手段对容器运行时依然有效，容器环境面临更复杂的攻击问题。首先，

16、由于容器的隔离性较弱， 攻击者可以利用敏感挂载和漏洞实现逃逸到宿主机；其次，特权容器的滥用增加了恶意代码和挖矿程序植入 的风险；最后，运行时环境下的错误配置让攻击者窃取集群资源并发动攻击活动变得轻而易举。 镜像安全 运行时安全 11 容器面临的安全威胁与挑战 Security Threats And Challenges To Containers 腾讯云容器安全白皮书 Container Security Whitepaper of Tencent Cloud 容器安全的挑战 2.2 攻击面增加：相比较传统物理服务器或虚拟机的隔离方式，容器化应用部署极大的增加了业务被入侵的安全隐 患。在云原

17、生环境中，容器基于进程进行隔离，多个服务实例需要共享宿主机的操作系统，一旦有服务存在漏 洞且被攻击时，同一主机运行的其他服务会不可避免的受到影响。 监控和防护难度大：云原生环境下的微服务架构使得集群内部的网络流量和通信端口总量大幅增加，传统防火 墙基于固定 IP 的安全策略很难适应这种持续的动态变化，因此无法准确捕捉容器间的网络流量和异常行为。 此外，容器的动态调度策略导致其生命周期难以预测，这无疑进一步增加了容器安全监控和防护的难度。 安全管控难度高：云原生支持通过一系列的自动化工具将业务的开发和部署交由流水线操作，在应用构建过程 中还需要考虑基础镜像、依赖库、构建、部署、运行等环节的安全问

18、题，安全管控难度较高。 12 概 述 Overview 腾讯云容器安全白皮书 Container Security Whitepaper of Tencent Cloud 容器安全的 行业现状 Industry Status Of Container Security 13 容器安全的行业现状 Industry Status Of Container Security 腾讯云容器安全白皮书 Container Security Whitepaper of Tencent Cloud 为进一步了解容器安全的行业现状，我们对腾讯云用户展开详细的数据调研。调研覆盖了互联网、政府、金融、 教育在内的多

19、种行业，调研群体包括安全、运维、开发和产品等不同岗位。 图 3.1 被调研用户行业分布 图 3.2 被调研用户角色分布 用户视角下的容器安全 3.1 14 容器安全的行业现状 Industry Status Of Container Security 腾讯云容器安全白皮书 Container Security Whitepaper of Tencent Cloud 3.1.1 混合云是用户部署容器业务的主要选择 3.1.2 提前规避业务风险是用户关注容器安全的主要原因 调研数据显示，混合云基础设施是用户部署容器化应用的主要选择，其次会选择多家公有云，采用多云的方式 部署，或者是搭建自己的私有云

20、。 从下面的图表同样可以看出，这样的基础设施形态比例，跟我们传统的用户上云对云平台的选择如出一辙。从 安全角度来看，混合云安全、多云安全这些问题，在容器环境下同样也会成为用户的痛点。 调研数据显示，有 77.2% 的受访者为提前规避业务风险而关注容器安全能力建设；同时，还有 50.8% 的受访 者表示他们因业务系统经历过容器或 Kubernetes 相关的安全事件（漏洞攻击、容器逃逸、集群入侵等）而引 发安全关注；另外还有 51.3% 的用户表示需要建设容器安全能力来满足一定的合规需求。 图 3.3 容器化业务基础设施形式分布 图 3.4 用户关注容器安全的原因 15 容器安全的行业现状 In

21、dustry Status Of Container Security 腾讯云容器安全白皮书 Container Security Whitepaper of Tencent Cloud 3.1.3 容器逃逸是用户最关注的容器安全问题 在安全风险调研过程中，容器逃逸、镜像安全、集群入侵是受访者最关注的容器安全问题。其中，集群入侵是 运维人员最关注的容器安全问题；而安全人员最关注的是容器逃逸问题；研发人员则更关注镜像安全问题。 相比较服务器或虚拟机的安全而言， 受访者认为业务的容器化部署在安全保障上更应该注意的三大问题分别是： 网络隔离（58.7%）、容器及编排系统的自身安全（53.6%）和访问

22、权限管理（51.0%）问题。 图 3.5 用户最关注的容器安全问题 图 3.6 容器安全相比较服务器 / 虚拟机安全更应关注的问题 由此可见，容器安全能力的完善与否，对应用系统在生产环境容器化部署的影响是关键性的。有超过一半的受 访者认为，业务对安全能力的担忧会推迟业务的容器化部署。 16 容器安全的行业现状 Industry Status Of Container Security 腾讯云容器安全白皮书 Container Security Whitepaper of Tencent Cloud 3.1.4 容器安全能力已有不同程度落地应用，但总体比例不高 在云原生业务的容器安全能力部署现状

23、的调查结果中，有 59.7% 的受访者表示业务侧已经应用了镜像漏洞扫 描能力，有 52.6% 已经实现了容器主机安全加固，有 45.9% 已经支持集群监控和日志审计。 但是，仍然有 7% 左右的受访者业务在生产环境不具备任何容器安全能力。此外细粒度的网络隔离（如 Network Policy）、Pod 安全策略、Secret 加密等容器安全能力并没有得到应用。 图 3.7 用户对容器安全能力部署使用情况 3.1.5 技术门槛高是影响容器安全落地部署的主要因素 在容器安全能力部署方面，技术操作门槛高、业务侧学习成本大是限制企业容器安全能力全面部署的主要因素。 此外，考虑安全能力建设的滞后性，容器

24、安全能力部署可能会影响现网业务的稳定运行也是广大受访者考虑的 一个重要因素。 同时，也有部分受访者认为容器安全能力建设的价值不明显，从投入产出比的角度来看该能力并不能满足企业 的业务发展诉求，也不能带来额外收益。 图 3.8 影响容器安全落地的主要因素 17 容器安全的行业现状 Industry Status Of Container Security 腾讯云容器安全白皮书 Container Security Whitepaper of Tencent Cloud 云原生架构下，容器安全风险存在于应用的开发构建、部署、运行时全生命周期阶段。根据腾讯云容器安全服 务的常态化巡检和容器安全态势监

25、控，我们对容器镜像风险、容器运行时入侵、容器在野攻击、容器配置合规 等情况进行了统计分析，结果数据在一定程度上体现了当前企业在容器环境下面临的实际安全问题。 3.2.1 镜像安全问题仍然突出 图 3.9 容器镜像的安全问题 在对生产环境容器镜像的扫描中，高达 21% 的镜像存在严重高危漏洞，59% 镜像扫描出存在敏感信息，另外 有少部分镜像被扫描出存在木马病毒。高危漏洞是提供给攻击者进行入侵的重要手段，一旦被攻击者利用可能 造成严重危害，如破坏镜像以及关停业务应用。在镜像构建阶段若没有执行相应安全规范，则很有可能将如访 问凭证、密钥等敏感信息引入镜像，造成业务的敏感信息泄漏。 当前容器环境面临

26、的主要安全问题 3.2 18 容器安全的行业现状 Industry Status Of Container Security 腾讯云容器安全白皮书 Container Security Whitepaper of Tencent Cloud Docker Hub 是云原生应用重要的软件供应链，是全球最大的公共镜像仓库。根据Sysdig 2021 Container Security And Usage Report显示高达 47% 的生产环境容器镜像来源于公共镜像仓库。腾讯安全在对 Docker Hub 进行持续的黑产活动监控和研究发现，较多黑产团伙利用 Docker Hub 上传特制挖矿镜像

27、，通过 蠕虫病毒快速感染 Docker 主机，进而下载相关镜像进行挖矿。 根据黑产监控显示， Docker Hub中单个恶意镜像最高传播量高达1900万次， 黑产镜像累计传播量达到1.9亿次。 攻击者上传恶意镜像到 Docker Hub 进行镜像投毒传播，通过 Docker Hub 开展黑产活动成为了黑产团伙进行 容器攻击的重要手段。 图 3.10 单个恶意镜像传播量 3.2.2 容器逃逸是线上容器业务面临最多的攻击 图 3.11 2021 年容器运行时入侵事件统计 在容器运行时阶段，传统的网络攻击对容器仍然生效，同时容器环境面临更复杂网络安全问题。2021 年，腾 讯云容器安全服务监测到的可

28、疑容器逃逸行为 84 万次，检出容器内挂马事件共 901 次，其余各类运行时可疑 入侵事件数量如图。 19 容器安全的行业现状 Industry Status Of Container Security 腾讯云容器安全白皮书 Container Security Whitepaper of Tencent Cloud 图 3.13 针对容器进行攻击示例 3.2.3 针对容器的在野攻击数量巨大 图 3.12 针对容器的在野攻击来源统计 腾讯安全通过在互联网上部署大量模拟运行的容器服务，持续跟踪并捕获正在发生的针对容器的在野攻击。仅 2021 年 9 月份，腾讯云安全监测捕获到针对容器的在野攻击达

29、 10.8 万次，发起容器攻击的 IP 来源分布分别 为中国 70619 次，其次是俄罗斯 11220 次和美国 7139 次。 根据容器在野攻击监测数据显示，互联网存在大量针对容器服务进行的持续脆弱性探测和入侵，包括容器未授 权访问探测、Kubernetes 集群组件漏洞探测，容器登陆尝试等行为。 攻击者继而利用暴露的容器漏洞、容器配置缺陷等手段对容器及容器集群发起入侵。成功入侵容器后，攻击者 进行了恶意镜像执行、部署特权容器、部署远控、容器逃逸、进程隐藏等行为，最终达到完全控制容器及其宿 主机，并进行挖矿等持久化攻击目的。例如下图展示了某黑产团伙针对容器进行攻击的流程。 20 容器安全的行

30、业现状 Industry Status Of Container Security 腾讯云容器安全白皮书 Container Security Whitepaper of Tencent Cloud 3.2.4 安全配置的合规性仍不乐观 3.2.5 安全管理和运营难度大 3.2.6 多种复杂因素影响着容器安全的落地 在容器配置合规方面，基于 CIS 标准的容器基线检查整体通过率约为 67.22%，其中未通过率最高的检查项为 没有限制使用 PID（100%），其次分别是：没有设置容器的根文件系统为只读（98.8%）、未确保 Linux 内 核功能在容器内受限使用（97.97%）、未限制容器获得额

31、外的权限（93.38%），可以看到在生产环境下仍有 较多的容器存在严重的配置风险。 图 3.14 容器环境配置不合规统计 由于云原生技术具有一定的操作门槛，在业务遇到问题时，需要用户的运维方和云服务提供方人工介入进行问 题排查以及参数调优等。这样的操作在现实生产环境中比较常见，然后这又跟云原生的不可变基础设施等核心 理念相冲突。 同时，容器业务的多云部署使得不同云厂商之间的容器安全防护能力难以统一，而网络互通又会进一步导致安 全攻击的影响范围无限扩大； 因此，面对多种复杂的容器使用现状和场景，在安全上的管控难度将变的极大。 除此之外，我们通过对腾讯云容器用户的运营数据进行分析，还发现现有的云原

32、生应用部署以教育、金融、文 创和电商为代表的互联网行业客户居多，行业的快速演变使得客户更专注于业务开发而忽略对容器安全能力的 建设。 21 容器安全的行业现状 Industry Status Of Container Security 腾讯云容器安全白皮书 Container Security Whitepaper of Tencent Cloud Container Security Architecture 腾讯云容器 安全体系 of Tencent Cloud 22 腾讯云容器安全体系 Container Security Architecture of Tencent Cloud 腾讯

33、云容器安全白皮书 Container Security Whitepaper of Tencent Cloud 云原生计算通常会被称为云计算的下半场，不管是容器还是编排，其本质是云计算的一种实现方式。因此，容 器环境在安全建设上，总体还是要遵循云安全的架构。 除了物理安全，容器云环境的安全可以粗略分为两个主要方面：一方面是容器云内部的安全，这包括主机安全、 虚拟化安全、容器网络（东西向）的安全、管理平台的安全以及数据安全等；另一方面就是容器云内外之间的 网络安全，也就是通常讲的南北向网络安全。 因此，容器云的安全方案，可以分别从这两个方面进行设计：对于南北向的网络安全，通常可以直接复用传统 的

34、安全产品和能力，比如 WAF、抗 DDoS、Web 漏扫、IDPS 等，实现相应的安全检测与防护。对于容器云内 部的安全，可以通过相应的容器安全机制进行实现。 容器安全体系设计四大原则 4.1 鉴于云原生技术的特点，以及云原生安全与传统安全建设的区别，在进行容器安全建设时，会遵循如下几个重 要的原则。依托这些原则，可以更好的指导我们进行容器安全的方案设计和落地实施。 图 4.1 容器安全体系设计原则 23 腾讯云容器安全体系 Container Security Architecture of Tencent Cloud 腾讯云容器安全白皮书 Container Security Whitep

35、aper of Tencent Cloud 4.1.1 安全能力原生化 4.1.2 安全左移 4.1.3 零信任架构 云原生依托容器、服务网格等关键技术，实现了更轻量的隔离方式、更灵活的负载管理、更复杂的容器网络、 更短的容器生命周期、以及更敏捷的开发流程。这些重要变化，使得传统的安全防护手段很难发挥应有的作用。 要实现容器安全或者是云原生安全，一定要充分匹配云原生的特性，采用原生安全的方式，这里的原生安全包 括两个方面： 一方面是原生的基础安全，也就是在基础设施和基础架构上原生的提供安全能力，使得云原生应用能够做到上 线即安全。腾讯云容器服务 TKE 在容器、编排、微服务等云原生基础架构的构

36、建过程中，就充分的融入安全 性的设计和考虑，使我们的云原生系统天然具备安全特性，使得安全成为像计算、存储、网络一样的基础能力。 另一方面，就是安全能力的云原生实现，充分利用云原生的技术优势，来实现安全检测与防护能力，使相关的 安全能力同样具备云原生的低成本、高效率和高可用等特性。 云原生架构下，容器实例生命周期短，业务迭代更新快，同时主机上容器密度高、业务复杂，而且很多传统的 安全设备和安全手段无法发挥有效的作用。在这种情况下，增加运行时安全的投入对于整体安全性的提升很难 有显著的帮助。 一个有效的方法就是最近两年经常被提及的安全左移（Shift Left），在软件生命周期的更早阶段，投入安全

37、 资源和安全能力能更有效的收敛安全问题，包括安全编码、供应链（软件库、开源软件）安全、镜像（仓库） 安全等。这些方面的资源大多是白盒，相应的安全投入相对较少；而且这些资源生命周期较长，如果能保证安 全性，攻击者在攻击运行时实例得手后更难持久化。 我们知道，基于 DevOps 协作框架实现敏捷高效的 IT 流程，是云原生架构的一个重要应用场景，Gartner 更是 在很早便提出 DevSecOps。安全左移同样也是实现 DevSecOps 的一个重要的原则，将安全能力全面融入到 DevOps 体系中，实现面向 DevSecOps 的全生命周期安全防护。 云原生架构下的网络基础设施更加复杂，这种复

38、杂性超越了传统网络边界安全的防护方法。基于传统物理、固 定边界的网络安全也被证明是不够用的，“内部的系统和网络流量是可信的”这一假设是不正确的。网络边界的 安全防护一旦被突破，即使只有一个 Pod 被攻陷，攻击者也能够在所谓“安全的”内部横向移动。 24 腾讯云容器安全体系 Container Security Architecture of Tencent Cloud 腾讯云容器安全白皮书 Container Security Whitepaper of Tencent Cloud NIST 在 2020 年 8 月，发布了最新的零信任架构 3，在零信任安全模型中，会假设环境中随时可能存在攻

39、击者， 不能存在任何的隐形信任，必须不断的分析和评估其资产、网络环境、业务功能等的安全风险，然后制定相应 的防护措施来缓解这些风险。在零信任架构中，这些防护措施通常要保证尽可能减少对资源（比如数据、计算 资源、应用和服务等）的访问，只允许那些被确定为需要访问的用户和资产访问，并且对每个访问请求的身份 和安全态势进行持续的认证和授权。 在云原生架构下，容器安全防护的主体从主要以 IP 为标记的主机变成了以 Label、Tag 等作为标记的应用程序， 其安全边界变的更加模糊。因此，需要采用零信任架构，通过全面有效的身份权限管理以及持续的检测与响应 来实现对云原生应用的安全防护。 4.1.4 安全防

40、护全生命周期 在云原生架构中，业务的快速迭代以及容器生命周期短、业务复杂、网络复杂等特点会造成运行时的安全检测 投入成本很高。因此，基于上述安全左移的设计思想，我们在容器生命周期的各个阶段，嵌入相应的安全能 力，实现对容器的全生命周期安全防护。全生命周期防护是实现“安全前置”或者“安全左移”的结果，也是实现 DevSecOps 的一个重要方法。 全方位层次化的容器安全体系框架 4.2 云原生容器安全体系采用层次化的方式，逐层实现安全防护。主要分为承载容器云平台的基础设施层安全、容 器和容器云平台基础架构层安全、以及容器承载的应用层安全。 图 4.2 腾讯云容器安全体系 3 https:/csr

41、c.nist.gov/publications/detail/sp/800-207/final 25 腾讯云容器安全体系 Container Security Architecture of Tencent Cloud 腾讯云容器安全白皮书 Container Security Whitepaper of Tencent Cloud 4.2.1 容器基础设施安全 4.2.2 容器基础架构安全 在基础设施层，提供针对容器平台运行主机的安全防护措施，包括采用腾讯专有的安全内核和安全操作系统， 以及对已知漏洞进行安全性的修复和管理。同时，针对主机上的基础软件，进行安全配置基线的检测与加固， 在基础设

42、施层面减小攻击面。 TencentOS 基于内核社区长期支持的版本进行定制，增加了适用于云计算场景的新特性、改进内核性能并修 复了重大缺陷。在容器化场景下，进行了一系列的性能优化以及功能定制。 例如：增加了主机级开关，用户无需在节点部署 LXCFS 文件系统及修改 Pod spec，仅需在节点开启全局 开关（sysctl -w kernel.stats_isolated=1），/proc/cpuinfo 及 /proc/meminfo 等文件获取即可按容器隔 离。增加了容器级开关，针对类似节点监控组件等特殊容器，增加了容器级开关 kernel.container_stats_ isolated

43、。在主机级开关开启时，仅需在容器启动脚本中关闭容器级开关（sysctl -w kernel.container_stats_ isolated=0），即可在容器中读取 /proc/cpuinfo 及 /proc/meminfo 文件时获取到主机信息。 同时，还实现了内核参数的 namespace 化隔离，包括 net.ipv4.tcp_max_orphans、net.ipv4.tcp_rmem、 net.ipv4.tcp_wmem 等，提升了参数的隔离性和安全性。 同时，TencentOS Server 会定期针对相关安全性问题进行升级更新，提升系统和内核的安全，在底层保证容 器化应用的安全运

44、行。 除了定制化的安全内核和操作系统之外，我们还会对已知的漏洞进行安全修复，对相应危险的配置进行检测和 修正，保证解决掉所有已知的安全风险。同时，基于多年的安全管理和运营经验，腾讯云提供了一套完整的漏 洞和配置管理运营方案，对于主机漏洞和配置，能够在第一时间进行修复和处理，最大程度的降低基础设施层 面的安全风险。 在容器云平台的基础架构层，首先针对容器和 TKE 平台采取了有效的安全防护措施，包括提供有效的资源隔 离和限制措施，用户的身份和权限管理机制，基于腾讯云原生最佳实践的安全配置加固，对云原生实现组件的 漏洞管理与修复等。 其次，在网络安全上，采用零信任架构，持续的对集群网络进行监控和异

45、常检测，保证网络的有效隔离和安全 通信，包括租户、Service、Pod 等不同粒度的网络隔离，网络通信的加密，访问控制，网络的入侵检测，基 于机器学习进行网络行为的异常检测与处置等。 最后，当容器启动运行后，会持续的对包括容器逃逸、反弹 shell、异常进程、文件篡改、高危系统调用等在 内的入侵行为进行检测与告警，实现运行时的实时检测与防护。同时，还会结合机器学习、人工智能等大数据 分析技术，对容器的行为进行监控、画像，从行为分析角度，对容器内的行为进行异常检测，多维度保障容器 的运行安全。 26 腾讯云容器安全体系 Container Security Architecture of Te

46、ncent Cloud 腾讯云容器安全白皮书 Container Security Whitepaper of Tencent Cloud 1. 容器与平台安全 2. 零信任网络安全 在容器云平台 TKE 的基础架构层，首先会提供针对容器和编排系统的安全防护措施，包括提供有效的资源隔 离和限制措施，用户的身份和权限管理机制，基于腾讯云原生最佳实践的安全配置加固，对云原生实现组件的 漏洞管理与修复等。 容器编排平台是云原生应用部署和运行的基础，对于平台的安全需求主要体现在资源隔离和限制、权限管理、 安全配置加固和漏洞管理等几个方面。 在网络安全上，腾讯云容器服务 TKE 采用零信任架构，持续的对

47、集群网络进行监控和异常检测，保证网络的 有效隔离和安全通信，包括租户、Service、Pod 等不同粒度的网络隔离，网络通信的加密，访问控制，网络 的入侵检测，基于机器学习进行网络行为的异常检测与处置等。 资源隔离和限制 权限管理机制 安全配置加固和漏洞管理 将应用存放在不同的命名空间是实现资源隔离的关键措施，使用命名空间来隔离敏感的工作负载有助于建 立安全边界。此外，创建和定义网络策略可控制 Pod、命名空间和外部 IP 地址之间的流量。同时，TKE 提供了全面细粒度的容器资源管控措施，严格监控和限制每个容器的资源使用数量，避免在资源消耗上对 容器进行拒绝服务攻击。 为了明确各种角色成员的职

48、责划分、避免在协作环境下对资源的越权使用，TKE 通过身份和策略管理机 制对各种角色的成员进行权限管理。不同子账号在获取集群访问凭证时，使用集群 CA 签发的客户端证书 访问集群 API-Server 来确保禁用未经身份验证的匿名访问。 此外，腾讯云容器服务 TKE 还设定了定期的证书更新机制来防止访问凭证的泄露。RBAC 策略模型针对 集群内对象资源提供了细粒度的访问控制能力，集群管理员应对根据成员角色进行集群或命名空间维度下 的定向授权，不可以赋予所有用户集群范围的权限。当应用程序访问 API-Server 时，需要为不同应用单 独创建 Service Account，并提供所需的最小权限

49、集。 CIS 发布的 Docker 和 Kubernetes 基线已经成为业内普遍认可的容器与平台配置的最佳实践。结合腾讯 云容器平台 TKE 千万级核心规模容器集群治理经验，我们在此基础上，制定了腾讯云原生最佳实践的安 全加固配置规范，基于该规范对 TKE 集群进行安全配置加固，消除配置问题带来的安全风险。 此外，我们还会利用漏洞扫描服务对平台组件进行周期性的漏洞扫描，及时发现危险漏洞并修复。 27 腾讯云容器安全体系 Container Security Architecture of Tencent Cloud 腾讯云容器安全白皮书 Container Security Whitepap

50、er of Tencent Cloud 网络隔离与访问控制 网络入侵检测 网络异常行为分析 网络隔离是容器间网络安全最基础的能力保障，在传统网络，或者虚拟化网络中，已经存在了像 VLAN、 VPC 之类的网络隔离技术，但是，这些隔离技术主要针对确定性网络，或者是租户网络的隔离。 在云原生架构中，容器或者微服务的生命周期与传统网络或者租户网络相比，变得短了很多，其变化频率 要高很多。微服务之间有着复杂的业务访问关系，尤其是当工作负载数量达到一定规模以后，这种访问关 系将会变得异常庞大和复杂。因此，在云原生环境中，网络的隔离需求已经不仅仅是物理网络、租户网络 等资源层面的隔离，而是变成了服务之间应