1、基于容器的平台性能测试方法解读中国信息通信研究院云计算与大数据研究所郑剑锋01容器平台性能测试背景全球云计算市场稳定增长，云原生技术成为降本增效最优路径 20192019年，全球云计算市场规模达到18831883亿美元；20192019年，我国云计算市场规模达13341334亿元，增速38.61%38.61%，云计算已经成为各行业数字化转型的关键信息基础设施。企业在全面转向云计算后，如何运用云计算满足IT信息化决策的需求，赋予传统IT更好的能力和效能，成为下一阶段云计算的发展原动力。在现阶段以容器技术为核心的云原生技术架构成为降本提质增效的最优路径。云计算容器技术采纳率容器编排技术采纳率数据来

2、源：云计算开源产业联盟中国云原生用户调查报告（2020年）数据来源：Sysdig 2019年容器使用报告大规模容器集群平台性能瓶颈Etcd出现较高读写延时服务请求过多存储超限后无法存储Kubernetes的大量对象API Server查询检索Pod或Node的延时非常高Controller 不能及时从 API Server 感知到在最新的变化，处理的延时较高。当发生异常重启时，服务的恢复时间可能需要分钟级。Scheduler调用延时高，吞吐差Node、Pod的扩展效率不足网络性能损耗过高存储性能及挂载效率下降02测试内容及测试环境描述测试内容稳定性：集群端到端测试测试目的：测试大规模集群在高负

3、载下的运行稳定性测试方法：以30*N的Pod密度启动集群，对集群加压是集群压力达到90%-100%，持续运行1天，监测集群状态是否正常NO.1NO.1 满负载测试（暴力测试）测试目的：模拟常态运行环境，测试集群稳定性。测试方法：以30*N的Pod密度启动集群，对集群加压使集群负载达到50%-70%，持续运行10天左右，监测集群的运行状态。NO.2NO.2 长稳测试测试目的：测试管理节点故障对集群可用性的影响。测试方法：模拟管理节点故障，管理节点故障比小于50%时，查看集群运行状态是否会引起集群“雪崩”。NO.3NO.3 节点稳定性资源扩展效率：用户最直观的性能体验资源扩展效率：用户最直观的性能

4、体验记录10、50、90、99分位下的Pod启动时间和API调用延时（LISTPOSTDELETEPUTGET）注：百分位指标-指标的分布性。以API调用延时指标为例，90分位指90%API调用的延时时间。测试指标Node启动时间：4s内99%的Pod启动时间：5s内99%的API调用延时：1s内社区推荐SLASLA指标Kubemark是K8s官方提供的一个对K8s集群进行性能测试的工具，可以模拟一个比真实集群规模大得多的K8S的的集群，测试走完API调用的完整流程，只是不真实的调用Docker。kubemark cluster 包括两部分：一个真实的master集群和一系列“hollow”n

5、ode，hollow node 只是模拟了kubelet的行为，并不是真正的node，不会启动任何的pod和挂载卷。hollowNode 以pod的形式运行在 external cluster 中，并连接 kubemark master 将自己注册为kubemark master 的 node。测试工具Kubemark工作原理示意图组件性能测试：网络能力EtcdEtcd性能Etcd写性能：Etcd benchmarkEtcd读性能：大规模集群下频繁挂载卸载存储卷，会存在一定的失败几率。EtcdEtcd性能收集进程CPU消耗5%以内，单节点 10W/s以上的收集能力，不丢失日志。日志轮转过程，收

6、集进程不出现内存溢出。存储性能监测采集资源占用率网络性能网络延时测试：容器化运行qperf，测试不同Service访问方式下的网络延时；网络性能损耗：不同网络方案下的性能损耗比监控采集对worker宿主机CPU的占 用 峰 值 不 超 过 5%，对apiserver造成的CPU峰值消耗不超过10%存储性能：不同存储方案的读写IO性能存储挂载效率：大规模集群下频繁挂载卸载存储卷，会存在一定的失败几率。03测试项详细解读测试内容数字产业化数字产业化容器平台整体性能容器平台单项性能 集群调度效率 满负载压力测试 长稳测试 管理节点稳定性 横向伸缩能力（2个测试项）网络延时 网络性能损耗 存储性能损耗

7、 检测采集资源占用率共10个测试项集群调度效率该规模的集群、节点初始化时间在10min内；99%的Pod启动时间在5s内；99%的mutating 类型API调用延时小于5s满负载压力测试集群满负载持续运行1小时没有异常状态长稳测试集群满负载持续运行5小时没有异常状态管理节点稳定性管理节点故障后，集群运行状态不受影响；继续伸缩，Pod调度成功率不受影响横向伸缩能力网络延时两种测试方式的网络延时均符合用户业务需求网络性能损耗在选定的容器网络方案下，不同测试场景的网络损耗在10%以内存储性能损耗存储的性能损耗能够符合用户业务需求监测采集资源占用率以1分钟采集频率开启监控采集，工作节点宿主机CPU占

8、用率的峰值消耗不超过5%，管理节点峰值CPU消耗不超过10%数字产业化数字产业化容器平台整体性能容器平台单项性能测试指标1.1 Pod1.1 Pod扩展效率测试测试项目Pod扩展效率测试目的测试大规模集群创建Pod的启动时间和API响应延时能否满足业务需求测试环境测试步骤1.在待测集群中搭建搭建Kubemark测试环境；2.在待测集群中启动N个hollow Pod模拟真实节点，在Kubemark测试环境中查看是否已经注册N个节点；3.在保持管理节点规格不变的情况下，调整注册节点的数量N改变集群负载，在不同负载水位下以30*N的密度创建Pod；4.记录不同集群负载下各分位的Pod的启动延时分布；

9、5.记录不同集群负载下各分位的API调用延时的分布。预期结果1.99%的Pod启动时间在5s内;2.99%的PUT类型API调用延时小于5s；3.99%的POST类型API调用延时小于30s。1.2 1.2 高负载压力测试测试项目满负载压力测试测试目的容器平台性能测试尤其是大规模集群性能测试，验证管理节点CPU负载接近饱和的状态下，集群是否可以保持稳定运行状态。测试环境测试步骤1.在待测试集群中注册5000个节点,使集群负载保持在30%；2.运行压测工具perf-tests中load测试（持续创建及更新svc、deploy、ds、job、statefulset等资源），使集群负载升至70%；3

10、.维持负载不变持续运行集群1小时，监测集群状态是否会出现异常，记录运行数据。预期结果集群满负载持续运行1小时没有异常状态1.3 1.3 长稳测试测试项目长稳测试测试目的长稳测试模拟真实用户场景负载下的长期稳定运行状态。测试环境测试步骤1.在1.2测试例基础上，降低集群负载至常规水平，持续加压运行24小时，监测集群状态是否会出现异常，记录运行数据。预期结果集群满负载持续运行10小时没有异常状态1.4 1.4 集群可用性（托管集群可选）测试项目管理节点稳定性测试目的验证管理平台节点在发生故障时，平台能否继续提供稳定服务。测试环境提供容器平台的管理员权限测试步骤1.在1.3基础上停止加压，使集群负载

11、恢复至30%；2.模拟管理节点故障，查看集群运行状态是否受影响；3.扩展Pod数量，查看Pod调度成功率。预期结果a)管理节点故障后，集群运行状态不受影响；b)继续伸缩，Pod调度成功率不受影响。1.5 1.5 横向伸缩能力测试项目集群初始化效率测试目的测试集群完成初始化创建交付用户的效率测试环境测试步骤1.启动一个3管理节点的容器云集群；2.待所有节点状态ready后，读取集群从启动到完成初始化的时间并记录。预期结果集群初始化效率测试项目节点扩展效率测试目的测试集群扩展工作节点完成初始化加入集群的效率测试环境测试步骤1.在1.4测试集群的基础上，分别继续批量扩展50、100、200个节点；2

12、.记录批量扩展从启动到完成初始化的时间；3.释放新创建的节点4.重复测试5次，记录每一次批量扩展时间。预期结果该规模的节点初始化时间在10min内2.1 2.1 网络延时测试测试项目网络延时测试测试目的测试不同网络方案下，集群内部访问Service的网络延时测试环境提供容器平台的管理员权限测试步骤1.准备一定规模（3个管理节点2个工作节点）的容器集群；2.在集群中的node1节点上容器化运行nginx服务；3.在集群中创建1000个Service均指向该nginx服务所在的Pod；4.在集群中的node2节点启动Pod，使用wrk测试VIP访问service的网络延时和QPS；5.记录测试结果

13、。预期结果两种测试方式的网络延时均符合用户业务需求2.2 2.2 网络性能损耗测试项目网络性能损耗测试目的测试容器网络方案与IaaS网络方案的性能损耗测试环境测试步骤1.在2.1集群基础上继续测试；2.选定集群内的两台宿主机，使用qperf测试宿主机间带宽和网络时延；3.为容器集群部署容器网络方案；4.测试不同宿主机下Pod间的带宽和网络时延,并计算与IaaS网络的性能损耗；5.测试Pod与其宿主机间的带宽和网络时延,并计算与IaaS网络的性能损耗；6.测试Pod与非宿主机间的带宽和网络时延,并计算与IaaS网络的性能损耗；预期结果选定的容器网络方案下，不同测试场景的网络损耗在10%以内2.3

14、 2.3 存储性能测试测试项目存储性能测试测试目的测试选定容器存储方案下存储的性能损耗测试环境测试步骤1.在2.1测试集群的基础上，创建存储卷为集群Pod挂载；2.使用dd命令进行磁盘的读写测试，固定每次读写的文件大小和读写次数，记录IOPS；3.选定同一种存储类型和文件系统，在宿主机挂载存储卷；4.使用dd命令进行磁盘的读写测试，固定每次读写的文件大小和读写次数，记录IOPS；5.计算存储的性能损耗。预期结果存储的性能损耗能够符合用户业务需求2.4 2.4 监测采集资源占用率测试项目监测采集资源占用率测试目的测试监控采集进程开启后对管理和工作节点的资源占用情况测试环境提供容器平台的管理员权限测试步骤1.设置监控采集指标及频率等参数：2.使用kubectl top命令查看metrics server与NPD组件的资源占用情况；3.记录管理节点和工作节点宿主机CPU的峰值占用率。预期结果以1分钟采集频率开启监控采集，工作节点宿主机CPU占用率的峰值消耗不超过5%，管理节点峰值CPU消耗不超过10%。THANKS!