1、基于混部技术的金融云平台资源集约化和稳定性提升研究报告北京金融科技产业联盟2024 年 3 月I版权声明本报告版权属于北京金融科技产业联盟，并受法律保护。转载、编摘或利用其他方式使用本报告文字或观点的，应注明来源。违反上述声明者，将被追究相关法律责任。II编制委员会编委会成员：聂丽琴王鑫编写组成员：赵叶红白佳乐沈震宇杨晓峰许振峰黄宇晴陈锦涛郑建飞赵茭茭秦朝勇才振功王羽中李翔敬锐卢景晓编审：黄本涛周豫齐参编单位：北京金融科技产业联盟秘书处中国工商银行金融科技研究院杭州谐云科技有限公司华为技术有限公司浙江大学III摘要摘要数据中心是重要的信息基础设施，也是企业应用的关键支撑。然而，目前业界数据中心

2、的资源利用率普遍较低，导致部分资源闲置，带来了额外的运维成本，制约各大企业的计算效能提升。混部（colocation），即通过将不同业务类型的应用混合部署到同一资源池，利用不同业务之间在资源使用类型、周期等方面的互补性，实现对服务器资源利用率的有效提升，作为提升物理资源利用率、降低运营成本的有效方案，是当今学术界和产业界的研究热点。基于对业界混部技术方案的充分调研以及各大云厂商混部技术实践的参考，结合金融业应用的实际情况，本报告提出了一套基于高低优先级的应用混部技术方案基于高低优先级的应用混部技术方案，主要包含混部调度混部调度和资源隔离资源隔离两大核心能力。其中，混部调度混部调度通过资源超分的

3、思想和混部调度系统，实现节点空闲资源的充分利用，当节点上的资源产生干扰时，通过驱逐低优先级应用来保障高优先级应用资源使用；资源隔离资源隔离提供增强型资源隔离特性，基于优先级的资源动态分配方法，在资源不足时保证高优先级应用使用资源，实现毫秒级的资源隔离。关键词：关键词：混部、资源利用率、调度、隔离、云计算IV目录目录一、研究背景及目标.1（一）研究背景.1（二）研究目标.2二、国内外应用现状.2三、技术方案.3（一）系统总体架构.3（二）混部调度框架.4（三）混部资源隔离.9四、验证场景.11（一）应用混部.12（二）干扰检测与驱逐.13（三）干扰隔离.15五、应用成果.17六、总结和展望.17

4、1一、研究背景及目标（一）研究背景大规模数据中心是当今企业级互联网应用和云计算系统的关键支撑。为保障日益增长的互联网应用和云计算系统的计算需求，数据中心需要不断横向扩容，其规模和服务器总量呈现快速增长趋势。然而，伴随着数据中心的急速扩容，其资源利用率却始终处于较低状态。统计数据表明，目前全球数据中心资源利用率仅为10%20%，如此低的资源利用率意味着大量的资源浪费。因此，如何把这些浪费的资源合理利用起来成为一个亟需解决的关键性技术问题。想要解决这个问题首先要研究其产生的根本原因。通常而言，数据中心承载着各种类型的业务，包括交易、办公类等在线服务、大数据、实时计算等，从业务对资源质量要求来看，可

5、对不同类型的应用按优先级分级，业界比较典型的划分场景为在线和离线。在线作业通常是处理用户请求的服务，典型的有网页搜索、即时通信、语音识别、流式计算、电子商务等，通常可为企业带来直接的经济利益，具有如下特点：一是运行时间长。在线作业通常以服务的形态持续运行，以请求为单位触发计算任务，因此也被称为长服务。二是资源使用呈现动态变化。在线作业的资源使用量与用户并发请求量呈正相关，会伴随用户并发请求量发生动态变化。三是对性能变化敏感。在线作业的性能通常决定了对外服务质量，而服务质量则直接影响企业的经济利益和用户体验。因2此，在线作业又被称为延时敏感型作业。为保证应用运行的稳定可靠，往往会为在线应用分配大

6、量的服务器资源。后果就是，虽然能够很好保障其运行质量，但也造成了在大部分时间服务器处于空闲的状态，导致数据中心整体资源利用率很低。解决这个问题的最佳方案是“混部”，顾名思义，就是把不同优先级的应用进行混合部署，比如在线应用和离线应用混部，高优先级和低优先级在线应用混部。当在线应用的资源使用量处于低谷时，将离线应用或者低优先级的在线作业部署到空闲的节点上，大幅提高整个集群的资源利用率。（二）研究目标通过对业界混部技术的主流方案和技术原理进行研究，结合金融行业应用的实际情况，基于K8S技术基础，研究适合金融行业的容器混部方案，实现资源利用率的明显提升，在保证应用服务质量的同时，实现混部节点50%以

7、上部署密度的提升，资源利用率提升至30%以上。对于高优先级应用，相较于混部前，干扰控制在5%的范围之内。二、国内外应用现状混部已成为业界提升资源利用率的主流方法，以空闲的在线资源满足离线作业和低优先级作业的计算需求，来实现资源利用率的提升。Google 在其集群管理系统 Borg 中率先尝试了大规模在离线混部，国内百度、腾讯、阿里等均在混部集群上也有所实3践。经对业界实践调研，精细化的混部调度和严格的资源隔离精细化的混部调度和严格的资源隔离是亟待解决的技术难点。混部调度方面，Google 的 Borg 和腾讯的 YARD 采用了统一调度的架构，即在线作业和离线作业由一个调度器统一调度，而百度

8、Matrix 和阿里 Fuxi 则采用了在离线分离调度的方式，即在离线作业由各自的调度器调度。从调度算法来看，Borg 和 Sigma采用了基于打分规则的调度算法。Fuxi、Matrix、YARD 则是对YARN 调度算法的改进，在调度时考虑了节点空余资源，并使用作业画像、节点画像等预测作业的资源需求和节点未来可用资源。资源隔离方面，业界均采用了多种资源隔离技术。容器技术作为轻量级的虚拟化技术被广泛使用；CPU 作为最重要的计算资源，CPU 隔离和抢占式调度成为所有混部系统的选择；CAT（cacheallocation technology）技术也被较多地采用。三、技术方案（一）系统总体架构基

9、于金融业应用的情况，本课题设计了一套基于应用高低优先级的混部系统，整体架构如图 1 所示。4图 1 整体架构图系统整体分为两部分：混部调度框架，混部调度框架，由资源画像、混部调度以及每个节点上运行的 Agent 等组件构成，基于应用分级和资源超卖实现高低优先级应用的混合部署。混部资源隔离，混部资源隔离，提供增强型资源隔离特性，面向混部场景，解决容器隔离性不足导致的相互干扰问题，在提升资源使用率的同时，保证应用服务质量不受影响。（二）混部调度框架1.功能视图1.功能视图具体功能如图 2 所示。5图 2 详细功能图（1）资源画像：（1）资源画像：基于 CPU、内存等指标数据，通过统计分析、机器学习

10、等手段对应用资源使用进行画像，为资源调度系统提供混部调度所需的关键信息。（2）混部调度：（2）混部调度：基于高优先级应用的空闲资源和应用负载类型，根据调度策略完成高低优先级应用的混部调度；实时判断高优先级应用的受干扰程度并及时进行规避处理，保证应用服务质量不受影响。2.资源画像2.资源画像6图 3 指标采集如图3所示，混部系统使用cadvisor、netdata等工具采集CPU、内存、磁盘等资源，基于应用的历史数据，利用数据分析、机器学习等技术对应用进行周期性地画像，包括：应用资源密集型分类应用资源密集型分类，对应用历史CPU、内存、磁盘和网络IO使用总量分别进行归一化，计算得到应用每个维度的

11、密集系数，用来衡量该应用在该维度的资源需求量；应用负载趋势预测应用负载趋势预测，根据应用历史CPU和内存使用数据，使用时序预测算法XGBoost预测应用未来的负载情况；应用CPI健康阈值应用CPI健康阈值，基于3-sigma准则计算应用的CPI（cyclesper instruction），将输出的上限作为应用CPI的健康阈值线。3.混部调度3.混部调度为实现资源复用，混部系统实现了更精细化的调度，根据混部节点上高优先级应用负载情况动态调整节点的可混部资源，通过混部标签识别低优先级应用，并根据混部调度策略进行节点的7筛选和打分，完成混部应用调度到混部节点的过程，并实时监测应用的干扰情况，根据受

12、干扰程度进行相应的避让处理。（1）节点资源扩展。对节点空闲资源和高优先级应用的闲置资源进行抽象，基于混部资源标签，扩展节点的资源属性，如图 4 所示。图 4 节点资源（2）应用属性扩展。对应用进行优先级划分并写入应用属性，低优先级应用又可按更细粒度划分 1-5 级，可作为驱逐筛选条件，如图 5 所示。图 5 应用属性（3）混部调度策略。通过扩展 k8s 原生的调度框架，实现8自定义 Scoring 扩展：混部资源均衡调度，混部资源均衡调度，使混部节点在集群内均衡分布，避免混部节点堆积；同质资源均衡调度，同质资源均衡调度，基于应用资源密集型调度，避免多个相同类型的应用调度到同一个节点，如图 6

13、所示。图 6 调度器原理（4）混部资源计算。结合节点上应用当前负载情况和未来负载趋势预测数据周期性并计算混部节点可混部资源，计算流程如图 7 所示。图 7 计算流程9（5）水位线评估。如图 8 所示，设计调度水位线和驱逐水位线：节点压力达到调度水位线后，设置节点不能继续调度混部应用；达到驱逐水位线后，驱逐混部应用，使节点压力稳定在驱逐水位线之下。图 8 水位线评估（6）干扰驱逐。持续监控节点 CPI 指标，当应用的 CPI 持续超过健康阈值后，向节点发起驱逐请求。混部调控模块监听混部节点的驱逐事件，根据请求类型执行驱逐操作，获取主机上所有混部业务的 pod，根据 pod 的优先级、数量、使用率

14、等因素计算最优驱逐节点进行驱逐，CPI 指标正常后则停止驱逐操作。（三）混部资源隔离在混部过程中，由于低优先级应用竞争 CPU、内存、网络带宽等共享资源以及由于进程在不同 CPU 频繁切换及负载流量突发等情况，会导致应用性能受损，为了保障应用服务质量，防范关键业务 QoS 受损，引入增强的内核隔离机制，提供多重保障以提升工作负载的运行效率及稳定性，如图 9 所示。10图 9 资源隔离架构图1.隔离引擎1.隔离引擎为保障混部系统以最佳状态运行，隔离引擎提供了自适应的单机算力调优和服务质量保障服务，以提升工作负载的运行效率和稳定性。优先级配置优先级配置：为应用配置 QoS 等级，当高优先级应用流量

15、上升时，内核层面能为其快速抢占到所需资源，保障其服务质量，当在线业务流量下降时，放宽对低优先级应用资源限制，提高其吞吐率。动态资源配比调优动态资源配比调优：通过监控和预测高优先级应用相关资源的使用情况，结合节点资源的使用情况，提前对资源进行规划，调整低优先级应用资源配比，降低高优先级应用 QoS 违规风险。自适应性能调优自适应性能调优：在保障整机负载安全稳定前提下，允许临时突破限制，协调资源进行自适应调整，快速解决或者缓解资源11瓶颈，保障关键业务的服务质量。2.隔离特性2.隔离特性内核资源分级管控从物理核、缓存、内存带宽、网络带宽、IO 带宽五种共享资源入手，提供了一套共享资源隔离复用机制，

16、实现了 CPU、MEM、Disk、Net 等资源的分级抢占能力。CPU 调度分级CPU 调度分级：基于标签化的抢占技术保障 us 级任务抢占，实现高优先级对低优先级应用的绝对抢占，达到多维任务间 CPU资源干扰隔离效果。内存分级管控内存分级管控：基于 linux 内存分配回收机制，主动探测内存压力，通过主动管控和策略下发机制，保证高优先级应用的内存分配和使用。网络带宽分级管控网络带宽分级管控：基于 eBPF 和 EDT 技术实现动态限速分配策略，根据优先级自动调整带宽，当高优先级应用占用带宽较低时，空闲带宽能够分配给低优先级应用使用，当高优先级容器需要更多带宽时，能够迅速（100ms）抢占回来

17、。四、验证场景搭建混部集群，部署混部组件，配置混部 Node 节点并准备混部应用。如图 10 所示，集群共 6 个节点，其中 3 个节点作为混部节点。12图 10 集群节点列表（一）应用混部1.测试条件1.测试条件混部集群就绪，节点混部开关打开，高低优先级应用已完成配置。2.测试步骤2.测试步骤（1）部署高优先级应用，节点分配率约 80%，应用运行一段时间后的 CPU 资源利用率情况如图 11 所示，平均使用率 15%左右。图 11 高优先级应用单独部署运行（2）部署低优先级应用，经混部调度器调度到该节点，运行一段时间后，CPU 资源利用率如图 12 所示，达到 35%左右，且高优先级应用运行

18、正常。13图 12 应用混部后资源运行3.测试结论3.测试结论混部后，应用运行正常，节点资源利用率由混部前的 15%左右提升到了 35%左右。（二）干扰检测与驱逐1.测试条件1.测试条件混部节点上高优先级应用已经正常运行，低优先级应用启动后被调度器调度到该混部节点上，低优先级应用副本数大于 1。2.测试步骤2.测试步骤（1）部署高优先级应用资源画像计算得到高优先级应用的CPI健康值为0.48左右。（2）运行低优先级应用低优先级应用 CPU 从 24C 变化，内存从 46G 变化，如图13 所示，CPI 多个周期超过 0.6，高优先级应用受到影响，达到驱逐条件。14图 13 混部应用使用 CPU

19、 情况图 14 高优先级应用 CPI 变化情况从图 14 红框中可看出混部应用的 CPI 连续多周期超过应用的健康阈值。标注为为两副本被驱逐一个副本后高优先级应用CPI 回落的情况。15图 15 日志显示 pod 被驱逐3.测试结论3.测试结论高低优先级应用混部时，受低优先级应用影响，高优先级应用 CPI 连续多个周期超过安全水位线，混部节点控制器检测到高优先级应用性能受到干扰，为保证高优先级应用的 SLA，驱逐了低优先级应用。（三）干扰隔离1.测试条件1.测试条件节点上单独部署高优先级应用和同时部署高低优先级应用，测试在低优先级应用接近满负载且与高优先级应用产生竞争的情况下，（1）高优先级应

20、用 QPS1受到的影响情况，（2）高优先级应用资源使用是否受到影响。2.测试步骤2.测试步骤（1）QPS 影响测试：单独部署单独部署高优先级应用，requests 设置 2C/4G，limits 设置为 4C/8G，执行并记录每次执行统计的 QPS和 P992值。同时部署同时部署高优先级应用容器和低优先级应用容器，高1QPS:服务端每秒处理的查询数量。2P99：查询执行时间的 99 分位数。16优先级应用容器 requests 设置 2C/4G，limits 设置为 4C/8G，低优先级应用容器 requests 设置 0C/0G，limits 设置为 8C/16G，低优先级应用容器为 CPU

21、 密集型，同样记录高优先级应用容器每次执行统计的 QPS 和 P99 值。两种两种情形下高优先级应用容器 QPS和 P99 统计对比如图 16 所示。图 16 多场景下 QPS 及 P99 值（2）资源竞争测试：首先分别单独部署高、低优先级应用，运行一段时间后，利用混部调度器将低优先级应用容器调度到混部节点上，实现高低优先级应用混部。两种情形下 CPU 资源监控对比如图 17 和图 18 所示。图 17 低优先级单独部署时应用 CPU 可满载运行17图 18 高低优先级应用混部时 CPU 变化情况，当高优（橙色）需要资源时，压制低优（绿色），高优资源使用几乎无影响3.测试结论3.测试结论（1）

22、从统计数据对比可以看出，低优先级应用的运行对高优先级应用几乎没有影响，当高优先级应用需要 CPU 资源时，可以快速压制抢占低优先级应用的 CPU 资源。（2）低优先级应用可以充分利用空闲资源，用于提升自身效率和节点的资源使用率。五、应用成果通过落地高低优先级应用混部技术，实现了十多个高低优先级应用的混部，单节点部署密度提升 50%以上，对于低优先级应用为 CPU 消耗型的场景，节点的资源利用率可提升到 35%以上，同时通过资源隔离、干扰检测和驱逐等保障手段，高优先级应用的 QoS 影响可以控制在 5%范围之内。六、总结和展望当前，云计算已成为数字金融的重要基石，以容器技术为核心构建的云原生基础设施彻底屏蔽底层基础设施异构差异，基于分布式和微服务架构大幅提升应用快速迭代能力，推动应用架构中心化向分布式演进。与此同时，随着业务规模的高速增长，云18化部署和分布式架构也带来了应用节点规模的快速扩张和大量IT 资源的投产，资源利用效率的提升仍然有着巨大的空间。混部技术作为提升物理资源利用率、降低运营成本的有效手段，受到了业界的一致认可和推荐，建议将混部作为常态化的成本优化手段，实现混部技术在金融行业的落地和实践，并持续推进混部技术在金融行业的规模化应用，进一步拓展混部的应用场景，助力金融行业的降本增效。