1、字节容量保障实践之路卢凯旋 技术专家个人简介来自字节跳动Quality and Experience团队，15年哈尔滨工业大学硕士毕业，先后加入去哪儿网酒店业务，百度知识图谱团队从事质量保障效能研发相关工作。19年加入字节跳动后，作为字节接口测试平台，AIOps智能根因分析以及容量中台等多个平台技术项目核心研发与负责人；目前主要负责字节容量中台相关能力的建设，致力于为业务提供全链路服务高准确率的容量预估以及构建高效低成本的容量验证体系去哪儿网酒店百度知识图谱字节跳动15-1717-1919-至今工作经历目录02.全链路容量预估模型03.全链路容量验证04.业务实践效果01.字节容量评估解决方案

2、字节微服务架构体系在字节内，整体公司微服务架构体系下，业务核心服务链路调用关系复杂，涉及微服务成百上千，整个链路涉及的服务类型又是多种多样繁多（计算服务，存储服务，消息队列等）容量评估服务/系统负载最大稳态下对请求的最大处理能力容量评估SRERDQA 单服务日常容量风险 日常资源的balance 链路资源瓶颈探测 服务最优利用率 容灾资源储备 服务性能调优 新服务容量规划 迭代服务劣化分析 极限容量评估 容量基线维护 活动容量风险线下拦截 容量评估方案思路历史经验压测模型.日高峰cpu/qps历史活动cpu/qps只能拿到历史数据做参考如35%cpu可以承载qps全链路打通阶梯压测梯度压测结果

3、：cpu40%，60%承载qps日常监控qps/delay/cpu等容量模型训练任意资源利用率下：服务承载qps容量评估历史经验模型压测历史数据无法直接参考使用服务变更后历史数据无意义fake流量线上真实流量差异环境差异低流量服务样本数据差方法维度细化不同方案阶段问题字节容量评估解决方案字节容量评估实践之路字节容量评估解决方案字节容量评估解决方案全链路容量验证全链路容量预估模型 常态化的容量评估风险巡检 业务日常迭代升级验证 活动场景的全链路容量评估字节容量中台-Rhino容量预估-容量模型构建容量预估-容量模型构建根据排队理论，=1/()其中E(s)表示请求的平均处理时间结合利用率=/推导队

4、列的最大容量等价于在满足响应时延SLO设定约束的条件下寻找请求的最大到达率max，定义队列响应时延SLO为Rt，队列的平均响应时延为R，则R=111 =1 设R=求解上式即可得到。单psm分层网络模型容量预估-容量模型构建业务链路队列网络模型容量预估-容量模型训练服务接入http/rpcconsumeMysql/redis服务元数据服务类型实例数集群/机房每日触发指标数据Cpu/memqpslatency任务创建数据处理数据裁剪平滑处理缺点/异常点处理模型训练基于排队论的容量模型基于深度学习的流量预估服务接入基础处理 服务qps的流量预测 磁盘disk的变化趋势 CPU/QPS模型 IO/QP

5、S模型 RT/QPS模型如何应用？容量预估-应用流程容量大盘巡检链路配置极限目标(Rt/CPU）最佳目标(Rt/CPU)风险水位阈值容灾配置服务元信息服务类型实例数集群/机房每日触发指标数据峰值cpu/mem峰值/qps峰值/Latency限流数据核心指标获取多模型预估单服务极限容量计算链路瓶颈计算全链路限流风险劣化分析容量预估风险推送消费Rd/qa/sre群消息风险平台扩缩容工单风险推送活动流量预估容量预估目标CPU/RT入口服务/接口模型筛选服务元数据服务类型实例数集群/机房链路信息获取上下游服务流量膨胀机房流量比例计算任务创建资源预估模型目标cpu下增长qps计算依赖资源数据链路瓶颈计算

6、限流风险计算资源计算数据消费扩缩容工单资源balance风险调整报告产出基础依赖获取容量预估-如何验证？服务的极限容量预估的资源是否正确？最佳资源推荐是否合理？链路容量瓶颈是否准确？容量验证（压测）构造流量线上调度容量验证-构造流量容量验证-安全保障容量验证-执行流程容量验证-如何更低成本？构造流量压测线上调度 全链路梳理 压测开关检查 数据构造/改写 影子表构建 压测资源准备 全链路盯盘成本高降低 高度自动化 低风险容量验证-线上流量调度如何高度自动化？如何保证低风险？目标流量调度全链路指标监控全链路报警监控自动化的调度熔断环境自动化构建隔离集群自动部署下游权限自动同步负载调度实例倍数调度数

7、据流适用场景单实例容量探测劣化性能分析模型准确率验证日常流量波动容量风险预警链路瓶颈探测容灾验证容量验证-调度验证流程容量评估方案闭环低流量服务指标数据较差活动/日常流量差异导致误差高无法细化接口维度资源消耗10%的误差影响业务决策低流量服务任务压力数据构造按照预期的流量比例的压测构建接口维度容量性能的细化分析实时验证模型准确基于压测调度流量的服务链路容量模型训练容量模型容量验证模型补充优化验证前置资源风险预估准备后置的容量风险巡检字节全链路容量保障实践-活动场景每年的春节活动也需要投入大量的人力以及时间，来做好线上活动的容量评估，保障活动业务的稳定运行。从2019-2022，容量中台多次深入

8、支持业务均均取得了较好的效果-20222022-2023支持模式平台多人力深入业务支持执行压测组织人力协同业务压测执行，平台问题解决横向支持，指导业务，平台说明文档整理平台能力不完善平台能力平台相对完善容量评估全流程支持压测极限内网千万级别内网千万级别+外网拨测内网千万+cdn外网千万容量评估支持无无容量预估/活动容量日常监测全链路容量保障实践-活动场景日常巡检活动流量评估容量资源预估活动资源部署压测容量验证资源容量风险调整容量中台在业务支持上平台深入支持电商/抖音包括618，818，921，双十一，等一系列大促活动的容量保障支持中台核心效果数据业务服务覆盖服务容量模

9、型容量验证/预估任务日均7w+20w+2w+业务覆盖任务数模型准确率计算类服务Mysql（proxy+server）redis（proxy+server）90%+85%85%人效率提升beforeafter全链路压测45pd1pd展望完整容量评估产品解决方案构建容量评估各环节标准化模板更加完善的性能分析报告权限流程管理标准化.容量模型完善更多的服务类型容量评估低流量服务算法能力完善细化接口维度容量分析能力.常态化业务容量支持日常迭代容量评估性能劣化评估服务保障限流数据支持.字节字节全链路的容量预估-日常巡检demo字节全链路的容量预估-活动资源预估demo了解更多技术实践案例麦思博(msup)有限公司是一家面向技术型企业的培训咨询机构，携手2000余位中外客座导师，服务于技术团队的能力提升、软件工程效能和产品创新迭代，超过3000余家企业续约学习，是科技领域占有率第1的客座导师品牌，msup以整合全球领先经验实践为己任，为中国产业快速发展提供智库。高可用架构主要关注互联网架构及高可用、可扩展及高性能领域的知识传播。订阅用户覆盖主流互联网及软件领域系统架构技术从业人员。高可用架构系列社群是一个社区组织，其精神是“分享+交流”，提倡社区的人人参与，同时从社区获得高质量的内容。