报告预览

快速应对热点流量峰值微博云原生运维最佳实践-云上运维最佳实践论坛（29页）.pdf

编号：84535

PDF 29页 39.43MB 下载积分：VIP专享

下载报告请您先登录！

快速应对热点流量峰值微博云原生运维最佳实践-云上运维最佳实践论坛（29页）.pdf

1、快速应对热点流量峰值，微博云原生运维最佳实践马朕微博研发中心基础平台负责人Contents目录基于云原生实现快速扩容以应对流量高峰微博DCP混合云平台资源分配策略优化在容量管理和提升利用率等方面开展实践010203基于云原生ECI、闪电交付实现快速扩容以应对流量高峰01成本考虑弹性资源的需求热点弹性数量的需求热点弹性速度的需求针对春晚的业务场景传统应对手段成本高设备成本时间成本热点来的更快，热度更高开始应用阿里云ECI与闪电交付技术热点应对的3个阶段针对热点事件流量热度的不断提高，短时间内需要更多的弹性资源热点服务新的挑战受业务流量持续增长影响，热点事件呈现新的特点，热点扩容需求由原来的10分

2、钟减少到现在的3至5分钟。024681年7月31日WYF事件2021年4月23日ZLY事件2021年5月22日袁老事件2020年1月26日武汉疫情事件2021年1月19日ZS事件达到流量峰值速度吞吐率创建速度在离线整合资源分配挑战：如何大幅度提升混合云弹性能力弹性能力提升每分钟资源创建能力降低单台扩容完成耗时确保核心业务优先进一步提升供给云服务器闪电交付:交付速度最高720台/min，比普通交付提升300%运维成本增加弹性资源上线降低成功率降低扩容参数不同，需管理多套扩容模板限定操作系统AliOS，维护多种镜像限定可用区，单区故障影响大限定机型，可用弹性资源减少共用通道，

3、普通交付+闪电交付=720台/min闪电交付失败同时影响普通交付云服务器闪电交付流程云容器时代开启基于kubernetes技术的弹性容器实例专属预热资源池，容器实例启动快，比云服务器启动快1分钟以上特有的ImageCache功能，镜像拉取耗时0秒弹性资源吞吐率能否再提升？优点：吞吐率500台/min 调度通道与ECS相互独立服务启动平均耗时45s缺点：扩容能力随扩容规模有一定程度降低。02040608000台3000台6000台压测报告P90(s)成功率(%)结论：弹性资源通道增加500台/min，可用于热点首批峰值流量应对落地弹性容器实例ECI可行性分析改造并行化改

4、造冗余步骤合并核心、非核心隔离链路非核心步骤异步化提升机器创建初始化速度降低整体扩容耗时申请状态上报检查初始化磁盘初始化ssh配置业务依赖结束申请状态上报检查结束初始化磁盘ssh配置业务依赖进一步提升服务扩容能力5分钟DCP管理平台，将PUSH热点联动，由ECS扩容优化为ECI+ECS双路扩容，进一步提升服务交付能力。RPC服务化，业务全面rpc化，提升服务发现效率与业务性能6000+由5分钟2000台，提升至5分钟6000台扩容速度进一步提升将镜像仓库中的镜像，缓存至待创建的资源上，随着机器交付，镜像已经准备就绪。采用云厂商基于Kubernetes的ECI技术，由5分钟2000台，提升

5、为3分钟3000台，6分钟6000台。微博DCP混合云平台资源分配策略优化02DCP峰值应对建设-挑战问题分析：1.谁先提交创建谁，核心业务机器分配没保障2.基础环境初始化耗时高3.镜像拉取失败率高弹性扩容核心流程日常扩容热点联动机器创建FIFO基础环境初始化Docker镜像拉取服务启动负载均衡业务方提交扩容提交云厂商任务队列云服务器DCP峰值应对建设-治理核心业务机器分配没保障机器初始化问题，镜像仓库问题处理问题效率低ECS调度能力有限建立扩容策略优化扩容链路混合云决策支持系统接入K8S云容器服务DCP峰值应对建设-资源分配默认策略：公平调度，保证每个产品线每分钟都能拿到机器多产品线同时提交

6、A服务器100台B服务器100台C服务器50台D服务器10台待处理任务队列公平分配机器创建顺序DCP峰值应对建设-扩容策略多业务同时提交A服务器100台B服务器100台C服务器50台D服务器10台待处理任务队列E服务器1台优先级队列80%机器创建顺序普通队列20%热点时保核心业务优先级策略开启后，优先级队列中的业务分配更多资源DCP峰值应对-决策支持接入决策支持系统模块全覆盖，核心指标整体核心三元组模块核心三元组扩容失败率高，IVR动员待处理任务队列队列SWRR任务统计更新平滑轮转分配产品线SWRR业务线SWRR创建机器具体条件根据条件实施获取任务分配策略：在离线整合的实践外部事件热点

7、事件触发移动App机器人用户触发容量评估系统扩容计划离线类服务共享池待扩容服务服务1:a台服务2:b台服务3:c台调度系统运维系统离线类服务服务1服务2服务3执行扩容计划离线类服务下线（a+b+c台）下线完成扩容完成补充ECS实例节点分配+服务扩容a台b台c台扩容决策服务下线驱逐任务停止容器环境清理服务日志镜像拉取容器启动四七层变更极速扩容节省成本无需开机无需初始化直接启动分配策略：在离线整合的实践触发扩容1秒离线服务下线5-10秒服务启动55-65秒接入流量热点联动体系热点联动项目-根据历史信息预判热点预判热点并安排职守-热点应对系统对全量Push和实时流量分析发现热点-通过IVRIVR、热

8、点应对群等进行快速热点动员-通过热点联动机制热点联动机制自动进行热点扩容、降级等应对-与云厂商联动，实时库存预警-服务保障组对每次热点进行记录和归档-对每次热点进行复盘，并修正技术、制度建设方向-热点联动项目周报、例会等制度化建设，持续进行优化建设-以内部开源内部开源方式群策群力联合建设公共技术基础设施-联合制定日常冗余度标准、扩容步长标准，实现应对标准化应对标准化-产品化全链路压测系统全链路压测系统建设，对各核心业务持续进行压测与评估-DCP系统持续优化，提升健壮性，建立优先级队列等新机制-与云厂商联动实验k8s等新技术，进一步优化弹性扩容速度为实现各核心业务在各种场景下的热点应对工作的可控

9、性，热点联动项目以热点全生命周期管理为目标，以技术、工具、制度等建设为手段，以压测系统建设、应对标准化建设等为重点展开了全面的优化和建设工作。热点预警与发现热点联动应对热点总结与分析技术与工具改进制度建设在容量管理和提升利用率等方面开展实践03影响资源使用效率的三大因素基于k8s动态切割超大规格机器混合编排资源多样性影响使用率资源多样性影响使用率规格多样性：CPU/GPU密集型 IO密集型内存、存储密集型不同类型：在线服务离线服务超大规格机器2T/256c高密度空间上混合编排时间上弹性调度0.25+0.25+0.25+0.25=4？0.25+0.25+0.25+0.25=4X不同时间维度错峰弹性调度突发热点下的容量规划与成本闪电交付、ECI与自动扩容降本增效策略高密度更便宜异地IDC自动预测与调整全链路自动化化整为零，化零为整THANKS

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（快速应对热点流量峰值微博云原生运维最佳实践-云上运维最佳实践论坛（29页）.pdf）为本站（云闲）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

快速应对热点流量峰值微博云原生运维最佳实践-云上运维最佳实践论坛（29页）.pdf

快速应对热点流量峰值微博云原生运维最佳实践-云上运维最佳实践论坛（29页）.pdf