报告预览

吴长治--基于eBPF实现混部场景下的网络QoS管理.pdf

编号：161292

PDF 11页 524.52KB 下载积分：VIP专享

下载报告请您先登录！

吴长治--基于eBPF实现混部场景下的网络QoS管理.pdf

1、基于eBPF实现混部场景下的网络QoS管理第二届 eBPF开发者大会w w w.e b p f t r a v e l.c o m中国西安第二届 e B P F 开发者大会混部场景下，业务QoS存在挑战，网络QoS是关键指标业界现状数据中心基础设施支出大，服务器占IDC成本大头服务器资源利用率低，平均在15%不同类型业务使用独立资源池(分开部署)混部目标在线业务和离线业务混合部署，降本增效混部场景（鱼和熊掌）离线业务填充在线业务波谷利用率（鱼）在线业务抢占离线任务资源质量保障（熊掌）在离线业务混部第二届 e B P F 开发者大会linux TC简介TC（tr

2、affic control）是Linux内核中的一个网络流量控制工具，它可以用来控制网络流量的带宽、延迟、丢包等参数，从而实现网络流量的优化和管理。TC的基本功能：shaping：出方向流量进行限速scheduling：对报文进行调度policing：入方向流量进行限速dropping：超过预设值的流量都会被直接丢弃（ingress/egress）TC的关键组件：qdisc 队列规则(queueing discipline)classless qdisc：pfifo|TBF|ingressclassful qdisc：HTB|prio|classes对于classful qdisc可以配置不同

3、类别，并通过优先级实现优先处理某些队列流量filters通过filter来决定流量进入到哪个队列中类别：u32|bpf|cgroup|HTBrootqdisc1：1：11：101：20F1F2defaultclass 1:1class 1:10class 1:20filterclassclasshttps:/man7.org/linux/man-pages/man8/tc.8.html第二届 e B P F 开发者大会带宽管理插件：配置pod annotation，并通过 TC TBF实现限速。方案原理：Pod的egress对应veth host侧的ingress，ingress无

4、法做流量整形，因此加了ifb网卡；Pod流量出来后重定向到ifb网卡，通过fib TBFqdisc实现限速；方案问题：锁竞争：TBF qdisc 所有 CPU 共享一个锁（qdiscroot lock），因此存在锁竞争；流量越大锁开销越大；缓冲区膨胀：多了一层ifb网卡排队，缓冲区增大；时延增加：原来veth pair网卡对转发，现在多了个ifb；k8s 带宽管理：基于TBF实现网络QoS限速apiVersion:v1kind:Podmetadata:name:iperf-slowannotations:kubernetes.io/ingress-bandwidth:10Mkubernetes

5、.io/egress-bandwidth:50M第二届 e B P F 开发者大会From Queues to Earliest Departure Time From Queues to Earliest Departure Time：https:/documents.pub/document/oct-2018-david-wetherall-presenter-nandita-dukkipati-talks2018davidwetherall.html?page=124.20:The TCP stack switched to Early Departure Time更好的CP

6、U效率&更小的队列每个skb可以设置最早离开时间(EDT)时间轮调度复杂、脆弱、级联队列维护队列的CPU开销multi-cpu间共享队列的竞争开销第二届 e B P F 开发者大会cilium:eBPF+EDT实现Pod出方向带宽管理cilium egress限速工作原理：Pod veth主机侧在tc ingress处挂载bpfprog，设置ctx-queue_mapping=aggregate主机网卡侧在tc egress处挂载bpf prog，根据限速配置调整 skb-tstampmq+fq按时间戳公平调度skb发包方案特点：相比tc tbf等，实现免锁限速功能多队列处理，避免

7、缓存区膨胀cilium启动使能带宽管理功能：helm upgrade cilium cilium/cilium-version 1.13.4-namespace kube-system-reuse-values-set bandwidthManager.enabled=true#仅支持出方向带宽管理Pod annotations：kubernetes.io/egress-bandwidth:50M第二届 e B P F 开发者大会Pod1(在线)eth0vethebpf在离线速率mapnodePod2(离线)eth0vethebpfbwmcli-s bandwidth 20mb,1

8、00mb#离线业务的带宽上下限bwmcli-s waterline 40mb#在线业务的水线nsenter t Pod Pid n bwmcli e eth012bwmcli s/sys/fs/cgroup/net_cls/Pod_path-13tc qdisc add dev eth0 root fqtc qdisc add dev eth0 clsacttc filter add dev eth0 egress bpf direct-action obj bwm_tc.o sec tc1.身份获取（在线）bpf_skb_cgroup_classid(skb)2.在离线流量统计3.带宽抑制：

9、根据在线流速调整离线带宽 skb-tstamp1.身份获取（离线）bpf_skb_cgroup_classid(skb)2.在离线流量统计3.带宽抑制：根据在线流速调整离线带宽 skb-tstamp2bwmcli s/sys/fs/cgroup/net_cls/Pod_path 03bwm：基于eBPF+EDT实现带宽抢占tc ebpf免锁流控node内共享在离线带宽水线EDT限速，实时带宽保障EDT延后EDT延后技术效果：混部下高优先级应用带宽抢占时延100ms第二届 e B P F 开发者大会Volcano出口带宽保障https:/ 开启在离线业务混部参数：3.开启出口带宽保

10、障，并配置带宽保障参数kubectl edit configmap-nkube-system volcano-agent-configuration.data:colocation-config:|globalConfig:cpuBurstConfig:enable:true,networkQosConfig:enable:true,onlineBandwidthWatermarkPercent:80,offlineLowBandwidthPercent:10,offlineHighBandwidthPercent:40,4.业务部署时配置为离线作业，默认在线作业Volcano是基于k8s的批

11、处理平台，可提供高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力。第二届 e B P F 开发者大会kind:DeploymentapiVersion:apps/v1spec:replicas:4 template:metadata:annotations:volcano.sh/qos-level:-1#离线作业标签bwm后续演进计划多优先级带宽管理主机进程的带宽管理2024.052024.062024.09低优先级流量反压第二届 e B P F 开发者大会2024.12集成进Kmesh流量治理引擎欢迎关注社区Kmesh：内核级流量治理引擎https:/ 二届 e B P F 开发者大会

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（吴长治--基于eBPF实现混部场景下的网络QoS管理.pdf）为本站（张5G）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

吴长治--基于eBPF实现混部场景下的网络QoS管理.pdf

吴长治--基于eBPF实现混部场景下的网络QoS管理.pdf