1、王泽锋王泽锋 Kevin Wang 2021年年07月月10日日开源云原生计算时代论坛开源云原生计算时代论坛Karmada：开源的云原生多云容器编排平台About Me华为云 云原生开源负责人CNCF中国大使、技术监督委员会贡献者 Kubernetes社区资深MaintainerKubeEdge、Volcano、Karmada项目创始人2012年加入华为2013年起参与容器平台研发2015年起参与Kubernetes上游社区成为国内最早的一批Kubernetes Maintainer20152018期间主导Kubernetes社区多项高级调度特性及多个子项目设计研发2018年：作为联合发起人主

2、导KubeEdge开源项目2019年：作为联合发起人主导Volcano开源项目2021年：作为发起人主导Karmada开源项目多云、多集群部署已经成为常态93%多云部署Enterprise Cloud Strategy%of enterprise respondents6%单一公有云1%单一私有云多公有云6%混合云87%1 Source:Flexera 2021 State of the Cloud Report2 N=750调查显示，超过93%的企业正同时使用多个云厂商的服务。云原生技术和云市场不断成熟，未来将是编程式多云管理服务的时代。云原生多云多集群的典型阶段一群孤岛一群孤岛一致的集群运

3、维一致的应用交付业务割裂，互不感知数据孤岛、资源孤岛、流量孤岛威尼斯水城威尼斯水城统一应用交付（部署运维）统一应用访问（流量分发）统一资源分配（编排调度）少量、小压力的跨集群业务访问大航海时代大航海时代实例、数据、流量：自动调度自由伸缩自由迁移We are here云原生的多云仍然充满挑战集群繁多集群繁多繁琐重复的集群配置 云厂商的集群管理差异 碎片化的API访问入口业务分散业务分散应用在各集群的差异化配置 业务跨云访问集群间的应用同步集群的边界限制集群的边界限制资源调度受限于集群 应用可用性受限于集群 弹性伸缩受限于集群厂商绑定厂商绑定业务部署的“黏性”缺少自动的故障迁移缺少中立的开源多集群

4、编排项目多云容器集群管理的挑战多集群容器编排的前世今生200202021K8s Federationv1启动开发社区改名 MultiCluster SIGFederation启动 v2版本开发社区发布多集群 服务声明标准接口 MultiCluster Service APIFederation成为 K8s独立子项目K8s 社区成立Federation SIG发布联邦白皮书201820196月 华为云MCP公测12月华为云MCP商用华为云MCP全新引擎Karmada启动研发Karmada 项目开源Karmada：开源的云原生多云容器编排引擎使用Karmada构建无限可扩展的

5、容器资源池 让开发者像使用单个K8s集群一样使用多云集群生命周期集群发现多集群网络互通多集群统一认证集群同步聚合APIServer应用负载管理多集群流量治理全局数据管理多集群 运维 监控 日志 告警 审计多集群调度多集群自动伸缩全域流量调度策略管理统一配置元数据备份CI/CD托管集群私有集群边缘集群兼容兼容K8s API0代码改造升级多云架构全网统一管理全网统一管理公有云、混合云统一管理能力开箱即用能力开箱即用内置10+基于行业场景的调度能力插件联合发起单位https:/ 使用K8s原生API部署一个多集群应用apiVersion:policy.karmada.io/v1alpha1kind:

6、PropagationPolicymetadata:name:multi-zone-replication spec:resourceSelectors:-apiVersion:apps/v1 kind:Deployment labelSelector:matchLabels:ha-mode:multi-zone-replicationplacement:spreadConstraints:-spreadByField:zonemaxGroups:3minGroups:3apiVersion:apps/v1 kind:Deployment metadata:name:nginx-deploym

7、entapp:nginxha-mode:multi-zone-replication spec:replicas:3 selector:matchLabels:app:nginx template:metadata:labels:app:nginx spec:containers:-name:nginx image:nginx ports:-containerPort:80使用标准的K8s API定义部署应用kubectl create-f nginx-deployment.yaml示例策略：为所有deployment配置多AZ的HA部署方案https:/ Policy:可重用的应用多集群调度

8、策略resourceSelector支持关联多种资源类型支持使用 name 或 labelSelector 进行对象筛选placementclusterAffinity:定义倾向调度的目标集群支持通过 names 或 labelselector 筛选clusterTolerations:类似单集群中Pod tolerations和 node taintsspreadConstraints:定义应用分发的HA策略支持对集群动态分组：按Region、AZ、特性label分组，实现不同层级的HAapiVersion:policy.karmada.io/v1alpha1kind:Propagation

9、Policymetadata:name:example-policy spec:resourceSelectors:-apiVersion:apps/v1 kind:Deployment name:deployment-1labelSelector:#standard labelSelectorpropagateDependensies:falseplacement:clusterAffinity:clusterNames:-cluster1-cluster3clusterTolerations:#like pod tolerationsspreadConstraints:-spreadByL

10、abel:failuredomain.kubernetes.io/zonemaxGroups:3minGroups:3schedulerName:defaultOverride Policy:跨集群可重用的差异化配置策略resourceSelector支持使用 name 或 labelSelector 进行对象筛选overriders支持多种override插件类型plainTextOverrider:基础插件，纯文本操作替换imageOverrider:针对容器镜像的差异化配置插件apiVersion:policy.karmada.io/v1alpha1kind:OverridePolicy

11、 metadata:name:example-override namespace:default spec:resourceSelectors:-apiVersion:apps/v1kind:DeploymenttargetCluster:labelSelector:matchLabels:failuredomain.kubernetes.io/region:dc1overriders:imageOverrider:-component:prefix operator:replace value:dc-1.registry.ioClusters API:用户自助可查的资源池基本单元syncM

12、ode支持使用 Push 或 Pull 模式与集群进行同步secretRef分离Push模式下集群访问凭据，便于开放 clusters API 供用户自助查询taints集群级别taint-toleration机制，支持集群级资源预留及驱逐kubernetesVersion,apiEnablementsK8s版本，集群开启的API列表，支持基于API依赖的调度resourceSummary集群资源信息（容量、使用量、调度中），apiVersion:cluster.karmada.io/v1alpha1 kind:Clustermetadata:name:member-cluster-1spec

13、:syncMode:PushapiEndpoint:https:/172.17.0.5:6443 secretRef:name:member-cluster-1 namespace:karmada-cluster provider:huaweicloudregion:ap-southeast-1zone:az-1taints:#just like node taints status:conditions:-message:/healthz responded with okreason:ClusterReadystatus:Truetype:ClusterReady kubernetesVe

14、rsion:v1.17.0 apiEnablements:nodeSummary:resourceSummary:Karmada工作原理Karmada 架构Karmada Cluster Lifecycle ManagementKarmada control planeKarmada API-serverWorkloadControllersKubeEdge ControllerEdge clustersPrivate CloudPublic CloudAgentClusterAgentClusterClusterKarmada AgentKubeEdge AgentClusterKubeEd

15、ge AgentClusterClusterKubeEdge AgentClusterClusterClusterK8s Native APIsKarmada PoliciesExecutionSpace N12KarmadaScheduler4Execution Controller4443 ExecutionSpace 1 https:/ 工作原理ResourceBindingPropagation Work1:11:mm is the number of assigned memberclusters1:nn is number of resource that matchPolicy

16、ControllerBinding ControllerResource inMember ClustersCentralized Execution ControllerorAgent in member clusters1:1Karmada schedulerFill upbinding.clustersPolicy1Policy2Policy3match policy(highest priority)Override1 Apply overridesOverride2Override3Resource TemplateK8s native API definitionPropagati

17、on PolicyOverride PolicyKarmada 社区路标 K8s原生API部署多集群应用 多集群应用状态聚合 多集群部署时，应用配置差异化 针对集群的亲和性调度 多集群高可用调度策略 纳管集群 集群目录2021 Q12021 Q3 多集群服务发现 多集群外部流量接入 多集群的应用自动伸缩 多集群的资源重平衡 更多高可用调度策略：多Region/多AZ/多厂商 聚合API访问2021 Q4 多形态下多集群容器网络 多集群服务治理 多集群监控 多集群日志收集 GitOps支持2021 Q2 多集群的应用故障迁移 根据多种策略动态拆分应用实例数 针对集群的Taint Toleration 多种集群同步模式：Push，Pull 集群生命周期管理Take Away多云已成必然云原生技术与多云诉求相互促进多云的三个阶段标准技术栈，互操作的多个孤岛统一平台，云间统一调度，统一弹性多云无缝合一云原生多云的典型挑战集群繁多业务分散、碎片化K8s集群造成的边界厂商绑定Karmada项目核心价值K8s原生API兼容，丰富云原生生态内嵌策略，开箱即用丰富的多集群调度支持集群资源空间隔离多种模式集群同步，屏蔽地域、网络限制Karmada后续计划整体技术栈Q4成型