1、腾讯云原生分布式云腾讯云原生分布式云落地与实践落地与实践腾讯云容器高级产品经理腾讯云容器高级产品经理/汝英哲汝英哲汝英哲腾讯云 容器分布式云容器分布式云 和 边缘容器边缘容器 产品经理，TKEStackTKEStack、SuperEdgeSuperEdge 和 ClusternetClusternet 开源项目共同发起人，负责腾讯公有云、混合云、边缘云等云原生产品建设，致力于打造面向未来的云与边缘计算多维异构的基础架构平台。Agenda云原生和分布式云背景以及发展趋势云原生和分布式云背景以及发展趋势新新趋势下面临的挑战趋势下面临的挑战腾讯云腾讯云容器分布式云产品介绍容器分布式云产品介绍云原生分

2、布式云的大规模落地和实践云原生分布式云的大规模落地和实践合作与展望合作与展望亿级规模自有业务亿级规模自有业务支持全球支持全球300300万万+客户客户300+300+云产品服务云产品服务全面覆盖基础服务、云原生、安全等100+100+行业解决方案行业解决方案深厚数字化转型升级实践沉淀NO.1NO.1 电商、游戏类、视频云、电商、游戏类、视频云、咨询社交咨询社交/出行服务市占率出行服务市占率IDC:电商、游戏类、视频云、咨询社交/出行服务市占率第一服务国家项目、大型政企、服务国家项目、大型政企、金融行业金融行业腾讯云超大规模算力服务海量业务与客户腾讯云超大规模算力服务海量业务与客户云服务不断延伸

3、 统一管控 云原生服务 云边应用和数据协同 可扩展和弹性伸缩 生态不断兼容 异构硬件（x86，arm，mips）异构基础架构（公私边计网存）异构业务（java，c，golang）数据，资源，流量孤岛将公有云服务(包括必要的硬件和软件)分布到不同的物理位置（即边缘），而服务的所有权、运营、治理、更新和发展仍然由原始公有云提供商负责。分布式云分布式云云原生技术有利于各组织在公有云、私有云和混合云等新型动态环境中，构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式API。云原生云原生云计算不断向分布式和云原生方向发展云计算不断向分布式和云原生方向发展Clo

4、ud out延伸云边界延伸云边界Edge in连接边缘资源和业务连接边缘资源和业务运维更复杂环境更多样更高管理要求 硬件架构差异 云厂商资源管理差异 技术体系差异 自建k8s，并运维管理，运维依赖人工现场人工现场排障 多套的监控告警和日志系统 缺少自动的故障迁移，高可高可用容灾用容灾架构 碎片化碎片化API访问入口，数据，资源，流量管理割裂，云下资源利用率低(10%-20%)，资源浪费严重 应用应用不能统一分发和调度，数据难以流通 认证和权限不统一，缺乏整体安安全体系全体系新趋势下面临的挑战新趋势下面临的挑战腾讯容器分布式云产品演进腾讯容器分布式云产品演进通用异构全支持通用异构全支持Arm架构

5、，国产芯片，架构，国产芯片，GPU位置全覆盖位置全覆盖支持在任意中心，边缘，支持在任意中心，边缘，IDC创建集创建集群，纳管集群群，纳管集群任意中心，边缘，任意中心，边缘，IDC的节点加入公有的节点加入公有云云服务广延伸服务广延伸监控监控/日志日志/审计审计/事件服务延伸事件服务延伸云边一致的云边一致的PaaS服务服务应用全调度应用全调度应用市场分发应用至混合多云与边缘应用市场分发应用至混合多云与边缘应用多集群调度应用多集群调度腾讯容器分布式云架构腾讯容器分布式云架构APIServeretcdControllerScheduler监控日志审计运维节点节点节点腾讯公有云腾讯公有云云管控云管控云应

6、用云应用云运维云运维云安全云安全注册集群注册集群本地本地IDCIDC本地独立本地独立 K8sK8s 集群集群节点节点节点腾讯公有云腾讯公有云云管控云管控云应用云应用云运维云运维云安全云安全托管集群托管集群注册节点池云上节点云上节点本地本地IDCIDC节点专网互通专网互通注册节点方案注册节点方案容器分布式云方案对比容器分布式云方案对比注册集群方案注册集群方案运维成本运维成本资源利用率资源利用率云上云下统一调度云上云下统一调度离线弱网自治离线弱网自治TKE TKE 注册节点注册节点 -IDC-IDC节点轻量级云原生解决方案节点轻量级云原生解决方案IDCIDC节点节点IDCIDC云原生监控云原生监控

7、日志服务日志服务CLSCLS集群审计集群审计容器安全容器安全镜像加速镜像加速TKE Control PlaneTKE Control Plane腾讯云腾讯云专线互通专线互通容器服务容器服务TKETKE原生节点池原生节点池超级节点超级节点注册节点池注册节点池PodPod云上云下弹性伸缩云上云下弹性伸缩（扩容灾备）（扩容灾备）TKETKE注册节点注册节点，是针对混合云部署场景，全新升级的节点产品形态，允许用户将非腾讯云的主机，托管到容是针对混合云部署场景，全新升级的节点产品形态，允许用户将非腾讯云的主机，托管到容器服务器服务 TKETKE集群，由用户提供计算资源，容器服务集群，由用户提供计算资源，

8、容器服务 TKETKE负责集群生命周期管理。负责集群生命周期管理。核心场景：核心场景：资源利旧、利用率提升资源利旧、利用率提升 节点托管运维节点托管运维 云上云下统一调度云上云下统一调度资源管控大盘资源管控大盘：通过CPU/内存利用率、节点装箱率等指标直观展示成本消耗和资源浪费现状RequestRequest推荐推荐：根据业务Pod的历史水位，帮助用户推荐、配置合理的request动态调度动态调度、重调度、重调度：提供目标利用率配置能力，基于真实利用率调度，保持节点在安全水位节点超卖节点超卖：配置节点放大系数，提升节点装箱率在离线混部在离线混部：通过在离线混部技术，CPU利用率提升300%qG

9、PUqGPU：通过内核级别GPU虚拟化技术，实现GPU共享和强QOS 隔离，性能几乎零损耗技术特性技术特性资源利用率：40%60%资源利用率：1014%HardwareOperating SystemAPPAPPAPPHardwareOperating SystemHypervisorVirtual MachineOperating SystemBin/LibraryAPPAPPVirtual MachineOperating SystemBin/LibraryAPPAPPHardwareOperating SystemContainer RuntimeContainerAPPAPPConta

10、inerAPPAPPBin/LibraryBin/LibraryTKE Control Plane注册节点池降低节点运维复杂度资源管控大盘Request 推荐动态调度腾讯云大规模运营经验节点超卖在离线混部qGPU企业IDC注册节点注册节点注册节点资源利用率提升基础监控成本运营注册节点资源利旧，利用率显著提升资源利旧，利用率显著提升1.繁琐众多的节点组件参数配置优化；2.组合众多的OS发行版本和内核版本3.复杂的节点维护流程；4.难以预料的安全漏洞风险；5.层出不穷的bug修复和版本迭代；传统节点运维传统节点运维TKETKE注册节点运维注册节点运维配置环境 配置简化：提供默认的基于业务场景适配的

11、参数以及统一OS/运行时 系统优化：提供基于稳定性考虑的统一OS/运行时。简化运维 辅助升级：节点k8s/运行时/操作系统版本，辅助升级最新版本，并结合腾讯前沿安全情报及时更新安全漏洞。支持原地升级：支持配置最大并行升级节点数。节点排障 定期巡检，沉淀腾讯云内部运维巡检能力，支持接入告警 程序化的工作减少人为误操作引发的故障。分钟级分钟级接入，本地仅需维护本地节点状态接入，本地仅需维护本地节点状态TKE Control Plane注册节点池降低节点运维复杂度节点初始化节点升级声明式运维专线互通NPD故障自愈容器安全企业IDC注册节点注册节点注册节点节点组件K8s组件：kubelet、kubep

12、roxyOS：发行版、内核版本数百种组合 容器运行时：docker、containerd、安全沙箱等基础组件：存储、负载均衡、监控等数十种自安装软件、多种配置运维成本降低运维成本降低1.云上有普通节点、超级节点、原生节点等多种节点类型2.云下有各种架构、机型的物理资源，甚至是分散在各个地域的3.TKE支持管理各种类型的节点，实现节点间的互联互通1.业务可以自定义调度模式，可以选择将服务调度到云上或云下2.业务可以实现云上云下的相互弹性，支持将云下的Pod调度到云上运行，满足扩容、灾备、弹性的需求多类型节点的混合部署多类型节点的混合部署云上云下混合调度云上云下混合调度TKE Control Pl

13、ane注册节点北京IDC云联网互通注册节点池北京注册节点池上海原生节点池普通节点池注册节点北京IDC云联网互通云联网互通TKETKE ControlControl PlanePlane普通节点池注册节点池IDC声明式运维声明式运维注册节点注册节点注册节点Pod普通节点注册节点Pod云上云下互弹（扩容灾备）混合部署混合调度混合部署混合调度注册节点小结注册节点小结成本洞察成本洞察可视化发下资源浪费可视化发下资源浪费qGPUqGPU onon TKETKE强隔离的强隔离的GPUGPU虚拟化虚拟化核心特性核心特性全构混部全构混部业内首家云上混部产品业内首家云上混部产品智能弹性智能弹性数据数据AIAI赋

14、能弹性赋能弹性TencentOSTencentOS RUERUE零干扰全零干扰全QosQos资源管理资源管理TKETKE DistroDistro海量业务验证的海量业务验证的K8sK8s发行版发行版用户价值用户价值资源利旧资源利旧运维托管运维托管混合部署混合部署云云PaaSPaaS7 7w+w+节点节点800w+800w+核核千万级千万级实例实例分钟级添加节点分钟级添加节点典型客户在 30天 的时间内迁移IDC近 70万 核资源快速上云资源利用率提升资源利用率提升资源利用率平均提升至40%60%。qGUP资源部署密度最高提升 3倍，利用率提升 100%运维成本降低运维成本降低繁琐运维工作交由公

15、有云托管，典型客户集群运维人员减少 60%，更少人力管理更多业务智聆智聆云上云下混合计算云上云下混合计算用户故事用户故事智聆云上云下混合计算智聆云上云下混合计算案例案例智聆中英文语音评测产品，支持从儿童到成人全年龄覆盖的语音评测，支持从儿童到成人全年龄覆盖的语音评测，提供单词、句子、段落、自由说等多种评测模式，从发音精准度、流利度、完整度等全方位打分机制，与专家打分相似度达95%以上，可广泛应用于中英文口语教学场景中。混合云架构演进混合云架构演进智聆语音评测自18年上线至今服务于多家大客户，AI 推理消耗大量 GUP 计算资源，技术架构发展经过三个时期：云apiIDC虚拟机接入层进程IDC物理

16、机引擎进程GPUl5名字服务DNS解析云apiTKE集群接入层PodIDC物理机引擎进程GPU北极星名字服务北极星名字服务云虚拟机引擎进程GPU超级节点弹性引擎GPU北极星名字服务配置IP固定比例流量超级节点EKS接入层集群内ListPods野蛮发展时期(物理机)平台期(物理机+cvm+少量eks)分布式云时期云上云下资源统一调度，统一运维IDC中业务负载过高时，可以弹性云上资源承载当某地域的服务故障时，自动切换流量实现容灾分布式分布式时期架构如何演进时期架构如何演进流量调度能力缺失-当前架构下没有做资源池隔离，如果存在多个大客户同时涨量的情况可能会导致服务雪崩运维难度高运维难度高业务类型导致

17、增量难以预期，集中时间存在尖峰流量，导致运维难度高，无法支持业务侧高效地进行资源流转、更无法快速完成弹性扩容。服务质量难保障，引擎服务故障节点剔除依赖人工操作，无法快速完成故障自愈；引擎服务部署方式多样，物理机/虚拟机/容器方案并存，无法搭建可观测体系。服务质量难保障服务质量难保障流量调度能力缺失流量调度能力缺失 分布式云架构分布式云架构CLB北京普通节点超级节点CLB上海API网关TKE 北京集群HostNetwork北京IDC系统组件超级节点注册节点GPU引擎层接入层弹性支持组件服务发现北极星（prefix：北京）1.服务注册服务注册2.服务注册服务注册TKE 上海集群上海IDC服务发现北

18、极星（prefix：上海）3.clb直通直通Pod注册节点GPU引擎层GPU引擎层弹性注册节点GPU引擎层4.服务发现服务发现5.直通直通 Pod IPHostNetwork超级节点注册节点GPU引擎层注册节点GPU引擎层注册节点GPU引擎层普通节点超级节点系统组件接入层弹性支持组件GPU引擎层弹性业务架构业务架构1.接入层部署在超级节点上，充分利用弹性2.引擎服务优先使用IDC机房推理型GI3X机型性价比更高3.突发业务利用超级节点秒级扩容，峰值结束后自动回收超级节点4.接入层与引擎层整体均借助北极星进行服务发现流量路径流量路径1.统一使用引擎Pod IP作为RS IP，屏蔽环境区别。根据规

19、划为引擎pod打标并注入别名列表2.云api网关通过北极星服务发现业务侧CLB地址，就近接入CLB3.CLB直通弹性接入层pod4.接入层通过别名向北极星获取RS IP5.请求RS IP，网络使用hostnetwork模式，减少一次转发服务发现北极星调度服务 配置中心监控调度策略下发调度策略下发3.扩缩容扩缩容6.服务标记分池服务标记分池5.扩缩容完成扩缩容完成超级节点注册节点池统一接入层2.指标计算指标计算服务发现服务发现1.指标上报指标上报4.服务注册服务注册调度方案调度方案流量调度方案流量调度方案1.调度服务提前下发资源池调度策略，配置北极星名字列表和路由策略2.调度服务根据策略和监控指

20、标执行扩缩容，可同时扩容pod或资源池3.新增Pod自动注册RS IP地址至北极星4.调度服务服务监听到存在未打label的RS IP则根据规则进行打标，写入北极星动态扩缩容动态扩缩容1.除基本HPA能力外，支持资源池扩缩容2.支持资源流转扩缩3.支持切换规格和跨地域扩容异常节点剔除异常节点剔除当检测到存在Not Ready，两种方案实现节点剔除1.配置Liveness Probe，异常时杀死pod，优雅退出防止流量进入异常pod2.配合ReadinessGate机制，状态的Pod时将相应LB RS权重调0，阻断流量进入异常pod分布式分布式时期架构如何演进时期架构如何演进质量提升质量提升1.

21、在一个集群同时调度云上云下资源，自动化运维，节约 2 个运维人力2.实现了异地多活的架构，实例异常、节点异常、单集群异常不影响系统的稳定性3.支撑线上大量的语音识别的业务，降本增效，支撑了业务的高速发展7 7k+k+核核TKE集群纳管所有节点，简化整体服务部署，提高集群间资源流转效率30%30%自动使用云上超级节点，弹性扩容能力进行削峰填谷，晚高峰时期近两百卡扩容，降低超30%系统成本9 90%0%早高峰期将闲置的英文节点资源转换为中文节点资源，减少北京地域近90%早高峰扩容需求业务收益业务收益展望与合作展望与合作未来展望未来展望统一集群管理统一集群管理统一应用治理统一应用治理统一运维统一运维

22、统一安全统一安全一种集群管理任意节点，云上云下能力1:1对齐，更多云服务兼容分布式云，如 finops，qGUP云原生应用继续适配更多场景，打通资源和业务孤岛，应用根据需求灵活发布和调度，实现“云原生anywhere”集中监控告警，提前故障预测，第一时间发现问题。基于声明式的运维系统，智能巡检排障，降低节点维护成本统一认证登陆和统一权限分发，统一安全策略，全网络链路安全资源利旧资源利旧运维托管运维托管混合部署混合部署云云PaaSPaaS弹性容器Pod虚拟节点VK离线计算离线计算 ServerlessServerless集群集群云服务器云服务器组在线业务在线业务 托管集群托管集群IDC虚拟机ID

23、C物理机IDCIDC自建自建 注册集群注册集群边缘设备智能终端边缘计算边缘计算 边缘设备边缘设备多种专用集群，运维方式不统一多种专用集群，运维方式不统一一种集群，任意节点一种集群，任意节点 on 其他(other cloud or Premises or edge)R Runningunning A AnywherenywhereO Opening pening A AnythingnythingC Computingomputing A AnywherenywhereA Accessing ccessing A Anyonenyone开源创新开源创新全域治理全域治理无限算力无限算力触手可及触

24、手可及深度参与云原生社区，以开源开放的形式连接生态，引领技术发展方向云原生的服务无处不在，以一致的产品能力服务服务用户，助力用户业务增长标准化的云算力无所不及，随时随地可计算，高效创造业务价值就近获取简单便利的云服务，每个人都可以轻松获取云的服务 服务器 KubernetesOn 腾讯云 数据库 统一管控一致体验随时随地构建云原生应用跨数据中心、多云、边缘延伸一致、延伸的云服务和云能力一致、延伸的云服务和云能力腾讯云遨驰腾讯云遨驰 （Tencent Cloud Orca）云原生操作系统）云原生操作系统 公有云客户 边缘云客户 混合云客户 私有云客户更多的云产品腾讯云分布式云品牌腾讯云分布式云品

25、牌 云原生操作系统遨弛云原生操作系统遨弛OrcaOrcaTKETKE发行版发行版TencentOSTencentOSTKEStackTKEStackSuperEdgeSuperEdgeClusterNetClusterNetAerakiAerakiKStoneKStoneCraneCrane面向云原生场景的Linux发行版海量业务验证的k8s发行版千万级集群运维能力的开源输出CNCF边缘容器项目多集群管理和跨集群应用编排的云原生项目CNCF Service Mesh领域开源项目基于 Kubernetes 的云原生一站式 etcd 治理项目云原生成本优化开源项目腾讯分布式云开源项目腾讯分布式云开

26、源项目合作伙伴合作伙伴高校高校企业企业生态共赢生态共赢培训赋能培训赋能品牌营销品牌营销人才认证人才认证方案集成方案集成简单化简单化、标准化标准化、一站式解决行业企业云原生应用问题一站式解决行业企业云原生应用问题价值认知布道价值认知布道从从0到到1技能提升技能提升行业生态共建行业生态共建围绕企业高层、一线开发运维技术人员、企业技术文化传播者推出内容及活动与政企高校、社区等伙伴共建生态交流平台，提升云原生应用普世价值从基础到进阶课程培训认证云原生技术实战营助力助力100000家企业家企业完成云原生改造完成云原生改造培养培养100家家合作伙伴合作伙伴赋能赋能100万万社会社会/高校开发者高校开发者腾讯云原生分布式云生态合作计划腾讯云原生分布式云生态合作计划感谢倾听了解行业动向，交流容器技术了解行业动向，交流容器技术请扫二维码关注腾讯云原生请扫二维码关注腾讯云原生了解腾讯云容器服务了解腾讯云容器服务请扫二维码添加容器服务小助手请扫二维码添加容器服务小助手