1、?背景背景：什么是腾讯云云巢？云巢诞生的背景：什么是腾讯云云巢？云巢诞生的背景挑战挑战：来自云原生化、运维部署、统一平台多维度的挑战：来自云原生化、运维部署、统一平台多维度的挑战落地落地：云巢的设计原则，能力定义，技术架构，核心要素：云巢的设计原则，能力定义，技术架构，核心要素收益收益：3步完成有状态服务云原生化管控，案例步完成有状态服务云原生化管控，案例?基于 Kubernetes 容器化架构，为各类有状态服务有状态服务或产品，提供统一统一的应用管理、集群管理和资源管理能力，助力各有状态服务快速实现容器化容器化。基于基于K8S容器化架构容器化架构统一的公共逻辑抽象与模型统一的公共逻辑抽象与模

2、型攻克有状态服务云原生化攻克有状态服务云原生化云原生的设计模式云原生的设计模式成熟运营多款有状态服务成熟运营多款有状态服务覆盖腾讯云全行业客户覆盖腾讯云全行业客户一站式云原生有状态服务平台一站式云原生有状态服务平台?数据库引擎技术发展数据库引擎技术发展单机单机分布式分布式云原生云原生丰富的云产品形态丰富的云产品形态IDC私有云私有云公有云公有云混合云、分布式云混合云、分布式云TDSQL-CAuroraSnowflakePolarDB云管理平台的云原生化云管理平台的云原生化云管理平台多云合一云管理平台多云合一统一平台统一平台DTSDBSDMCDBBrain产品矩阵MySQLCTSDBPostgr

3、eSQLRedisTDSQL?DTSDBBrainDBSDMCMySQLCTSDBPostgreSQLRedisTDSQLTDSQL-HSaaSPaaS需要一种云原生时代，面向多云的，一站式云数据库建设和管理平台需要一种云原生时代，面向多云的，一站式云数据库建设和管理平台减少重复建设减少重复建设沉淀可复用能力沉淀可复用能力更有效的资源管理更有效的资源管理背景背景：什么是腾讯云云巢？云巢诞生的背景：什么是腾讯云云巢？云巢诞生的背景挑战挑战：来自云原生化、运维部署、统一平台多维度的挑战：来自云原生化、运维部署、统一平台多维度的挑战落地落地：云巢的能力定义，设计原则，技术架构，核心要素：云巢的能力定

4、义，设计原则，技术架构，核心要素成果成果：一站式云原生平台能力，案例：一站式云原生平台能力，案例?数据库云管平台数据库云管平台节点具有节点间有依赖可保障可靠要求数据和状态持久化基于基于K8S实现有状实现有状态服务的云原生态服务的云原生化化复杂的外部访问式Kubernetes私有云公有云混合云分布式云容器化数据库服务多云合一多云合一复杂的有状态服务单集群容量限制多集群管理K8S 集群K8SK8S运维段变?腾讯云云巢是如何直挑战？统一服务平台有状态服务多种多样，如何抽象？对新的服务搭建有够吸引吗？背景背景：什么是腾讯云云巢？云巢诞生的背景：什么是腾讯云云巢？云巢诞生的背景挑战挑战：来自云原生化、运

5、维部署、统一平台多维度的挑战：来自云原生化、运维部署、统一平台多维度的挑战落地落地：云巢的设计原则，能力定义，技术架构，核心要素：云巢的设计原则，能力定义，技术架构，核心要素收益收益：3步完成有状态服务云原生化管控，案例步完成有状态服务云原生化管控，案例2134安全稳定规范标准降本增效能增强云巢统于K8S标准范式，不做特制。提供统的有状态服务接接安全稳定性是平台存在的基，是各业务采云巢作为平台的最基础要求。在有状态服务接阶段，幅提研效，降低复杂度。在运营阶段，降低运维运营成本。从平台层提供体化能。细分能持更完备，能组合更灵活。复杂性不增加?资源模型：有状态服务资源模型 资源控制：资源管理控制器

6、，根据资源模型统一设计 集群管理：多资源集群管理，容量无限水平扩展资源管理资源管理 接口管理：为有状态服务提供统一控制面 作业平台：计算资源弹性调度，业务作业灵活编排 配置管理：配置的管理、下发、版本控制 自定义能力：如高可用/发布部署等应用管理应用管理 统一运维管理系统：统一的运维门户及核心工具 可观测系统：结合日志、事件、指标等提供服务可用性观测能力 混沌平台：混沌底座，异常注入，稳定性极限压测运维管理运维管理领域模型领域模型 领域模型：抽象出有状态服务的核心领域，如调度，网络，探活策略等等 属性：一个领域模型有不同的属性，需要不同的实现方式。例如HA领域模型有原地拉起或是主从切换等等。云

7、巢资源管理配置管理镜像管理运维管理监控告警权限控制综合的资源支撑有状态服务TDSQL TDStoreRedisTDSQL-H LibraDBKonisGraphRocketMQ可观测性云巢应用管理统一的云管平台作业平台调度系统领域模型生命周期管理智能HA应用抽象容器底座.X86/TencentOSX86/TencentOS鲲鹏/麒麟鲲鹏/麒麟Arm/Tencent OSARM/Tencent OS多集群管理存储管理资源装箱隔离保护网络管理探活策略腾讯云云巢腾讯云云巢云产品Kubernetes?JobsK8S元数据控制器流程管理流程引擎WF123createupgrade资源调度管理CRDCRD

8、资源管理资源管理资源调度管理CRDCRD资源管理资源管理CBSCOSCVMVPCCLS管理系统事件告警应用管理应用管理业务作业台业务作业台运维管理运维管理有状态服务有状态服务日志?资源调度管理CRDCRD资源集群资源集群集群调度元数据集群管理集群管理多集群管理l提供秒级集群元数据采集，信息维护l提供灵活装箱调度器，实现业务上层资源集群无感知集群装箱控制链路控制链路资源调度管理CRDCRD资源集群资源集群现状分析l单个资源K8S集群支持 15W Podl单个Region 资源模型上限 20w+实例规模?数据库常见模型分析：l主从关系：MySQL/SQL Server/PostgreSQL/Red

9、isl多层树状类型：TDSQL集群版l网状结构：Codis/ClickHouse/TDSQL-C计算节点分布式存储协调proxyM-SM-SMasterSlave主从类型树状类型类型网状类型类型计算节点proxyM-SM-SMasterSlave 云巢平台：l使用K8S CRD 模型抽象数据库资源拓扑l模型对象统一调度管理CRD流程系统资源管理系统HA系统云巢平台云巢平台数据库实例模型数据库实例模型K8SMSproxypoxyM-S计算协调存储主从类型树状类型类型网状类型类型物理分布物理分布K8SInstance clustersetsetpodpodpodpodpodpod容器模型容器模型资

10、源管理：资源模型client配置件脚本命令服务发现业务容器Sidecar业务容器增强集中管理灵活控制业务资源隔离?控制器ServicePodClickHouseInstancecluster资源拓扑资源拓扑?ClickHouseInstancecluster依赖组组访问属性属性ZookeeperClickHouseZookeeperClickHouse固定：固定：标准定义标准定义变化：变化：领域知识领域知识instanceclusterScheduler PolicyIngressRelationshipProbe policyBackup policy.领域模型控制器有状态服务领域模型通过领

11、域模型与属性建立映射，构建可装配的平台私有云Redis调度策略Underlay络主从模式高可用备份策略监控采集领域模型控制器TDSQLTDStore调度策略Overlay络Raft集群模式高可用监控采集领域模型控制器?方案目标：l满足节点启动顺序要求l兼顾发货效率要求串行启动，随着节点数增加性能急剧下降容器能力分析：lPOD 生命周期 hook 点:init-container PODInit-1Init-2Pre-startMain-containerPre-stopLiveness probeReadiness probeInit-containerinitruntimeinitconta

12、inerBiz-containerzkinitinitcontainerBiz-containerck控制器并行创建waitwait方案设计：lPOD 并发创建lInit-container 阻塞业务进程l业务自定义依赖启动策略initruntimeinitcontainerBiz-containerzk控制器Quitinit runtimeinitcontainerBiz-containerCKwait启动策略initruntimeinitcontainerBiz-containerck统一资源生命周期控制器，优化调度逻辑设置自定义资源控制策略模型?runtimeinitcontainerc

13、k云巢配置中心设计lTranslator配置文件，通过 类Python语言提供简单编程l业务配置文件接入，无侵入云巢平台难点l配置是数据库实例的元数据层，数据库启动配置依赖配置lTranslater 层不能有侵入性配置中心配置模版TranslatorCRD控制器initruntimeinitcontainerBiz-containerset1initruntimeinitcontainerBiz-containerSet2发货：下发配置waitwait获取value获取模板Sidecar-agentSidecar-agent运行：下发配置?MySQLMySQLDataData主从关系Write

14、MySQL集群ClickHouse集群ZooKeeperClickHouse网络故障服务故障资源抢占服务进程故障：OOM、假死等网络故障：网络隔离等导致组件无法联通资源抢占：运行实例POD 由于故障销毁重建，资源被新增实例抢占无法恢复领域模型：故障场景问题点lK8S 健康检查不满业务需求l实例异常判定较复杂：进程假死/络隔离/磁盘只读？案l开发云巢Probe拓展K8S liveness check 能力l多维度数据采集，业务配置异常情况决策模型POD云巢probeprobecmdkubeletNODETcp/httpapiexec事件系统拨测系统云巢管控监测系统拨测系统云巢管控云巢管控HA仲裁

15、!#$%指标拨测任务异常事件HA 处理策略模型管控命令HA领域算子Liveness check多维度数据采集?网络安全lNetworkPolicy 限制最小化网络访问权限l用户请求链路通过安全组进行安全过滤ZK-ACK-ANetwork-policyNodeXVPC-BGW云巢网络租户网络ZK-BCK-BNetwork-policyVPC-BGW安全组安全组?Node问题点l不同数据库服务有类似功能创建实例作业CreateResourceTemplate公共作业集合锁定实例作业LockResourceTemplate绑定网络作业NetworkBindTemplate解锁实例作业Resource

16、UnlockTemplate业务关心部分创建实例锁定实例绑定网络解锁实例只用关心工作流编排，只用关心工作流编排，不需要关心具体代码实现。不需要关心具体代码实现。原子解耦复用，原子解耦复用，公共公共作业关心实现，不关心业务逻辑。作业关心实现，不关心业务逻辑。?设计方案l同步接口通过公共微服务合理抽象直接提供l异步流程通过分布式作业平台进行联合完善混沌平台l混沌测试平台chaos-mesh引，提供系统整体可性评估DSL-EngineWF12Failover场景络异常场景场景测试 Daily BulidK8S api-serverChaos controller managerChaos deamo

17、nkubeletPODInject stress/Network/IO/List/Kill PODCreate/Delete/Update Event&()Chaos混沌平台混沌平台引入开源chaos 平台，进行混沌测试1.POD 任意KILL2.注入网络异常3.设置IO延迟等场景，测试系统稳定性DSL 编排沉淀现网异常流程场景1.异常删除场景2.网络异常场景等，测试 case 集合3稳定性沉淀?背景背景：什么是腾讯云云巢？云巢诞生的背景：什么是腾讯云云巢？云巢诞生的背景挑战挑战：来自云原生化、运维部署、统一平台多维度的挑战：来自云原生化、运维部署、统一平台多维度的挑战落地落地：云巢的设计原则

18、，能力定义，技术架构，核心要素：云巢的设计原则，能力定义，技术架构，核心要素收益收益：3步完成有状态服务云原生化管控，案例步完成有状态服务云原生化管控，案例K8S底座公有云TKE/EKS业务层内核层配置中拨测系统调谐器监控系统schedulerclusterLBHA资源管理平台云巢init-containerbiz-containersidecar-agent.PODKonisGraphTDSQL-H LibraDBTDSQL TDStore私有云TCS/TCEalleyway集群管理平台oss实例命周期作流引擎、作业平台集群元数据配置模版络管理HA 策略安全组CDC按量计费配置管理命令通道w

19、orkloadDTSDMCDBSDBBrainSaaS服务Redis1:展现层封装3:内核镜像编写2:编排配置领域策略?新的有状态服务上线，通过接云巢，只需3步完成腾讯云数据库腾讯云数据库RedisRedis腾讯云数据库 Redis（TencentDB for Redis）基于云巢完成了云原生改造。腾讯云数据库 Redis是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备，提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。1010万万级实例级实例2020万亿万亿次请求次请求/天天PBPB级级数

20、据量数据量规模规模90%90%头部客户头部客户产品上线周期缩短：产品上线周期缩短：70%70%测试周期缩短：测试周期缩短：50%50%提研效提研效多云合一产品布局：公有云、私有云和混合云多云合一产品布局：公有云、私有云和混合云提质量提质量降成本降成本RTORTO缩减缩减30%30%0 0事故事故采购碎片采购碎片IaaSIaaS资源资源高装箱率高装箱率?腾讯乐享腾讯乐享腾讯乐享是一站式企业社区，提供在线课堂、考试、学习地图、直播、文档、问卷调研等多项应用服务。疫情期间，腾讯乐享率先全面开放平台各项能力，为学校、医院、政府、企业提供服务。在基于云巢平台的HTAP数据库TDSQL-H LibraDB支持下，乐享年度报告功能于12月27日顺利上线。访问次数开启企业数200200多个多个数据库30003000多万多万张表上百亿条上百亿条数据16倍45倍云巢云巢TDSQLTDSQL-H LibraDBH LibraDB20天内更多案例更多案例云巢支持了10+产品或服务：Redis，HTAP数据库TDSQL-H LibraDB，分布式数据库TDSQL TDStore，KonisGraph图数据库，RocketMQ?