1、KubeEdge海量边缘节点管理架构实战徐飞 fisherxuKubeEdge Maintainer，华为云高级工程师边缘计算的形态与定义kubeedge.ioACCAGGMetro200km20ms50200km510ms50km15msEnterpriseHomeeNodeB V2X,AR/VR,AI推理 AI推理、ARM vCDN,AR/VR 渲染，视频转码 AI训练，大数据分析，统一管理 AI训练/推理，视频转码典型应用算力需求省级边缘Cloud ServicesMECMEC地市边缘Cloud Services中心云MEC现场/接入边缘tensTens-HundredsHundreds

2、-Thousands边缘分层Millions关键挑战边缘计算细分领域众多，互操作性差边云通信网络质量低，时延高，且边缘经常位于私有网络，难以实现双向通信边缘资源受限，需要轻量化的组件管理运行边缘应用边缘离线时，需要具备业务自治和本地故障恢复等能力边缘节点高度分散，如何高效管理，降低运维成本如何对异构资源进行标准化管理和灵活配置kubeedge.io云原生的核心优势kubeedge.io基于容器镜像的软件分层，清晰的依赖管理剥离程序、配置和微服务，让开发者聚焦业务开发通过拆分应用程序为微服务和明确的依赖描述 解耦软件开发，提高灵活性和可维护性厂商基于标准接口提供服务，互操作性强开源为主，丰富的标

3、准软件生态-用户选择多支持在所有公有云、私有云或混合云部署 多云支持，避免厂商锁定基于K8s的松耦合平台架构，易扩展K8s已被公认是platform for platform 避免侵入式定制通过中心编排过程 动态管理和调度应用/微服务 提高工作效率和资源利用率基于开源技术的云原生，实现了空前的标准化和生态繁荣kubeedge.ioKubernetes架构kubeedge.ioData PlaneControl PlaneNode 1API-ServerSchedulerNode 2EdgeNode 1Node NController-manager3rd AuthEtcd.Container

4、NetworkNucleusPodWorkloadRoutingPolicyEnforcementStatefulSetReplicaSetReplication ControllerDeploymentJobDaemonSetCronJobContainer(业务代码)IngressServiceHorizontal Pod AutoScalerPod Disruption BudgetVolumePersistent Volume ClaimSecretConfigmapKubernetes的扩展API设计CRDkubeedge.io CRD ControllerControllerRec

5、oncileCRD期望状态 -A -B实际状态 -A -BKubernetes List-Watch机制kubeedge.io K8s Client(Client-go)EtcdKube-ApiserverCacher StorageUnderlying StorageClient（List-Watch）ListWatchObjects List-rvResourceVersion=“”List,ResourceVersion=“0”Watch,ResourceVersion=“rv”watchCacheEventStartIndexEndIndexStoreObjects-rvN 网络断开？

6、Re-Watch,ResourceVersion=“rvN”Re-Watch 失败Re-list,ResourceVersion=“rvN”Objects List-rv基于K8s构建边缘计算平台关键优势容器化应用封装Build once,run anywhere轻量化基础镜像，降低资源占用通用的应用抽象定义业界事实标准云上、边缘统一管理松耦合的架构易扩展的API框架易于定制平台组件kubeedge.io主要挑战资源有限往往很少网络受限私网，带宽有限，延迟高边缘如何离线自治网络不稳，随时可能离线离线状态下，边缘应用继续工作边缘节点 vs.边缘集群？kubeedge.ioNodeKubeletP

7、odPodAPI ServerSchedulerControllerControlleretcdNodeKubeletPodPodCloudEdgeNodeKubeletPodPodAPI ServeretcdNodeKubeletPodPodSchedulerNodeKubeletPodPodCloudEdgeControllerControllerKubeEdge 架构kubeedge.ioCloudCoreEdgeCoreDevice 1Device 2Device 3ContainersPod 1ContainersPod 2ContainersPod 3ContainersPod N

8、 WebSocket(Default)QUIC(Alternate)PubSubDevice 4kubectlEdgeMeshCloudNodeCloudNodeEdgeNodeEdgeNodeEdgeCloud EdgeController DeviceController CloudHubMappersDevicesKubeEdge核心理念开放生态100%兼容Kubernetes原生能力，支持用户使用Kubernetes原生API统一管理边缘应用边缘可靠的list-watch接口，对接原生生态边缘设备通信协议：支持MQTT、Modbus、Bluetooth、Wifi、OPC-UA、ZigB

9、ee等设备通信协议，支持自定义插件扩展边缘设备协议。支持海量边缘设备管理针对资源受限场景进行自身组件轻量化，70MB内存占用可插拔边缘设备管理框架，支持用户自定义扩展，解耦底层设备通信。kubeedge.io支持复杂的边云网络环境双向多路复用的边云消息通道，支持边缘位于私有网络应用层可靠增量同步机制，支持在高时延、低质量网络环境下工作应用/数据边缘自治支持边缘离线自治：边缘元数据持久化、边缘DNS，保证边缘离线时的业务运行和故障恢复能力支持边缘数据流式处理，定义边缘数据清洗、数据分析等处理工作边云一体资源调度和流量协同支持边缘节点和云节点混合管理提供边云数据通信和边边数据通信KubeEdge架

10、构-Cloudkubeedge.io EdgeController边缘节点管理应用状态元数据云边协同 设备抽象API/DeviceController接入和管理边缘设备设备元数据云边协同 Sync Controller应用层边云协同可靠性，保持云边最终一致 CSI Driver支持第三方CSI插件无缝集成 Admission Webhook实现边缘应用最佳实践；扩展API输入校验CloudK8s masterEdge ControllerDevice ControllerCloudHubList/WatchEtcd StoreAdmission WebhookKubeEdge CSI Driv

11、erWebSocketEdge NodesEdge NodesEdge NodesSyncController启动一个边缘应用kubeedge.ioAPI-serverkubectlworkload controllersschedulerkubelet Workload lifecycle management Manage number of pods Schedule pods according to multiple scheduling policies Pod lifecycle after scheduled5.Created PodETCD6.Persistent Pod10

12、.Update Pod启动一个边缘应用kubeedge.ioAPI-serverschedulerETCDCloudCoreEdgeCoreSQLiteCloudHubEdgeHubEdgedEdgeControllerMetaManager 非侵入实现Pod边缘运行，支持云边混合管理 元数据边缘持久化，支持离线自治 增量同步，网络消耗平稳海量边缘节点：静态分区+多对主备kubeedge.ioAPI-serverkubectlCloudCoreCloudCore-1CloudCoreCloudCore-2CloudCoreCloudCore-3EdgeNodeEdgeNodeEdgeNodeE

13、dgeNodeEdgeNodeEdgeNodeEdgeCloud CloudCore多组主备部署，scalability 二级放大 不同node分区连接指定cloudcore APIserver根据分区设置路由规则，必要时通过特定cloudcore访问边缘节点海量边缘节点：多主运行，自动协商kubeedge.ioAPI-serverkubectlEdgeCloudCloudCore-1CloudCore-2CloudCore-3EdgeNodeEdgeNodeEdgeNodeEdgeNodeEdgeNodeEdgeNodeIptables DNATLoad balancer CloudCore

14、实例间自动协商，自由扩缩实例，灵活调整scalability 边缘节点可通过LB接入任意CloudCore Iptables自动配置APIserver DNAT规则，打通APIserver到CloudCore(再到各边缘节点)连接KubeEdge架构-Edgekubeedge.io EdgeHubMessaging over WebSocket 提供可靠的云边信息同步 MetaManager元数据本地持久化边缘提供可靠K8s原生API访问 EdgedKubelet-lite轻量化实现Pod生命周期 DeviceTwin同步设备信息到云端 EventBusMQTT client，边缘设备、应用无

15、感知通信EdgeEdgeHubEventBusWebSocketMQTT BrokerDeviceTwinMetaManagerEdged（Kubelet-Lite）CloudCloudHubEdge StoreGlobal StoreRuntimeDockerContainerdCRI-ORuncKataRunvEdgemeshCSICNIMonitoring Meta ServerK8s OperatorKubernetesEdge ControllerDeviceControllerCloudHubEdgeCoreEdgeHubDeviceTwinEventBusMQTT BrokerM

16、appers模型解析OPC-UA pluginModbus pluginBluetooth pluginDevice ASensor(temperature)plugins边缘设备管理kubeedge.io K8s CRD提供设备北向API DeviceModel：同类设备通用抽象 Device(Instance)：设备实例配置，endpoint，寻址偏移等 解耦应用、设备通信 DeviceTwin EventBus：标准化设备消息topic，应用无需感知设备实际通信协议 开放设备生态支持业界主流设备协议：MQTT、Modbus、OPC-UA、Bluetooth、ONVIF等通过自定义mapp

17、er接入指定协议设备EdgeMeshkubeedge.ioEdgeMesh-proxy负责边缘侧流量转发边缘内置域名解析能力，不依赖中心DNS支持L4，L7流量治理支持跨越边云的一致的服务发现和访问体验*跨子网通信*使用标准的istio进行服务治理控制Sedna:AI边云协同套件kubeedge.io 提供AI边云协同框架 跨边云的数据集和模型管理 支持多种边云协同训练和推理模式 协同推理 增量学习 联邦学习 终身学习 开放生态支持业界主流AI框架：TensorFlow,Pytorch,Paddle,Mindspore等提供开发者扩展接口，支持快速集成第三方算法生产案例 管理世界最长跨海大桥上

18、的所有监控设备kubeedge.io数据安全数据处理MQTTBroker设备接入数据可视化资源管理平台可靠应用管理边缘AI数字大屏数据存储KubernetesCloudCore音视频流数据缓存数据转换EdgecoreLocalDatabase边缘应用 1边缘AI应用中心云平台数据上报应用运行时CloudEdgeDevices蓝牙音流数据IMU(TTL)Modbus-RTU设备数据收集百叶箱IMU麦克风PM2.5雨雪监控应用监控数据设备数据生产案例 中移在线边缘云平台kubeedge.io中心云平台Kubernetes 管控面中心云CloudEdgeCloudCore云端节点/Kubelet平台

19、周边子系统OperationTunnelCloud/EdgeHPARegionManagementCentralized monitoringMulti-levelDNSFault Isolation分公司 1边缘应用/属地应用EdgeCoreMessage SynchronizationDataManagementImageMonitoring分公司100+边缘应用/属地应用EdgeCoreMessage SynchronizationDataManagementImageMonitoring.资源分发调度生产案例 管理中国高速公路上的十万个边缘节点kubeedge.io业务收益 助力省界收

20、费效率提升：小型车收费时间 15s-2s 大型车收费时间 29s-3s 边云协同应用运维管理：云端统一管理10万边缘节点，50万边缘容器应用EdgeCore 收费应用路段A-收费站ETC门架-1（x86）ETC门架-N（ARM）视频采集车辆管理EdgeCore 收费应用路段A-收费站视频采集车辆管理EdgeCore 收费应用路段B-收费站ETC门架-1（x86）ETC门架-N（ARM）视频采集车辆管理EdgeCore 收费应用路段B-收费站视频采集车辆管理Kubernetes+KubeEdge路网中心云应用中心算法中心视频云中心监控运维中心收费中心云原生开源社区的边缘计算历程kubeedge.

21、io2018.112018.092019.032019.062020.04KubeEdge宣布开源KubeEdge发布1.0版本KubeEdge成功晋级CNCF孵化项目KubeEdge成为CNCF官方首个边缘计算项目K8s 社区成立IoT Edge WGCNCF多个项目宣布计划支持边缘计算场景CNCF Sandbox 吸纳K3s等更多边缘计算项目2020.09Akranio 社区正式成立KubeEdge ServiceBP FamilyKubeEdge社区发展kubeedge.ioDeviceManagementData AccessKubeEdge-EdgeCoreCloud-EdgeCoo

22、rdinationEdgedMeta ManagerEventBusDeviceTwinEdgeHubKubeEdge-CloudCoreCloudHubDeviceControllerEdgeControllerFlexible quality inspection OCRFacial RecognitionBehavior Analysis 2018年宣布开源，2019年成为CNCF首个边缘计算项目CNCF唯一孵化级边缘计算项目4.3 k+Stars,1.2 k+Forks on Github720+全球贡献者,200+代码贡献者，50+全球贡献组织每3个月1个特性版本，原生支持ARM64

23、、ARM32和x86SIG Device IOT设备管理CRD；支持更多协议的边缘设备接入SIG AI边缘 AI，AI云边协同；子项目SednaSIG MEC使用KubeEdge构建MEC平台Wireless WG：专注于无线环境下的平台能力WG Wireless无线、移动场景社区伙伴与用户kubeedge.io未来展望基础架构 基本成型：边缘节点、边缘集群 未来展望：融合架构平台能力 基本成型：应用协同 重点发展：边云流量协同、可维护性、可观测性、Serverlesskubeedge.io领域场景 互联网：边云服务通信、事件驱动框架 IOT：设备生命周期、边缘流处理 MEC：云网融合 AI：

24、与框架深度集成，实现AI边云协同Recapl CNCF唯一孵化（incubation）边缘计算项目，50+企业机构正在使用l 社区开放治理，欢迎所有人参与社区贡献l 基于Kubernetes，100%兼容，声明式API,CRD,自定义controller,可扩展性强l 云边一致的容器和Kubernetes生态，应用可移植，build once,run anywherel 边云协同，将云的能力延伸到边缘，包括AI协同、数据协同、应用协同、管理协同l 云边通信，确保云边之间高速、可靠、安全的通信l 易维护，轻量化、插件化边缘框架，离线自治，自动容灾l 支持异构硬件，与硬件解耦kubeedge.io