1、京东容器平台与数据中心协同发展实践 京东商城-基础平台部 技术总监 容器技术在京东商城历史与未来 容器技术是什么 传统数据中心 京东敏捷数据中心建设 开源 问题 容器集群管理&应用编排 VS 数据中心基础软件 梦想 不止于分容器 让编排成为自然的事情 JDOS 图谱 JDOS 1.0 分物理机=分容器 业务系统100%全面容器运行 上线周期由1天降低到10分钟 少买3/4机器 JD Data Center Operating System(JDOS)?VMs?Physical servers?Containers?JFS?OVSSS?JD Linux Kernel?JDOS 2.0/3.0/3

2、.5 60%业务 SRE初步形成 首次支撑618大促 全面基于镜像发布上线 RS副本数 从容扩容应对高峰流量 CPU利用率提升3倍，有效消除CPU/Network热点 JDOS 2.0/3.0/3.5 JDOS 2.0/3.0 运行典型业务 JDOS 2.0/3.0 核心功能 JD PaaS Self-Service，On-Demand Application Stacks CI，Build Image Services Logs，Monitors，APM Service DNS，LB，JSF Service Distributed Shared Storage Service Attache

3、d Resources Service App Orchestration JDOS 2.0/3.0/3.5集群部署 自动构建NodeDockerfileSource CodeJenkins MasterJenkins Slave PodAppAppAppNetworkVolumeLogSkyFSSkyNetElasticSearchPrometheusJDOS-apiSkyDNSMonitorapicontrollerscheduler镜像中心Docker ImageApp集群管理 kubeletApp生产环境测试环境AppSkyLB 容器技术在京东的历史和未来 容器技术【泛指Contain

4、er&CM】是什么 传统数据中心 京东敏捷数据中心 开源 容器技术是什么-1/3 Linux Kernel 容器技术是什么-2/3 Networking 容器技术是什么-3/3 Scheduler Create?Resource Rebalance?容器技术在京东的历史和未来 容器技术是什么 传统数据中心 京东敏捷数据中心建设 开源计划 传统数据中心 DNS 负载均衡 二层VLAN网络 CMDB 7x24监控中心 容器技术在京东的历史和未来 容器技术是什么 传统数据中心 京东敏捷数据中心建设 开源 京东分布式 DNS DNS ServerAPICheck IP statusetcdServic

5、e to DNSWrite to/DeletedockerRead DNS fromDNS req/respIP port scanRead DNS from/Write DNS to/Del/UpdateRed IP from/Update IP statusUser Get ServiceJD O S2.0Load BalancerIP port scan负载均衡服务部署架构 Load Balancer.LB Based on Container（Haproxy）agentDockeragentDockeragentDockerLoad BalanceragentDockeragentDo

6、ckeragentDockerLoad BalanceragentDockeragentDockeragentDockerLoad Balancer.Load Balancer Based on DPDKagentDockeragentDockeragentDPDKLoad BalanceragentDockeragentDockeragentDPDKLoad BalanceragentDockeragentDockeragentDPDKJDOSLoad BalanceControl CentergRPCgRPCWatch ServiceCreate/Del/Get RS for Servic

7、e京东高性能 L4 RouterSkylbSkylbquaggaDPDK Load balancerKNISkylbSkylbquaggaDPDK Load balancerKNISkylbSkylbquaggaDPDK Load balancerKNIService EndpointService EndpointService Endpoint10.20.3.210.20.3.210.20.4.210.20.4.210.20.5.210.20.5.2BGPBGPBGPBGPBGPBGPVIP:192.168.100.2VIP:192.168.100.210.20.3.25410.20.3.

8、25410.20.4.25410.20.4.25410.20.5.25410.20.5.254Router Table:Dest:10.20.3.0 via:10.20.3.2Dest:10.20.3.0 via:10.20.4.2Dest:10.20.3.0 via:10.20.5.2Dest:10.20.4.0 via:10.20.3.2Dest:10.20.4.0 via:10.20.4.2Dest:10.20.4.0 via:10.20.5.2Dest:10.20.5.0 via:10.20.3.2Dest:10.20.5.0 via:10.20.4.2Dest:10.20.5.0 v

9、ia:10.20.5.2Router Table:Dest:10.20.3.0 via:10.20.3.2Dest:10.20.3.0 via:10.20.4.2Dest:10.20.3.0 via:10.20.5.2Dest:10.20.4.0 via:10.20.3.2Dest:10.20.4.0 via:10.20.4.2Dest:10.20.4.0 via:10.20.5.2Dest:10.20.5.0 via:10.20.3.2Dest:10.20.5.0 via:10.20.4.2Dest:10.20.5.0 via:10.20.5.2Hash 0Hash 1Hash 2Hash

10、3Hash 4Hash 5Hash 6Hash 7Session 0Session 1Session 2Session 3Session 4Session 5Session 6Session 7Client-pkt-hashtablers-pkt-hashtableHash 0Hash 1Hash 2Hash 3Hash 4Hash 5Hash 6Hash 7Session table京东百万级容器网络 AS BRouterComputeServerAS BRouterComputeServerAS BRouterComputeServerAS BRouterComputeServerAS Y

11、RouterAS YRouterSpine SwitchSpine SwitchSpine SwitchSpine SwitchAS ARouterTORTOR SwitchSwitchAS ARouterTORTOR SwitchSwitch192.20.3.1/24192.20.4.1/24192.20.3.2/24192.20.4.2/24192.20.5.2/30192.20.5.1/30192.20.6.2/30192.20.1.1/30192.20.1.2/30192.20.6.1/30192.20.7.1/30192.20.7.2/30192.20.8.1/30192.20.8.

12、2/30192.20.9.1/24192.20.9.2/24192.20.10.1/24192.20.10.2/2410.20.3.210.20.4.210.20.5.210.20.3.2 via 192.20.3.210.20.4.2 via 192.20.4.2default via 192.20.5.110.20.5.2 via 192.20.9.210.20.6.2 via 192.20.10.2default via 192.20.8.110.20.6.2default via 192.20.3.1default via 192.20.10.110.20.3.2 via 192.20

13、.5.210.20.4.2 via 192.20.5.210.20.5.2 via 192.20.7.210.20.6.2 via 192.20.7.210.20.3.2 via 192.20.6.210.20.4.2 via 192.20.6.210.20.5.2 via 192.20.8.210.20.6.2 via 192.20.8.2网络服务质量 1/2 网络服务质量 2/2 分布式共享存储-1/2 分布式共享存储-2/2 容器技术在京东的历史和未来 容器技术是什么 传统数据中心 京东敏捷数据中心建设 开源 开源计划 分布式共享存储分布式DNS JD IDC 容器&基础软件 Switc

14、hRouter路由发布VIPL4 负载均衡(DPDK+物理机)路由发布VIPL4 负载均衡(DPDK+物理机)SwitchL7负载均衡BGPDNSBGPDNSBGPHades.HadesDNSSwitchBGPBGPL4负载均衡NginxSSL/TLSTomcatNginxSSL/TLSTomcat.APIAPITomcat.TomcatetcdNginxSSL/TLSNginxSSL/TLSAPIKubernetes/JDOS2.0无VIP L4-L7负载均衡DNSDNS.BGPContainerFSService?Broker?JDOS 3.0?Service?Catalog?pJDOS3.0 Service Catalog 通过标准的 Open Service Broker API集成各个后端服务 pService Broker 实现了Open Service Broker API的一组后端服务 JDOS 3.0 Backing Services 集成方式 APP1APP1：Pod1?Pod1?APP1：DB?APP1：PodN?APP1：Pod2?APP1APP1：LB?LB?APP1APP1：JIMDB?JIMDB?JDOS 3.0 Backing Services 模版