1、GOP S 全 球 运 维 大 会 2019上 海 站GOP S 全 球 运 维 大 会 2019上 海 站基于DevOps的资源弹性调度平台实践GOP S 全 球 运 维 大 会 2019上 海 站目录京东物流DevOps发展现状1掘金DevOps：丰富的元数据2调度平台的设计思路3总结及展望4GOP S 全 球 运 维 大 会 2019上 海 站京东物流DevOps发展现状曾经：追求效率如今：追求效益VS操作自动化开发了自动化开仓、持续构建、持续部署等系统应用。资源可度量监控容器（虚机）CPU利用率、内存使用量、各类数据库、MQ等的磁盘使用量等。平台化建设开仓、构建、部署、监控、运维一体化

2、平台。资源合理利用如何智能地调度资源以达到资源的合理利用？GOP S 全 球 运 维 大 会 2019上 海 站京东物流DevOps发展现状Serverless无状态：应用赖以运行的容器，随时随地可销毁，状态信息不可保存于容器中标准架构：标准的负载均衡架构、标准的高可用架构、标准的运行时环境 足微足快：应用异常能快速定位问题、快速启动GOP S 全 球 运 维 大 会 2019上 海 站京东物流DevOps发展现状发展现状以传统的思维方式、架构、技术构建大型互联网企业应用。01传统开发方式基础设施虽然基于云计算技术构建，但是开发人员将容器（虚机）作为普通服务器使用。02传统部署方式以安装包方式

3、部署，而非镜像方式部署。03传统运维方式以IP为中心构建的完整运维体系、如CMDB、监控、报警、日志。GOP S 全 球 运 维 大 会 2019上 海 站京东物流DevOps发展现状以传统方式开发系统负载均衡方案基于DNS、VIP，分布式服务等多种技术来实现。安全方案很多授权以IP为维度，例如数据访问的授权。降级方案很多方案都以本地文件系统作为降级方案中的一环。问题诊断方案习惯于ssh到目标机器，查看服务器CPU、网络、磁盘及JVM信息。GOP S 全 球 运 维 大 会 2019上 海 站京东物流DevOps发展现状以传统方式构建的部署系统案例京东物流大部分应用仍采用传统的打包部署方式，底

4、层技术为Jenkins+Ansible+shell，这种方式同样将容器（虚机）作为传统的服务器来使用，好处是既能在云上（支持容器、虚机）部署应用，也能在传统的物理机上部署应用。GOP S 全 球 运 维 大 会 2019上 海 站京东物流DevOps发展现状以IP为中心构建的监控系统案例火眼监控系统可以监控服务器指标（如CPU、内存、网络、磁盘等，也可以监控），也可以监控JVM的信息，同时具备部分智能诊断功能。例如下面的案例中，服务器CPU利用率过高的原因是GC导致的。GOP S 全 球 运 维 大 会 2019上 海 站京东物流DevOps发展现状以IP为中心构建的监控系统案例对于CPU飙升

5、的问题，火眼监控系统可以定位到消耗CPU最大的线程，并打印其调用栈。固化了很多问题诊断的标准流，将经验尽可能转换为技术实现。GOP S 全 球 运 维 大 会 2019上 海 站目录京东物流DevOps发展现状1掘金DevOps：丰富的元数据2调度平台的设计思路3总结及展望4GOP S 全 球 运 维 大 会 2019上 海 站DevOps系统中蕴含着丰富的元数据信息，主要体现在以下10个方面：应用-代码：应用的代码库信息及POM依赖关系。应用-中间件：应用依赖的中间件信息。应用-服务器：应用部署的服务器信息。应用-配置：应用的各种配置信息。应用-日志：应用的日志信息。应用-监控：应用的各种监

6、控信息。应用-人员：应用相关开发、测试、设计人员信息。应用-过程：应用进行的代码修改、测试、发布等过程信息。应用-质量：应用上线前后的各种质量数据。应用-安全：应用安全相关的数据，如各种授权信息等。应用代码中间件服务器配置日志监控人员过程质量安全掘金DevOps：丰富的元数据GOP S 全 球 运 维 大 会 2019上 海 站系统应用X分组A192.168.1.10192.168.1.11192.168.1.12分组B192.168.2.20192.168.2.22192.168.2.23应用Y分组A192.168.3.31分组B192.168.3.31掘金DevOps：丰富的元数据京东物流

7、大部分应用与服务器的关系都是按系统-应用-分组-实例（容器/虚机）的关系组织的，一个分组内所有实例都是完全相同的，包括镜像、规格、部署应用的版本及配置、负载均衡策略等等。也就是说，同一个分组中的实例是完全对等的关系。GOP S 全 球 运 维 大 会 2019上 海 站负载均衡（DNS+VIP+Nginx）Web应用Web应用Web应用RPC服务RPC服务RPC服务定时调度消息队列掘金DevOps：丰富的元数据应用与中间件的关系中蕴含着丰富的流量关系：京东物流的大部分应用主要是Web应用和RPC服务。流量的起点主要有三种：HTTP协议流量主要通过DNS、VIP、Nginx实现的负载均衡方案来做

8、流量分发，而Web应用和RPC服务之间则通过分布式服务框架来做流量分发。另外消息队列和定时调度也是很多应用流量的来源。GOP S 全 球 运 维 大 会 2019上 海 站目录京东物流DevOps发展现状1掘金DevOps：丰富的元数据2调度平台的设计思路3总结及展望4GOP S 全 球 运 维 大 会 2019上 海 站调度平台的设计思路流量切换DNSVIPNginx应用终止stop_before.shstop.shstop_after.sh主机回收IP预留监控暂停状态数据保存流量切换DNSVIPNginx应用启动start_before.shstart.shstart_after.sh主机

9、创建IP恢复监控恢复状态数据恢复缩容与扩容的概览GOP S 全 球 运 维 大 会 2019上 海 站IT运维人员调度策略策略配置服务调度策略数据库策略调度服务器存储策略触发调度自动部署云商资源管理服务缩容/扩容负载均衡器流量切换持续部署服务容器创建/销毁应用部署/启动调度平台的设计思路调度的总体流程GOP S 全 球 运 维 大 会 2019上 海 站调度规则触发策略时段流量目标资源DNSIPFile事件处理启动停机结果校验应用启动HTTPJSF应用停机HTTPJSFOS启动调度平台的设计思路调度规则的详细说明调度规则是一个通用的框架，包括触发策略、目标资源、事件处理以及结果校验等4个组件，

10、这四个组件可以根据配置自由组合来定义一个完整的调度规则。平台实现了一些通用的功能，例如更新DNS、预留IP、保留文件内容等，用户也可以创建自己的组件，例如定义自己的启动事件处理组件。GOP S 全 球 运 维 大 会 2019上 海 站中间件API（原子服务）域名管理流量监控Public APIVIP管理主机监控配置管理自动构建负载均衡资源调度API（聚合服务）调度管理事件管理策略维护权限管理预警管理应用监控自动部署主流云商API适配器执行日志云资源管理分布式调度消息服务调度平台的设计思路功能架构GOP S 全 球 运 维 大 会 2019上 海 站目录京东物流DevOps发展现状1掘金Dev

11、Ops：丰富的元数据2调度平台的设计思路3总结及展望4GOP S 全 球 运 维 大 会 2019上 海 站展望及总结Kubernetes核心概念京东物流技术架构核心概念Namespace系统/应用：源自部署系统Label分组：源自部署系统Configmap配置文件：源自部署系统Probe监控：源自各种监控系统ServiceDns/Vip/Jsf：源自网管、分布式Rpc服务等多个系统Deployment部署：源自部署系统大型互联网企业都在试图解决一个核心问题：那就是分布式计算。围绕着这个问题，各家虽然采用的具体技术不同，但是基本上都存在对等的映射。下面我们对比的是Kubernetes的核心概念

12、和京东物流技术架构中的核心概念，京东物流采用的是传统技术的组合来解决分布式计算问题。大家都在做相同的事情GOP S 全 球 运 维 大 会 2019上 海 站Serverless基础设施标准化技术架构标准化云原生基础设施展望及总结KubernetesHeroku-like Paas技术的发展趋势是适时择优GOP S 全 球 运 维 大 会 2019上 海 站展望及总结博弈合作共享平衡以工具为纽带的合作，是松散的，发展到一定阶段之后，反而成为技术革新的最大阻力。更深度的合作应该以目标一致为目标，从设计层面就开始深度合作。目标一致方能发展快速响应业务发展作为IT发展的驱动力，早期一切以开发效率为重，运维部门往往会极力妥协，以致于牺牲了标准化；后期开始注重成本时，发现积重难返。架构于开发与运维之上的规划部门力量、魄力不足时，往往难以寻回平衡点。平衡至关重要Dev和Ops之间的博弈一直存在，即便开发人员变成了全栈工程师，运维人员变成了运维开发工程师。Dev和Ops的目标始终存在差异：开发更注重快速响应业务需求，运维目前需要为效益负责。博弈无处不在目前Dev和Ops之间的合作，主要是以工具作为纽带，例如Ops提供了丰富的发布、监控、运维工具。合作有深有浅DevOps在博弈中发展