1、MegaEaseMegaEase分布式服务化架构关键技术分布式服务化架构关键技术看Cloud Native云化应用架构及PaaS调度层MegaEaseMegaEase不不改改一一行行代代码码就就可可以以做做秒秒杀杀无无论论性性能能是是什什么么样样提提高高性性能能和和稳稳定定性性的的软软件件产产品品MegaEaseMegaEase大大纲纲如如何何提提高高性性能能和和稳稳定定性性分分布布式式服服务务化化架架构构的的关关键键技技术术PaaSPaaS平平台台的的核核心心“不不改改一一行行代代码码”案案例例分分析析MegaEaseMegaEase的的产产品品介介绍绍MegaEaseMegaEase如如何

2、何提提高高性性能能和和稳稳定定性性MegaEaseMegaEase提提高高性性能能加缓存负载均衡异步调用数据分区数据镜像缓存系统缓存分区缓存更新缓存命中网关系统负载均衡服务路由服务发现异步系统消息队列消息持久异步事务数据镜像数据同步读写分离数据一致性数据分区分区策略数据访问层数据一致性MegaEaseMegaEase提提高高稳稳定定性性服务治理服务调用服务依赖服务隔离服务调度弹性伸缩故障迁移服务发现限流降级异步队列降级控制服务熔断高可用架构多租户系统灾备多活高可用服务运维系统全栈监控DevOps自动化运维服务拆分服务冗余限流降级高可用架构高可用运维MegaEaseMegaEase我我们们要要做

3、做多多少少事事？高高性性能能处处理理缓存、弹性伸缩、异步处理、数据复制关关键键业业务务保保护护高可用、故障隔离、业务降级流流量量控控制制负载均衡、服务路由、熔断、降级整整体体架架构构监监控控三层系统监控（应用层、中间件层、基础层）DevOpsDevOps环境构建、持续集成、持续部署架架构构管管理理架构版本、生命周期管理，服务管理自自动动化化运运维维自动伸缩、故障迁移、配置管理，状态管理基基础础资资源源调调度度管管理理计算、存储、网络资源调度和管理MegaEaseMegaEase然然而而还还没没完完这这些些东东西西都都不不是是功功能能性性需需求求 不是功能性需求，容易被忽略 属于基础设施，不容易

4、被理解技技术术含含量量高高，各各种种技技术术坑坑 解决了一个问题，新增多个问题 需要投入的时间和人力成本极高好好的的技技术术人人员员越越来来越越难难招招 能做好这些软件的人并不多 好的技术人员，对工作极其挑剔MegaEaseMegaEase分分布布式式系系统统的的问问题题传传统统单单体体架架构构分分布布式式服服务务化化架架构构新功能开发新功能开发需要时间容易开发和实现部署不经常且容易部署经常发布，部署复杂隔离性故障影响范围大故障影响范围小系统性能响应时间快，吞吐量小响应时间慢，吞量大系统运维运维简单运维复杂新人上手学习曲线大（应用逻辑）学习曲线大（架构逻辑）技术技术单一且封闭技术多样且开放测试

5、简单复杂系统扩展性扩展性很差扩展性很好系统管理重点在于开发成本重点在于服务治理和调度MegaEaseMegaEase如如何何面面对对如如此此纷纷乱乱的的技技术术MegaEaseMegaEase怎怎么么面面对对呢呢？张张开开一一个个一一个个的的网网眼眼？如果你是一个一个的去做，你就是在使蛮力一个一个的做，你会发现连不起来。张张开开一一个个大大网网，需需要要找找到到“纲纲”什么才是这个渔网的“纲”？如何才能做到“纲举目张”？MegaEaseMegaEase分分布布式式系系统统的的本本质质应应用用整整体体监监控控基基础础层层监监控控OS、主机、网络中中间间件件层层监监控控消息队列、缓存、数据库、应用

6、容器、网关、RPC框架、JVM应应用用层层监监控控API请求、呑吐量、响应时间、错误码、SQL语句、调用链路、函数调用栈、业务指标资资源源/服服务务调调度度计计算算资资源源调调度度CPU，内存、磁盘、网络服服务务调调度度服务编排、服务复本、服务容量伸缩、故障服务迁移、服务生命周期管理架架构构调调度度多租户、架构版本管理、架构部署、运行、更新、销毁管理、多租户管理、灰度发布流流量量调调度度服服务务治治理理服务发现、服务路由、服务降级、服务熔断、服务保护流流量量控控制制负载均衡、流量分配、流量控制、异地灾备 流流量量管管理理协议转换、请求校验、数据缓存、数据计算状状态态/数数据据调调度度数数据据可

7、可用用性性多复本保存数数据据一一致致性性读写一致性策略数数据据分分布布式式数据索引、分片MegaEaseMegaEase基基础础机机器器资资源源监监控控CPU使用率内存使用率网络吞吐量硬盘I/O吞吐硬盘使用率平平台台层层软软件件监监控控网关NginxJava容器Tomcat缓存服务Redis消息队列Kafa数据库MySQL应应用用层层服服务务监监控控HTTP请求访问Java服务性能监控JDBC性能监控外部服务调用性能服务调用链监控日日志志收收集集数据存储指标日志规则数据分析聚合过滤计算图表事件展示报表性能事件全全栈栈监监控控技技术术说说明明MegaEaseMegaEaseMegaEaseMeg

8、aEaseStackStack 定定义义部部署署就就绪绪更更新新伸伸缩缩释释放放-生命周期-使用资源-状态控制-事件触发描述定义相关组件环境配置集群描述依赖关系 健康检查 部署方式 结点存储 Stack Stack 运运行行实实例例服务部署服务发现服务路由（负载均衡）服务健康检查服务调度（伸缩/故障迁移）物理层资源管理服务监控基基础础物物理理层层一一栈栈式式调调度度技技术术说说明明MegaEaseMegaEase面面向向服服务务的的DockerDocker镜镜像像为为什什么么要要做做服服务务化化的的DockerDocker镜镜像像想想现有的中间件 nginx 和 zookeeper都不是服务化

9、的，任何静态配置或动态配置的改变都需要通过改conf文件面面对对不不完完美美世世界界的的WorkaroundWorkaround的的方方案案我们开发了一个服务化的Docker EntryPoint框架，提供如下最基本回调脚本Start，Stop，ApplyConfig，HealthCheckingMegaEaseMegaEase网网关关流流量量调调度度技技术术网网络络链链接接接接入入（HTTPHTTP、HTTPsHTTPs、ProtobufProtobuf.）处处理理管管线线后后端端数数据据中中心心服服务务（用用户户侧侧）处处理理管管线线处处理理管管线线数据校验数据处理秒杀模块后端调用数据校验

10、请求监控流控模块后端调用数据校验API聚合API调度后端调用控控制制系系统统管理API集群模块数据同步管线配置监控统计MegaEaseMegaEase如如何何设设计计一一个个好好的的流流量量调调度度网网关关现现在在的的所所有有的的GatewayGateway在在设设计计理理念念上上都都达达不不我我们们想想要要的的高高度度。Nginx和OpenResty明显就是给运维人员用的。一一个个好好的的GatewayGateway需需要要有有如如下下的的特特性性ServiceService首先一定要是一个Service，作为service的一个标志是：通过APl去改配置，而不是通过文件。ClusterCl

11、uster其次，还要是一个Cluster，作为Cluster的一个标志是：能够互相复制数据，可以集群内分组，我们使用NRW模型+Gossip/Raft协议。LambdaLambda最后，还可入嵌入用户代码，既 Serverless 或AWS Lambda。MegaEaseMegaEase状状态态/数数据据调调度度Google App Engine的co-founder Ryan Barrett2009年的google i/o上的演讲Transaction Across DataCenter（视频：http:/ SchemeData Storage关系型数据库、NoSQL时序数据库、搜索数据库O

12、LAP/OLTP、漏洞数据数据格式太多，很难做出放之四海皆准的廉价的：开源方案NFS/Ceph/TiDB/Cockroach中间价：云产商方案 S3/Dynamo/Aurora昂贵的：EMC、Nutanix不同的分布式存储方案有不同优缺点MegaEaseMegaEasePaaSPaaS平平台台是是什什么么样样的的MegaEaseMegaEaseIaaS资源层（计算VM、存储DFS/RDS/NoSQL、网络VPC/SDN）基础 IaaS API适配层Docker+Kubernetes 层PaaSPaaS 调调度度层层生命周期管理服务配置管理服务监控服务状态持久服务弹性伸缩服务编排服务调度服务命名

13、发现接接入入层层PaaSPaaS服服务务能能力力层层流流量量调调度度降级路由流控熔断灰度计算接接入入门门户户/开开放放平平台台认证API目录多租户沙箱SDK/文档安全授权计量计费中中间间件件服服务务消息队列作业缓存流式数数据据服服务务算法报表AI建模ETL业业务务服服务务二维码用户计费支付SMSDevOpsDevOps构建运维测试部署审查资资产产库库硬件软件许可订阅服务管管理理门门户户管管理理门门户户运运营营运运维维MegaEaseMegaEase开开发发/运运维维示示意意图图CI/CDCI/CD应应用用服服务务监监控控中中心心(基基础础/中中间间件件/应应用用整整体体监监控控)Docker

14、ClusterDocker Cluster(CoreOS/Fleet/Etcd/(CoreOS/Fleet/Etcd/KuberneteKubernete)Docker ClusterDocker Cluster(CoreOS/Fleet/Etcd/(CoreOS/Fleet/Etcd/KuberneteKubernete)软软件件构构建建DockerDocker RegistryRegistry服务接入（网关/路由/降级/流控/熔断/调度）应应用用/服服务务调调度度集集群群（DockerDocker+KubernetesKubernetes）整整体体应应用用架架构构控控制制器器（部部署署/更

15、更新新/伸伸缩缩/配配置置/编编排排/调调度度）源代码部部署署就就绪绪更更新新伸伸缩缩释释放放应应用用架架构构组组件件生生命命周周期期管管理理客户端（PC、手机）服务流程编排（聚合/流程/事务）状状态态同同步步状状态态通通知知指指令令下下发发监监控控数数据据监控事件MegaEaseMegaEase如如何何做做到到不不改改一一行行代代码码MegaEaseMegaEase“不不改改一一行行代代码码”案案例例分分析析性能再差也能做秒杀十倍提高性能提高系统稳定性节省￥100万MegaEaseMegaEaseMegaEaseMegaEase 的的三三个个产产品品EaseEase MonitorMonit

16、or基基于于ELKELK完完全全开开放放式式的的APMAPM基基础础层层监监控控OS、主机、网络中中间间件件层层监监控控消息队列、缓存、数据库、应用容器、网关、RPC框架、JVM应应用用层层监监控控API请求、呑吐量、响应时间、错误码、SQL语句、调用链路、函数调用栈、业务指标EaseEase StackStack基基于于 KubernetesKubernetes 的的二二级级调调度度一键全栈部署一次架构定义、多次灵活部署容量弹性伸缩手动或自动的管理应用集群容量动态配置更新集中管理、自动下发应用状态保持持久应用状态、自动管理关联关系EaseEaseGatewayGateway自自主主研研发发的的服服务务化化集集群群式式的的apiapi网网关关集集群群化化Gossip/RAFTGossip/RAFT协协议议，NRWNRW模模型型、集集群群分分组组服服务务化化管管理理APIAPI、统统计计数数据据插插件件式式用用户户逻逻辑辑插插入入，LambdaLambdaMegaEaseMegaEase谢谢谢谢谢谢谢谢