1、全国中小学上门、在线教学全科辅导构建基于容器的混合云架构与实践中小型互联网公司基础架构技术演进与实践全国中小学上门、在线教学全科辅导2背景和挑战背景和挑战1技术架构技术架构与实践与实践3未来规划与尝试未来规划与尝试4基础架构演进基础架构演进2Agenda全国中小学上门、在线教学全科辅导3背 景 与 挑 战全国中小学上门、在线教学全科辅导4互联网在线教育现状市场规模巨大高增长率投资记录不断被刷新越来越多企业进入赛道全国中小学上门、在线教学全科辅导5业务业务变更频繁多样化周期短工程领域部署与实现传输计算存储弹性隔离性延迟长尾效应问 题 与 挑 战交付效率高可用新老技术架构平滑过渡ROI（投入产出比

2、投入产出比）全国中小学上门、在线教学全科辅导6几个关键字不中断业务持续更新敏捷可靠高弹性易扩展故障隔离保护多快好省如何应对？CloudNative容器云混合云全国中小学上门、在线教学全科辅导7背景和挑战背景和挑战1技术架构技术架构与实践与实践3未来规划与尝试未来规划与尝试4架构演进架构演进2全国中小学上门、在线教学全科辅导8成长成长期期代码仓库：GitLab编译打包：JenkinsIaas：Cloudstack监控与告警:Zabbix缓存：Redis负载均衡：Lvs/Nginx发展发展期期Code Review:Gerrit知识管理与项目管理:WIKI,Jira配置管理：CMDB,OCS,Pu

3、ppet日志收集：Flume,syslog队列系统：Kafka，RebbitMq公有云服务：CDN,对象存储,点直播服务告警聚合：Alerta任务调度：Rundeck数据展现：Kibanna,Grafna高速发展期高速发展期容器云：Docker,K8s,Mesos,Marathon,Chronos,HarborDevops应用配置管理：DisconfCI/CD：Spinnaker，A/B Testing大数据基础设施:Hadoop,Hive,Hue,Argus,OpentsDB分布式存储：CEPH爆发期爆发期(Current Time)混合混合云云PAAS微服务微服务Mesos DC/OS基础

4、架构技术演进路线全国中小学上门、在线教学全科辅导9背景和挑战背景和挑战1技术架构技术架构与实践与实践3未来规划与尝试未来规划与尝试4架构演进架构演进2全国中小学上门、在线教学全科辅导部署架构私有云服务(计算/数据/大数据服务)Internet公有云服务节点一(计算/数据服务)公有云服务(CDN/对象存储/点/直播服务)视频点播服务CDN服务对象存储服务全局负载均衡服务（GSLB）AuthLoad Balancer公有云服务节点二(计算/数据服务)VPC全国中小学上门、在线教学全科辅导11系统架构负载均衡认证与授权DNS服务CI/CD服务容量及伸缩服务监控与告警服务自动发布服务配置管理服务容器镜

5、像仓库分布式队列服务分布式缓存服务数据库服务分布式存储服务分布式搜索服务大数据服务分布式调度服务日志处理服务容器编制服务系统服务与工具层管理服务层接入层公有云主机物理服务器私有云虚拟机硬件及计算层CMDB运维管理服务资产管理服务全国中小学上门、在线教学全科辅导12基础架构介绍日志处理基础设施容器云基础设施CI/CD基础设施大数据基础设施监控与告警基础设施全国中小学上门、在线教学全科辅导13容器云技术栈与开源工具链 容器栈：Docker 存储：Ceph 容器镜像管理：Harbor 编排与调度 Long-lived：Spinnaker,Kubernetes Short-lived：Mesos,Ch

6、ronos 配置管理：系统配置管理工具Puppet，应用配置管理Disconf，服务注册Consul 容器监控：Promethus;数据展现：Grafana 系统监控：Zabbix全国中小学上门、在线教学全科辅导14容器云架构负载均衡ChronosMesosDocker物理主机虚拟机内网DNSPuppetHarbor编排与调度JenkinsSpinnakerKubernetesShort-lived ServiceLong-lived ServiceMarathonConsul扩缩容服务告警服务DisconfZookeeperPrometheus系统工具和服务组件Ceph负载均衡MesosDo

7、cker虚拟云主机私有云节点虚拟云主机云存储KubernetesChronosSpinnakerShort-lived ServiceLong-lived Service公有云节点全国中小学上门、在线教学全科辅导扩扩缩容服务15系统架构拓扑Internet全局负载均衡服务（GSLB）Load BalancerIngressPOD APP1IngressPOD APPnIngressPOD APP1IngressPOD APPnLoad BalancerConsulChronosAPP1ChronosAPPnChronosAPP1ChronosAPPnAPP1VMAPPnVM私有云公有云Shor

8、t-lived Service Mesos ClusterShort-lived Service Mesos ClusterLong-lived Service K8s ClusterLong-lived Service K8s ClusterJenkinsdisconf扩缩容服务Consul AgentCI/CD全国中小学上门、在线教学全科辅导16服务注册发现K8s-IngressPOD APPnAPPnVMRegisterHealthCheckRegisterHealthCheck公有云Load Balancerngx-dynamic 私有云 Load Balancerngx-dynami

9、c K8s-IngressPOD APPn公有/私有Docker集群Cloudstack虚拟化集群Consul AgentConsul Agent全国中小学上门、在线教学全科辅导17缩容扩容扩缩容服务实时指标数据分析Trigger公有云VM创建销毁APIK8s-IngressPOD APPnK8s-IngressPOD APPnAPPnVM虚拟化集群私有有云VM创建销毁API实时指标数据采集业务指标数据采集虚拟机扩缩容虚拟机扩缩容Docker容器扩缩容（K8s API）autoscaling服务发现服务发现POD APPnTrigger全国中小学上门、在线教学全科辅导18实践与总结 公有云节点

10、设计考虑 使用公有云成熟基础组件:Credis,Ckafka,CFS 公有云组件：负载均衡(L7),K8s集群,Mesos集群，Zookeeper集群，基础组件内网DNS等 系统配置管理：Puppet 应用配置管理：Disconf 可伸缩集群：K8s集群，Mesos集群全国中小学上门、在线教学全科辅导19CI/CD基础设施设计与实践全国中小学上门、在线教学全科辅导20CI/CD管道设计Development Env.Testing Env.Pre-Producation Env.Offline Docker Registry RepositoryOffline Artifact Reposit

11、oryOnline Docker Registry RepositoryOnline Artifact RepositorySync Release Ready ImagesSync Release Ready Binary ArtifactApproveBuild docker ImagesDeploymentServiceDocker container Service LayerVM Service LayerDev/Test Env with VMDev/Test Env with DockerCompileBuildGITLabRepositoryBuild ArtifactDepl

12、oymentServicePre/Prd Env with VMPre/Prd Env with DockerApprove全国中小学上门、在线教学全科辅导21CI/CD实践DeployArtifact RepositoryDocker Registry RepositoryPush CommitDisable OrDestorySync ImagesAnd Artifact New ReplicaSetOld ReplicaSetDev/TestInstancePre/PrdInstanceTriggerTriggerSyncSyncBuildBuildDeloyment StrategyD

13、eloyment Strategy私有云/公有云 Kubernetes 集群私有虚拟化云节点Dev/Tst/Pre/Prd全国中小学上门、在线教学全科辅导22CI/CD技术栈22Trigger From Jenkins Job部署到测试环境同步包和镜像到线上环境部署到预发布环境部署到私有云VM生产环境部署到私有云Docker生产环境部署到公有云Docker生产环境 Promotes Model of：Build candidate-Test in running system-Push to production Spinnaker部署管道:全国中小学上门、在线教学全科辅导23Introduc

14、tion To Spinnaker23 Netflix开源，多云部署 持续交付平台：多种平台上实现开箱即用的集群管理和部署功能，支持AWS，Kubernetes，Openstack，Azure，GCE，DC/OS 部署最佳实践可视化部署管道设计支持主流CI系统(Jenkins)易与成内部和外部系统集成，支持Webhook支持多种部署策略：蓝/绿；滚动蓝/绿；Canary全国中小学上门、在线教学全科辅导24日志基础设施设计与实践全国中小学上门、在线教学全科辅导25日志与数据处理25自建机房公有云节点APPAPPAPP数据存储数据分析/展现公有云节点全国中小学上门、在线教学全科辅导26日志基础设施

15、技术栈与开源工具链 Record:Log4j2,Flume Transport：Flume,Rsyslog Search+Analytics:graylog2,hive,spark,elasticsearch Storage:Kafka,Hadoop,elasticsearch，Opentsdb(Hbase)Data Visualize:Kibana,Grafana全国中小学上门、在线教学全科辅导27日志处理架构Rsyslog ServerNginxLuaSDKAPPRsyslog ServerFLMAPPSDKRsyslog ServerFLMSYSLog4j2Syslog Server客户

16、端数据采集数据传输数据过滤数据分析和展现PV/用户行为/Metric（GET/POST）BIZ LOG&APP Stdout/Stderr,Metric全国中小学上门、在线教学全科辅导28大数据基础设施设计与实践全国中小学上门、在线教学全科辅导29数据处理OLDMDWODSHive/Spark SqlMaxWell监控大屏报表服务推荐服务搜索服务调度系统离线计算服务实时计算服务存储服务OLAPSqoop日志数据和非结构化数据用户生命周期系统日志用户行为日志业务指标日志系统指标日志业务日志大数据应用服务日志服务BinlogETL架构化数据全国中小学上门、在线教学全科辅导30监控与告警基础设施设计

17、与实践全国中小学上门、在线教学全科辅导31监控与告警系统部署架构31NotificationE-mailWebChatAlertsZabbix AgentInstance BPrometheus/Zabbix ServerMonitoring And AlertZabbix Proxy/Prometheus ExportZabbix AgentInstance A公有云节点Zabbix AgentInstance BZabbix AgentInstance A自建机房Zabbix Proxy/Prometheus ExportZabbix AgentInstance BZabbix Proxy

18、/Prometheus ExportZabbix AgentInstance A公有云节点全国中小学上门、在线教学全科辅导32监控服务基础设施Rsyslog ServerSDKAPPRsyslog ServerMetricAPPSDKRsyslog ServerFLMSYSLog4j2Syslog Server告警服务容器指标系统指标第三方网络监控数据网络及硬件指标Caci IPMIPrometheus全国中小学上门、在线教学全科辅导33告警服务基础设施NotifierNotifierElastalert NotifierNotifierNotifierCustom Notifier告警规则定

19、义告警过滤和收敛告警通知服务Alerta邮件通知服务微信通知服务短信通知服务语音通知服务报警自动处理全国中小学上门、在线教学全科辅导DevOps Culture(文化)Automation(自动化)Self-serving(自助服务)Lean(精益)Measurement（量化）监控，指标，分析 Sharing(分享)全国中小学上门、在线教学全科辅导可视化(Operational Visibility)LBService 1Visibility PointTechnology And ToolsMetric/EventELKIncidentsIncidents服务请求Kibanna And G

20、ranfna服务性能指标应用指标应用日志告警视图Zabbix，Prometheus OpentsDB，ArgusKibana，LogTrailAlerta，ElastAlert全国中小学上门、在线教学全科辅导36技术栈选型与构建实践 技术栈和组件要适合团队技术能力及主流技术方向 KISS原则(Keep It Simple and Stupid)ROI（投入产出比）使用成熟的第三方云服务 不重复造轮子 选择经过实际生产环境验证的技术栈和组件 不断演进迎合公司业务发展、大公司方案不一定是适合的、避免为技术而技术 任何方案不必最求大而全和完美，实践中不断完善和演进 跟踪主流技术演进方向 适当预研相关技术方案并储备全国中小学上门、在线教学全科辅导37规 划 与 尝 试全国中小学上门、在线教学全科辅导38资源效率Apache Mesos And DC/OS融合计算智能调度微服务Spring CloudService Mesh(Istio,linkerd)全国中小学上门、在线教学全科辅导THANK YOUThanks for watching