1、容器上云的攻与守邱戈川(了哥)阿里云智能云原生应用平台部高级技术专家基于容器的迁移、运维、查错与监控Contents01目录容器迁云解决方案一览02容器上云之“攻”03容器上云之“守”容器迁云解决方案一览01已有K8s 容器集群在云端或IDC企业应用阿里云镜像服务迁移工具容器镜像、配置容器化应用迁移工具、服务阿里云容器集群阿里云弹性基础设施计算、存储、网络、安全迁移弹性资源伸缩全球化部署运维自动化运维安全软件供应链自动化故障恢复企业级安全多云、混合云管理TCO优化管理提升系统高可用容器化整体迁云/搬站整体化监控敏捷高效集成DevOps阿里云优化整合灰度发布阿里云Kubernetes(ACK)e

2、bm 神龙云服务器gpu云服务器slb负载均衡vpc专有网络ecs云服务器disk块存储nas文件存储oss对象存储计算与网络存储arms业务实时监控服务sls日志服务云监控日志与监控ess弹性计算Ahas高可用服务cpfs文件存储阿里云ACK架构阿里云 ACK的价值观云上最佳运行环境一致性Kubernetes，无lock-in最优的弹性管理多云、混合云最佳载体云计算技术演进主航道安全与信任快速响应与修复社区贡献安全加固最佳实践阿里云深度结合最佳管理优化海量客户经验总结创新与生态云原生、阿里体系融合Serverless创新神龙裸金属加持容器上云之“攻”02物理裸金属服务器神龙性能优化网络Ter

3、way灵活弹性容器上云之“攻”物理裸金属服务器神龙性能优化网络Terway灵活弹性容器上云之“攻”容器+弹性裸金属服务器超强网络配备RDMA技术Terway容器网络，充分发挥硬件性能跨宿主机容器带宽超过30Gbit/s计算性能零抖动自研芯片取代Hypervisor无虚拟化开销，无资源抢占Offload技术降低系统开销安全物理级别加密，支持Intel SGX加密可信计算环境，支持区块链等应用云盘与VPC高带宽强隔离，多可用区、混合部署Alibaba Cloud VPC Underlay Network神龙神龙Alibaba Cloud Block Storage Network30G20G30G

4、的VPC高带宽，450万 PPSVPC与云盘带宽强隔离20G的云盘带宽与ECS混搭无界线支持多可用区部署物理裸金属服务器神龙性能优化网络Terway灵活弹性容器上云之“攻”容器网络：Terway ENI多IP模式以及限流eth0Alibaba Cloud VPC Underlay Networketh0enieth0enieth0Kubernetes ClusterECSPodECSPodPodPodeth0eth0PodPodIngressEgress出入口限流apiVersion:v1kind:Podmetadata:name:nginxannotations: autoscale dep

5、loyment/xx-cpu-percent=30-min=1-max=5(已支持界面配置)CronHPAExternal Metrics AdapterPOD 实例数SLSARMSAutoScalerESS人为伸缩PODUnscheduled PodRelease PodBuy ECSRelease ECSMetrics Server扩容缩容AHASVirtual KubeletECIScale up PodScale down PodUnattached PodAttached Pod弹性伸缩监测大盘CPU/MemQPS/LatencyVirtual Kubelet AutoscalerK

6、ubernetesElastic Container Instance(ECI)Node-2Node-1Node-NECI Provider虚拟节点(VK)taint:Application-xx虚拟节点(VK)taint:NS-xxECS/神龙裸金属服务器VK容器化运行，最低成本预留资源根据NS Quota级别扩容根据业务级别扩容秒级处理，极速弹出自动匹配资源需求，真正按需伸缩瞬时释放集群无需预留容器迁移水位Namespace:订单集群没资源，针对应用扩容NS没Quota联合集群自动伸缩器提供多层次组合伸缩策略简化容量规划自定义指标伸缩KubernetesDeploymentPODPODPO

7、DServiceIngressSLSARMSHPAReport access logApplication MetricsScale podReport performance logTimeout counterQPSAvg LatencyP99/P999/P9999External Metrics Adapter入口流量一体化联动扩容/缩容DeploymentBusiness AHPAIngressSLSDeploymentBusiness BHPADeploymentBusiness CHPAaccess logMax replic:10Min replica:3Max replic:6

8、Min replica:2Max replic:20Min replica:5ARMSDeploymentBusiness DHPAMax replic:8Min replica:4接入层服务层容器上云之“守”03智能化运维安全与信任一体化监控体系全链路分析与定位容器上云之“守”智能化运维安全与信任一体化监控体系全链路分析与定位容器上云之“守”不可或缺的灰度IngressService oldversionDeployment A(run:oldversion)Deployment B(run:newversion)Service newversion10%90%Deployment B(ru

9、n:newversion)Deployment B(run:newversion)Deployment A(run:oldversion)Deployment A(run:oldversion)Deployment A(run:oldversion)流量/PV对比平均延迟对比P999/P999最大延迟对比成功率/错误率对比新服务旧服务可依据的灰度深度主机监测与预警开源支持Kernel死锁，Hung，OOMKillingDocker Deaon Hung住Docker文件系统异常虚拟网卡回收异常阿里云RAM Role没有配置ntpd/chronyd没有启动网络SNAT没有配置FD数量超过水位(默

10、认80%)阿里云扩展深度监测优化推荐智能纠错运维管理智能化根据集群现状推荐集群优化设置，调谐容器集群根据集群现存问题给出修复意见，帮助降低集群故障率，减少集群故障时间深度检查集群资源、组件、配置等各个细节，快速定位集群使用问题智能化运维安全与信任一体化监控体系全链路分析与定位容器上云之“守”全方位支撑，安全无小事阿里云安全团队加持社区紧密合作最严密的K8S配置定期安全经验赋能安全管控(TLS双向加密，证书轮转/重置)基础安全运行时安全K8S日志审计“软性”安全容器运行时安全监测稳固的稳固的IaaS层层CVE第一时间修复和加固第一时间修复和加固镜像漏洞扫描镜像漏洞扫描磁盘加密磁盘加密平台审计安全

11、管理Kubectl阿里云控制台K8S原生控制台容器容器审计平台(阿里云日志服务SLS)操作日志API ServerPOP网关Docker push阿里云容器服务ACK阿里云容器镜像服务logtail审计大盘例:进入容器告警进入容器操作实时产生审计日志分钟级告警例:人员离职审计智能化运维安全与信任一体化监控体系全链路分析与定位容器上云之“守”多维度一体化监控体系应用层日志业务指标监控应用层性能监控容器CaaS层资源监控容器POD指标监控物理主机/VM层监控阿里云-云监控+NPDprometheus+grafana阿里云-ARMS+SLS Ingress监控Ahas架构感知(托管服务公测中)真正的

12、全链路检测、定位与分析用户Ingress服务代码存储代码级诊断客户端是否受影响？业务指标/入口指标是否正常？服务是否正常？代码Bug？日志异常？SQL执行效率？SLA不达标？全链路根因定位ARMSPrometheus环境+三方组件ARMS前端监控ARMS应用监控SLSIngress监控SLS日志服务预制Ingress Dashboard无需构建ES等庞大系统，系统默认提供，开箱即用只根据存储收费，无需维护，成本最优涵盖业务核心场景，可扩展逐步迭代增强，为业务保驾护航无侵入接入APM系统：ARMSHelm/chart部署arms pilot修改RAM授权（后续将自动化处理）给应用容器打上对应的a

13、nnotation123数据收集4容器应用部署页面跳转开源K8s Prometheus Operator 方案ARMS Prometheus云服务用户K8s集群Prometheus ServerK8s PrometheusOperatorAlert ManagerGrafana用户K8s集群ARMS PrometheusCollectorARMS PrometheusOperator公有云托管ARMS Alert ManagerHPA AdapterGrafanaHigh Available用户环境资源开销较大，需要运维重多组件，成本高。仅需部署采集点，资源消耗为开源1/4，免运维。High AvailableARMS Prometheus Server轻量化Prometheus托管THANKSTHANKSTHANKS