《云原生专场-最终版0724(167页).pdf》由会员分享,可在线阅读,更多相关《云原生专场-最终版0724(167页).pdf(167页珍藏版)》请在三个皮匠报告上搜索。
1、张瓅玶阿里云智能研究员阿里云智能研究员云原生的思考与观察云上开发新时代,codecode up!up!容器化应用与运行环境解耦构建、分发的标准编排调度资源管理与基础设施解耦工作负载交付、运维的标准云原生分布式、服务治理、应用负载应用架构现代化演进的标准应用负载服务治理基础架构IstioKubernetes容器无处不在K8s正当时云原生未来可期新范型新边界新应用形成云时代三个标准云原生带来用户价值更可靠和可扩展的分布式应用统一容器编排带来更好的资源利用率和效率标准化无供应商锁定持续集成和发布更快的应用迭代和创新Kruise 作业管理Kubeflow/Arena AIArgo pipeline 共
2、建全方位贡献开源,致力成为云原生标准制定者和引领者之一云原生技术与应用领先者作业管理应用定义与镜像构建Helm 中国站(App Hub)应用 YAML 托管云原生应用管理工具Streaming&Messaging云原生 RocketMQKubernete 核心上游投入Kubernetes 多租户插件Kubernetes 阿里云集成GPU Sharing 共享调度调度编排元信息存储etcd+etcd operator服务发现与RPCDubboNacosService Mesh+GatewayEnvoy 增强插件TengineIstio 上游共建CI/CD云原生持续交付(CD)插件容器运行时Con
3、tainerd 核心上游投入PouchContainer工具ChaosBladeDragonfly无服务框架X Run Serverless 框架Virtual Kubelet多云Kubernetes 多云插件CNI TerwayCSICluster AutoScalerCluster APIAlibaba Cloud controller manager安全集成 RAM AuthenticatorKMS plugin云集成20018 1 M 100 K 100 K阿里巴巴容器规模 1 M2016年全面Pouch容器化2017年实现Sigma统一调度,拥抱K8s2018年
4、实现大规模混部和存储计算分离双11 IT成本下降75%,日常IT成本下降30%容器规模超百万,70%在阿里云上两年内完成以云原生的方式上云阿里巴巴成为业界最大的云原生应用业界最大规模的云原生应用实践唯一进入 Gartner 2019公有云容器服务竞争格局的国内云厂商国内最丰富的云原生产品体系可观察性和分析应用实时监控ARMS应用高可用服务链路追踪日志服务容器编排公共云专有云边缘云消息队列 MQAPI 网关云原生数据库 POLARDB机器学习平台 PAICloud Shell/云IDE持续集成云效Serverless面向容器ServerlessKubernetes面向应用EDAS Serverl
5、ess面向函数Function Computing分布式应用数据&智能DevOps容器服务ACK容器镜像服务 ACRIstio/Knative支持实时计算限流降级资源编配全面使用云服务构建软件系统的时代已经到来云原生帮助企业最大化利用云的能力,最大化发挥云的价值阿里云致力于帮助客户做好面向云原生的技术升级谢谢!王夕宁阿里云智能高级技术专家阿里云智能高级技术专家孙健波阿里云智能技术专家阿里云智能技术专家多云与混合云场景下应用管理实践151.容器与K8s已成为混合云多云标准化的基石2.阿里云ACK容器混合云多云解决方案 统一的K8s多集群管理 统一的K8s应用部署与服务管理3.Demo演示目录Cl
6、oud Broker+AutomationKubernetes 基础设施能力、安全架构的差异造成企业IT架构和运维体系的不统一 应用为中心 应用抽象 弹性、敏捷、可移植性 跨云管理 集群联邦 服务网格AppAppAppApp满足安全合规的要求提升业务敏捷性提升地域覆盖性构建混合云多云已经成为常态16App17容器提供了统一的分发方式基于容器化构建混合云多云已经成为趋势Kubernetes提供了标准化的应用部署与生命周期管理能力18IDC云突发IDC云容灾异地多活IDC集群联邦流量管理集群联邦流量管理典型容器混合云多云场景诉求线下弹线上19阿里云ACK容器混合云多云解决方案统一的多集群管理 跨云
7、与IDC环境管理K8s集群和工作负载 允许连接用户已有K8s集群(无需公有IP访问)一致的运维管理控制台界面统一的集群资源池管理 集群间网络打通,线下资源不足时弹出线上资源 多个K8s集群联邦 统一线上线下应用调度管理统一的工作负载管理 通过Istio切换不同集群之间的流量 支持服务就近访问、地域亲和性 将服务请求故障转移到健康检查正常的地域基础设施阿里云ACK集群ACK敏捷版K8s集群用户自建K8s集群其他公有云K8s集群20阿里云ACK容器混合云多云产品架构接入AgentIstio&KubefedACK公有云K8s集群接入AgentIstio&KubefedACK敏捷版K8s集群接入Age
8、ntIstio&KubefedIDC自建K8s集群、其他公有云集群联邦接入Stub备份、恢复配置管理统一的K8s多集群管理发布策略弹性策略多集群Ingress多集群DNS跨集群路由流量管理统一用户体验地域亲和性统一的K8s应用部署与服务管理21计算CPU/GPU容器网络Flanne/Calico/Terway容器存储Local Volume,NFS,OSS/Minio应用市场容器化应用应用目录服务目录可观察能力VMwareOpenstack一体机边缘IAAS对接容器运行时Docker/containerd/安全容器OS支持CentOS/Red Hat/SUSE/Aliyun Linux2/Wi
9、ndows其他IAAS日志链路跟踪监控、告警多集群管理多云&混合云集群弹性集群升级多云&混合云集群运维安全&合规等级保护策略管理操作审计高可用容灾备份断电恢复Kubernetes 核心和扩展机制Service MeshKnative云原生AI边缘自治企业级容器平台阿里云容器服务敏捷PaaS22统一的集群接入方式23ACK敏捷版K8s集群ACK公有云K8s集群其他公有云或自建K8s集群installinstallkubefedctlkubefedctlkubectlkubectlKubeFed Control Plane主集群成员集群成员集群跨集群调度SchedulingPreference C
10、ontroller跨集群同步KubeFedController跨集群ServiceDNS Controller跨集群IngressDNS Controller基于KubeFed统一管理Kubernetes资源External DNS阿里云智能DNS服务24 服务就近访问,支持地域亲和能力 服务请求故障自动转移基于Istio统一管理跨集群服务2627面向多云的应用管理(敬请期待)https:/ need 5 replicas formy application This applicationshould update to a newversionImperative:Create 3 mor
11、e containers Delete container named xxx Upgrade this container with new image One node has broken,we should deletethose containers on it and createthem in other placesAutomationAutomation!Stability!Stability!Efficiency!Efficiency!运维升级的益处云原生改造成果App managementResource utilizationStorage strategyCooper
12、ate with developersall over the worldCo-location by unified schedulerCloud Native App MgmtData in persistentvolumeStandard+Open+Keepupdating with upstreamK8s 1.10-1.12-1.14 云原生应用管理理念云原生应用管理理念原地升级Sidecar容器管理1.Hard to manage when there are lotsof applications and workloads2.Application developers dont
13、 knowwhich sidecar to use3.How to update sidecar in too manyworkloads Defined in app workloads1.Define sidecars alone,part fromapplication workloads2.Application developers have not tocare about sidecars3.Update sidecar containers in-place,no effect on applications Injected by SidecarSet When we hav
14、e thousands sidecars,well need:A SidecarSet CRD:Describe all sidecars need to be operated A SidecarOperator:1.Inject sidecar containers to selected Pods2.Upgrade sidecar containers following rollout policy when SidecarSet is updated3.Delete sidecar containers when SidecarSet is deletedSidecar容器注入Sid
15、ecar容器管理能力Advanced StatefulsetAdvancedStatefulSet MaxUnavailableImprove speed of updating.(For a StatefulSet with 500 Pods and updatein 10 batches,this may accelerate 50times.)InPlaceUpdateUpdate Pods without recreate.Avoid Pods reschedule and reshuffleReadinessGate ensures Pods stay NotReadyduring
16、updating.More features coming soonBroadcastJob A blend of DaemonSet and Job Run pods on all machines exactly onceUse case:software upgrade,node validator,node labeler etcBroadcast Jobhttps:/ what have extremely helped us move to CloudNative谢谢!王建中杭州联华华商集团技术总监杭州联华华商集团技术总监杭州联华借助函数计算和表格存储快速数字化转型大型商超的云原生
17、数字化转型大卖场/精品综、标超加盟三里家园店万家花城店三宝西路店三塘菊园店东港嘉苑店彩虹店华商店延安南路店水晶城店东山店三唐店丰庆路店和家园店运河店和平店庆春店大关店中联店大华店三墩店中河店凤起店联华原信息管理平台:EIMP数据中心DC主数据管理MDM财务管理FM销售管理SM电子商务EC客户管理CRM供应链管理SCM综合办公平台EOP客户的管理&运营门店的管理和营运商品的管理&配送品类规划供应链优化陈列优化业绩达成销售表现客户价值提升客户生命周期客户运营触达配送管理商品汰换信息系统整体架构信息系统整体架构系统分散数据孤岛技术栈差异面临的突出问题面临的突出问题跟不上业务发展跟不上业务发展市场变化
18、业务需求公司转型相关系相关系统多统多毫秒级毫秒级响应响应高并发高并发高稳定高稳定PMSPMS营销中心营销中心打通营销业务预算、策划、执行、跟踪、决算一体化同时支持线上和线下交易的高并发、高稳定的促销计算营销中心营销中心PMSPMS联华原信息管理平台:EIMP客户的管理&运营门店的管理和营运商品的管理&配送品类规划供应链优化数据实时汇集数据实时汇集OTSOTS函数计算D T SD T S实时读取实时读取PMSPMS营促销系统营促销系统通过DTS工具,将目前线下孤立的数据库打通,不影响原有业务的情况下,实现秒级的实时同步到OTS中DTSDTS数据数据同步同步块存储传统开发方式传统开发方式Serve
19、rlessServerless 开发方式开发方式函数计算函数计算-工程效率工程效率块存储POSPOS自助收银自助收银鲸选鲸选APIAPI网关网关PMSPMSOTSOTS大数据分析大数据分析MaxcomputeMaxcompute函数计算函数计算访问全链路访问全链路高并发低延迟低成本海量数据增量处理分析结果回流分析结果回流并发数并发数平均平均TPSTPS响应时间(响应时间(ms)ms)500591.431141.391000676.511789.5性能无限伸缩性能无限伸缩5001000安全不留死角安全不留死角访问控制操作审计数据安全网络安全运行时安全请求进行身份认证,任何云资源操作需经用户显式授
20、权系统记录所有服务/函数的变更操户代码以及环境变量等敏感数据加密存储防止3/7层 DDoS攻击,严格的网络访问限制和 ECS 相同级别的隔离强度,周期性重置运行环境,及时应用安全补丁成本绝不浪费成本绝不浪费按月预付粗粒度弹性使用资源函数计算3 3个月个月项目周期减半项目周期减半VSVS6 6个月个月各系统沟通50%PMS开发50%各方全动员后期维护时间无期项目进度可控项目人员减少项目可复制性强阿里云开发者社区扫码加入社群与志同道合的码友一起Code UpCode Up谢谢!郝树伟阿里云智能高级工程师阿里云智能高级工程师云原生化的迁云实战CONTENT阿里云容器服务简介整体迁云方案设计应用改造与
21、优化典型案例阿里云容器服务优势在支持标准kubernetes的基础上,ACK(阿里云容器Kubernetes服务)提供了更多与用户息息相关的能力提升弹性可靠IaaS可靠、稳定的IaaS最大的弹性化与低廉成本全球化接入容器安全与信任安全架构与修复强大阿里云安全支撑最佳容器实践海量用户经验总结阿里云深度整合,双11验证创新与生态云原生与阿里体系融合Serverless创新与神龙裸金属加持阿里云容器服务-ACK主要优势点对比点成本弹性IaaS高度融合实践经验性能与优化阿里云ACK自建K8S免费master托管+专业服务Master资源费+研发与运维投入HPA,Autoscaler,Serverles
22、s AddonHPA自动对接SLB/VPC/云存储/SLS自建对接海量客户验证+阿里双11验证自己摸索神龙裸金属+Terway网络提升自建网络损耗30%安全与加固快速安全响应和修复+一键升级延迟+人工修复开服地域容器服务ACK与阿里云的所有region保持一致,只要有阿里云的地方就有容器服务ACK美西美东欧洲中东日本新加坡吉隆坡雅加达澳大利亚香港华东华北华南CONTENT阿里云容器服务优势整体迁云方案设计应用改造与优化典型案例数据搬迁监控切换日志切换集群规划流量切换/并网基础架构安全镜像安全K8S应用安全管理容器镜像优化应用适配优化应用层监控APM基础设施监控容器CaaS层监控集群自动伸缩虚拟
23、节点优化镜像迁移数据库迁移配置/密钥迁移存储数据迁移Yaml改造服务接入方式变更应用yaml导出镜像地址变更存储方式变更容量规划网络规划机器选型安全防护提升应用优化监控切换运维自动化增强SLS代替开源/自建方案日志切换数据迁移应用改造生产流量切换集群规划CICD迁云到阿里云迁云到阿里云KubernetesKubernetes服务服务交付应用面控制面商业面规划成本评估可用性规划平台层安全治理模型计算、存储能力新建K8s集群应用配置管理应用运维资源运营性能和稳定性监控自服务运维迁移K8s集群网络联通、隔离评估成本优化集群扩缩容应用配置安全治理网络规划云服务价值定位TCO优化场景优化集群升级核心关注
24、:稳定、成本、效率阶段角色业务架构师IT架构师系统管理员应用管理员应用管理员系统管理员企业容器化生命周期模型高可用配置容量规划数据迁移、准备Day 0 Day 1 Day 2 压测、混沌工程发布策略安全审计性能调优CI/CD流程备份、修复成本核算资产管理全站迁云架构思路迁云整体迁移平滑迁移多集群混合组网单集群混合组网数据搬迁网络互通流量切割流量分配资源分配已有自建K8s 容器集群云端或IDC企业应用阿里云镜像服务迁移工具容器镜像、配置容器化应用迁移工具、服务阿里云容器集群阿里云弹性基础设施计算、存储、网络、安全迁移弹性资源伸缩全球化部署运维自动化运维安全软件供应链自动化故障恢复企业级安全多云、
25、混合云管理TCO优化管理提升系统高可用容器化整体迁云整体化监控敏捷高效集成DevOps阿里云优化整合灰度发布容器化整体迁云KubernetesAPI ServerEtcdVeleroBackup Controller with Aliyun supportImage Sync Tool自建 DockerRegistryOS Image MigrationToolECS自定义镜像自动化配置同步策略阿里云镜像服务企业版OSSVelero配置、数据阿里云容器集群迁移工具创建自定义镜像pushsyncbackuprestoreRAM用户管理权限配置用户IDC数据搬迁-可靠迁移是关键数据库数据库文件文件
26、/对象存储对象存储容器镜像容器镜像YAMLYAML存储数据ConfigmapConfigmapSecretSecretK8SK8S数据对象/文件存储数据迁移数据在线迁移服务DOMSDOMS迁移工具OSSimport/SDKOSSimport/SDK离线海量数据迁移闪电立方容器迁云-平滑迁移镜像数据快速导入云企业网支持跨IDC容器/主机互联DTS实时数据复制智能DNS配合支持流量切割DMOS配合存储数据迁移K8S配置数据一键导入日志、监控、安全无缝对接/切换静态迁移流量迁移快捷性安全性并行性整体K8S搬站Configmap/SecretDeploymentPODPODPODServiceIngr
27、ess自建K8SDeploymentPODPODPODServiceIngress阿里云新建K8SMysqlData FileImageDTSDOMSISTnas文件存储oss对象存储RDS云数据库POLARDB镜像仓库阿里云智能DNS数据迁移交付服务流量割接搬站交付服务配置迁移YAML重建对象Active-Active 部署CONTENT阿里云容器服务优势搬站方案设计应用改造与优化典型案例应用改造应用优化遗留系统容器化迁移利用Istio Mesh Expansion逐渐实现云原生改造和迁移应用容器化迁移应用容器化迁移网络环境依赖迁移数据迁移Convert to Docker ImageSta
28、rtCapture VM imageBackup VolumeCapture Network ConfigCustom Docker image(optional)Generate PVGenerate StatefulSetGenerate Virtual ServiceDeploy to K8sEndPush to registryRestore Volume on CloudCONTENT阿里云容器服务优势搬站方案设计应用改造与优化典型案例云原生化迁云一体化管理DIY阿里云智能迁移工具专业服务一体化监控一体化安全一体化运维一体化优化资源成本优化运维成本优化开发成本优化安全成本优化开发效率
29、提升利用率/性能提升弹性提升高可用/容错提升案例:多云多地域部署支持全球用户应用将会同时服务来自亚洲、美洲、欧洲、澳洲等各地域的用户,对用户体验有相当高的要求.目前团队规模有限,需要比较成熟又简单易用的微服务治理方案,最好能与K8S深度集成.当前应用全链路:Client=Frontend=BFF=Cache=Service=DB(注:BFF stands for Backend For Frontend)典型案例为客户提供全方位支持,让客户聚焦业务创新ACK案例案例1 1大规格ECS高性能网络插件支持支撑高并发弹性扩展案例案例6 6小程序搬站客户;业务全部容器化支撑客户快速迭代案例案例5 5线
30、上与线下资源统一调度IT、算法与业务的高度融合数据分析与交付不再成为业务发展的瓶颈案例案例4 4AWS搬站客户大规模GPU机型使用提供深度学习解决方案案例案例2 2针对不同工作负载,优化异构资源调度提供AI应用全生命周期管理支撑4亿用户愉快吃瓜案例案例3 3从IDC K8S迁移到阿里云ACK大规模使用ACK大规格神龙服务器使用需求谢谢!简志阿里云智能资深技术专家阿里云智能资深技术专家基于AIOpsAIOps的探索和实践AIOps 能带来什么?无人驾驶VS智能安全+运维管控平台增加IT系统安全+稳定性+可用性减少人力+硬件投入提升整体效率增强公路安全减少车祸发生缓解交通拥堵+停车难问题减少空气污
31、染DockerServerlessCI/CD自动化测试更快的发布没有故障快速恢复无安全问题快速分析更低的风险VS飞天研发史:人与机器斗争史工具时代大量监控工具Portal进行集成202产品服务时代产品服务标准化接入SLA同一套方法论4005迈向智能化数据驱动算力加速2.4W10DevOps 多重角色开发开始:100%研发开发中:50%研发50%测试上线中:60%运维40%运营上线后:30%运维40%运营30%安全汇总、生成故障初步结果 数据采集+清洗 建模与规则 研发、运维、运营的挑战LogsRule EngineEvent安全场景:安全事件管理/运营AlarmUser ClickMetric
32、Dashboard运营场景:活动跟踪与留存过滤统计ReportMetric监控场景:监控线上业务负载,并进行告警DashboardRule EngineAlarm观测源处理操作LogsRule EngineDashboardAlarm日志分析场景:Access Log中突发错误定位对结果进行Drill Down、Refine模型海恩法则(Heinrichs Law)指出:每一起严重事故背后,必然有29次轻微事故和300起未遂先兆以及1000起事故隐患。可观察性的挑战3.Compute1.Collection4.Visualization2.Pub-Sub5.Action99%3 Second?
33、1.1.更快的响应更快的响应原始数据不同维度聚合2.2.更多的视角更多的视角秒级延时分钟级延时3.3.深入的细节深入的细节统一的数据模型,通用架构,面向分析类的设计配置变更文件监控用户点击访问日志数据源移动端物联网容器上下文Context Lookup实时 tail-fLive Tail智能聚类Log Reduce智能预测+诊断Machine Learning查询分析Search/Analytics查询分析交互式可视分析告警通知Webhook第三方:Grafana,DataV,Tableau可视化TracingLoggingMetricSec、Dev、Ops 解决问题思路观察定位搜集查询交互式
34、查询上下文聚类建模预测Knowledge BaseRoot Cause Analysis判断查找:查找:GrepGrep大法好大法好tracingtracingmatchmatchpgmpgm常见三种形态通用问题2:上下文是什么来源区分最小粒度单机日志文件IP+文件K8S StdoutContainer+POD+Namespace+StdoutK8S FileContainer+POD+Namespace+FileDocker+文件嵌入式SDK线程LogBack/Log4J线程上下文:发现问题后,可能引起问题的前置条件 或 后置结果通用问题2:上下文的实现服务端乱序存储4
35、423命中日志同一个Thread,维护单调递增ID根据递增序号找到下一个包查询(80%)结果分析(20%)通用问题3:SQL分析监控场景下:流计算与交互式分析差别分析:实时查询、SQL计算、定时任务(告警)可视化:仪表盘(动态、交互、深钻)ComputeVisualizationStorageStorageIngestionExplorationAlarmsave as alarmdrill downVisualization一天数据10个维度,需要对其中6个维度进行统计:IP、Method、Bucket、Host、URL、Ref 计算 Latency、QPS、Throu
36、ghput查询频率一般高维数据,进行预计算代价+灵活性通用问题4:聚类Error 日志有几千条,重要信息被淹没几十个实例,其中有1-2个不正常,如何排查?超时SQL,有哪些形态?文本排除法grep v cond1|grep-v cond2|grep vcond3|grep v cond4|grep v 均值/最大值排除法按平均值排序,找到不符合分布的实例通用问题4:聚类(时序聚类)通用问题5:异常发现1.方法1(同比、环比函数)2.零售日历问题节假日、周末会比工作日带来60%以上营收。因此每个月进行预测时,往往会随着月的大小周(例如5个周末vs 4个周末)造成比较大的偏差。通用问题5:异常发现
37、(时序建模)1.时序建模2.模型检测通用问题6:根因分析工程师的猜疑链:一个网站流量由很多因素构成,例如服务器、机房、地域、服务接口等。对网站总流量而言,当有陡升陡降时,往往需要快速定位原因?例如流量下跌7%因为用户侧、网络侧、还是服务器机房引起的?如果是用户侧的问题究竟是某个省市的突然断流了?或者是某个省市的运营商突然中断?通用问题6:根因分析(关联规则)统计方法:关联规则统计方法:带对比的关联规则通用问题6:根因分析-引入时序维度(预测与偏差)原始数据分为多个维度(Dimension)+维度下属性(Attribute),要解决一个搜索+组合问题。例如Province维度下有Beijing、
38、Shanghai等地域,ISP维度下有Unicom(联通)、Mobile(移动)等运营商。算法需要找到一组集合,最能反映出直接引起汇总KPI的异常关联性通用问题6:根因分析-Demo通用问题7:领域建模与本体构建SLBECSECSECSPodPodAppVPC1监控数据Logging/Metric/Tracing应用网络探测AHAS变更系统 IP/Host提取 日志解析加工OpenAPICMDB静态数据抽取 API导入 CMDB打通知识推理 通过规则建立联系存储/表示 关系表示 语义实体1.故障搜索1.故障搜索(定位根因)2.VPC 是否需要扩容3.XX做了多少变更2.问答(ChatOps)趋
39、势预测 断层识别 智能基线 周期发现 序列分解异常发现 自动学习 趋势预警智能聚类 时序聚类 日志(事件)聚类根因推导 KPI定位 频繁模式 差异模式成本费用中心账单预测ECS库存调度云管平台AIOps多云管理安全异常入侵检测AIOps 算法落地场景:谢谢!黄玉奇阿里云智能高级技术专家阿里云智能高级技术专家吴龙辉阿里云智能技术专家阿里云智能技术专家基于边缘容器的阿里云CDNCDN云原生实践边缘计算及阿里云容器服务边缘容器介绍阿里云边缘容器助力打造“云边端一体化”边缘计算基础设施边缘云计算-“云边端一体”“云”中心云,又称传统云计算。管控端,全网算力统一管理与调度,与边缘协同。“边位于边缘云计算
40、中的边侧。靠近设备和数据源的计算资源,用于部署边缘侧应用。可能是云厂商也可能是用户自己的边缘节点。“端”位于边缘云计算中的端侧,即设备端。跟据 Gartner 的报告,到2020年全球连接到网络的设备将达到约208亿台。123Cloud“大带宽、低时延、大连接”边缘云计算是基于云计算技术的核心和边缘计算的能力,构筑在边缘基础设施之上的云计算平台边缘云五要素5.5.标准化统一且开放的服务接口。1.1.低时延边缘云计算可就近提供网络覆盖、数据存储和计算能力,设备数据的产生和计算可低时延就近处理.3.3.资源管理云端管控可灵活调度边缘应用运行在指定边缘侧。4.4.安全性网络安全、数据安全、租户隔离、
41、安全容器。2.2.边缘自治在中心云端管控网络断连的情况下,边缘节点可实现自治理,保证边缘侧应用的正常运行。云-边-端 一体化协同基础设施Infrastructure EdgeE.g.CDN,ENSDevice EdgeE.g.工厂、园区、楼宇、机场、设备网关CloudEdgeDevice云端统一管控边缘适度自制设备就近接入支持多种设备接入协议AI预测实时计算直播、转码5G5G开启万物智联时代提供从云-边-端统一的应用管理和运维体验支持不同系统架构和网络状况下,应用的分发和生命周期管理支持面向边缘、设备优化的访问协议、同步机制、安全增强+ACK Managed Kubernetes服务集成镜像服
42、务弹性日志、监控智能运维IOT/CDN PaaSEndUser二方云产品管控通道创新业务支撑编排FaaSCI/CDAI影像处理边缘FaaS边缘智能IoT流分析ENS自有计算资源Edge Cluster InstanceManaged ClusterInstanceServerless ClusterInstance资源接入cloud edge应用管理资源管理安全serverless游戏行业视频行业边缘网络成本IOT行业.数据库机器学习.服务接入、集成边缘serverless应用市场服务接入K8s API异构计算资源接入.资源调度应用管理.Edge Container边缘安全性边缘效率边缘可靠性
43、边缘成本视频提供方视频用户在线教育视频会议天津联通ENSdocker业务应用ENSdocker上海移动ENSdocker业务应用ENSdocker工厂集群VMdocker边缘应用BMdocker智慧园区VMdocker边缘应用BMdocker阿里云容器服务 EdgeACK价值为EndUser提供云原生的边缘计算能力;为有边缘输出需求的二方云产品,提供标准、高效的下沉通道;产品形态被集成的IOT PaaS、CDN PaaS底座;Edge-k8s 托管服务;二方云产品服务边缘市场;核心竞争力在ACK产品技术体系基础之上,以云原生的方式提供边缘计算力,“云-边”一体;边缘容器安全性,多租,安全容器;
44、在弱网络连接状态下边缘节点的自治;将 AI 和数据分析部署到边缘;Edge-unit-1EdgeCloud(ACK Managed K8s)内网SLBAZ-aAZ-bAZ-cK8s Master PodK8s Master PodK8s Master PodAdmin node(ECS)日志控制器Helm/TillerMetricServerEdge nodeEdgeHubEdgeHubkubeletkubeletkubeproxykubeproxyflannelflannelEdge nodeEdgeHubEdgeHubkubeletkubeletkubeproxykubeproxyflan
45、nelflannelEdge-unit-2Edge nodeEdgeHubEdgeHubkubeletkubeletkubeproxykubeproxyflannelflannelPodPodPodPodPodPodEdgeTunnelServerEdgeTunnelEdgeTunnel公网EIP节点证书离线数据节点证书离线数据节点证书离线数据边缘资源控制器EdgeTunnelEdgeTunnelEdgeTunnelEdgeTunnel设计原则:设计原则:标准化 No overhead 边缘高可用 一致体验方案要点:方案要点:云管边架构;边缘自治;Edge unit;云边双向通道;边缘节点:支
46、持ENS和用户自有节点;独占集群,解决多租问题;EdgeACK 整体架构nodeEdge-HubEdge Kubernetes MasterKubelet证书数据Kube-proxyFlannelCloudEdgeHttpsHttpPodPauseeth0Bridge(cni0)Flannel.1(eth0)Route (Dst:subnet,iface:flannel.1)ARP:22:82:65:ad:8e:92 flannel.1PodPauseeth0FDB:22:82:65:ad:8e:92 dev flannel.1 dst 192.168.0.98DNSnodeEdge-HubK
47、ubelet证书数据Kube-proxyFlannelHttpPodPauseeth0Bridge(cni0)Flannel.1(eth0)Route/ARPPodPauseeth0FDBDNSservicevxlan(UDP)EdgeACK 边缘自治能力背景:背景:Kubernetes IoT/Edge WG组织的一个调查显示,30%的用户希望在边缘部署完整的Kubernetes集群,而70%的用户希望在云端部署Kubernetes的管理面并且在边缘节点上只部署Kubernetes的agent目标:目标:云边断网时,保障边缘业务连续性方案:方案:Edge-hub缓存云端的数据,所有系统组件均
48、从Edge-hub获取数据 业务容器重启,Pod IP保持不变 宿主机重启时,flannel vtep的MAC地址保持不变Edge KubernetesCloud驱逐策略调度策略EdgeUnit发布策略Edge边缘自治断网服务保持Pod ip保留服务自动恢复mac保持节点ENS自有节点LinuxWindowsDevices网络云边双向通道DNS下沉Networkpolicy智能DNSIngress安全监控日志LB存储云盘(ENS)三方存储(IoT)本地盘EdgeACK 能力规划扫脸娃娃机扫脸娃娃机云端边缘托管集群云端边缘托管集群智慧停车智慧停车多屏管理多屏管理物业管理物业管理导购导购客流客流千
49、人千面千人千面ConnectorConnectorSystemSystemRuleRuleEurekaEurekaConnectorConnectorSystemSystemRuleRuleEurekaEurekamoxamoxa电表电表指纹门禁指纹门禁速通门速通门N4N4设备设备余位显示屏余位显示屏车位检测器车位检测器路政设施路政设施环境传感器环境传感器停车小票机停车小票机客流量传感客流量传感客群识别客群识别特征摄像头特征摄像头地磁车位检测地磁车位检测超声车位检测超声车位检测人脸门禁人脸门禁道闸机道闸机导购屏导购屏边缘节点(边缘节点(EdgeUnitEdgeUnit)亲橙里亲橙里娃娃机娃娃机
50、IoTIoT边缘边缘PaaSPaaS管控管控云管控边缘节点端设备云管控 云边一致的云原生DevOps;边缘算力、边缘应用统一编排、调度;标准k8s接口;边缘端 边缘节点接入 边缘节点自治、网络自治;边缘业务高可用保障;EdgeACK 落地案例 IoT智慧楼宇阿里云CDN的边缘容器实践基于边缘容器打造阿里云CDN边缘计算架构阿里云阿里云CDNCDN覆盖全球覆盖全球 六大洲六大洲,7070多多个国家,个国家,2500+2500+全球节点全球节点国内国内2000+2000+、海外、海外500+500+节点;全网带宽输出能力为节点;全网带宽输出能力为120Tbps120Tbps基础设施窄带高清边缘计算
51、能力DCDNSCDN实时音视频通信智能调度转码服务多端SDK安全机制FRUC技术云端剪辑视频采集视频审核HTTPS日志管理DDoS清洗动静分离精准控流SLA保障弱网对抗算法全链路灾备DRM云导播台画质增强定制化模型训练智能媒资管理视频会议移动视频SDK视频智能生产加工智能视频信息分析系统VR直播互动直播大型体育/电竞/综艺直播8K直播互动课堂视频DNA智能视觉 模型训练视频安全平台技术行业应用CDN链路质量系统调度系统CDN边缘节点源站媒体处理中心链路探测路由选择协议压缩协议优化策略中心HTTPDNSDNS302调度直播点播下载动态实时音视频L1L2LnLnL2L2L1L1L1云中心端用户CD
52、N本身就是天生的分布式边缘计算平台Apsara Edge Stack技术体系城市大脑视频业务在线教育场馆互动客户合作伙伴阿里云虚拟化组件及系统(计算,网络,存储,安全)生态构建算力资源头部ENS基于体验的边缘计算分发调度PaaS平台vCDN视频AIRTC其他微服务平台服务腰部底座标准化的边缘机房及硬件设施Apsara Edge Stack技术体系技术发展:技术发展:CDN正在从以内容分发服务为主转变为边缘计算。阿里云ENS就是基于CDN的边缘节点服务,提供分布式算力资源。业务形态业务形态:CDN传统业务 可编程CDN 视频云 ENS边缘计算IDC城市Edge PaaSEdgeKubernete
53、sEdgeKubernetesEdgeKubernetesEdgeKubernetesIDC城市IDC城市IDC城市IDC城市IDC城市IDC城市IDC城市IDC城市CDN节点广州电信物理机物理机容器容器ENS节点厦门电信物理机物理机容器容器vCDN节点深圳移动物理机物理机容器容器多地域管理全局资源调度易构资源接入基于Edge Kubernetes资源调度 CDN/ENS资源整合和调度 多地域管理+集群邦联 全局资源调度+资源弹性基于Edge Kuberentes的中台管控PaaS全局资源调度Edge KubernetesKubeletKubelet数据通道POD监控/日志中心数据采集监控/告
54、警日志/计费全球镜像分发IDC内容管理内容管理AgentAgentRegistry MirrorRegistry Mirror宿主机PouchdPouchdAppStore包管理镜像管理配置中心管控服务管控服务CDN内容管理IDC阿里云控制台内部控制台 数据管控 镜像通道 管控通道IDCIDCCDN边缘节点架构升级统一接入层/协议网关ServiceMesh点播CDN业务平台直播动态加速PCDN可编程CDNOpenAPI函数计算容器服务创新服务中台流量调度缓存安全容器资源调度虚拟网络数据存储物理机ENSMEC定制硬件CDN基础能力边缘计算基础能力基础设施 容器化 API化 服务化Edge ACK
55、边缘镜像边缘网格边缘运维边缘覆盖网络边缘管控网关IDCkubletApp合作节点共享节点容器App控制台OpenAPI招募合作自建边缘管控网关kubletApp容器App边缘管控网关kubletApp容器AppEdge PAAS节点租户编排调度库存日志管控日志监控容器服务可编程CDN配置计费镜像供应链中台边缘管控网关交付监控巡检DCDNEdgeKVEdgeStore边缘产品能力AoneFreedom云效EdgeMeshEdgeServerlessEdgeAI边缘生态能力基于edge ack的cdn边缘计算体系谢谢!贾舒阿里云解决方案架构师阿里云解决方案架构师云效DevOpsDevOps探索和实
56、践助力企业数字化转型DevOps效果演示持续反馈持续集成持续交付持续部署需求以小批量形式在团队的各个角色间顺畅流动,DevOps能够促使在较短周期完成小粒度需求的频繁交付,并且在这个过程中,各个角色密切协作。(双态运维联盟定义)一种软件开发实践,即团队开发成员经常集成他们的工作,通过每个成员每天至少集成一次,也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建(包括编译,发布,自动化测试)来验证,从而尽早地发现集成错误。(百度百科)一系列的开发实践方法,用来确保让代码能够快速、安全的部署到产品环境中,它通过将每一次改动都提交到一个模拟产品环境中,使用严格的自动化测试,确保业务应用和服务
57、能符合预期。(百度百科)通过借助基础架构编排、应用编排、PaaS平台等工具并将需求持续自动部署到目标环境中,并借助红绿部署、灰度发布等手段进一步降低部署到生产环境的变更风险,提升变更成功率。(双态运维联盟定义)DevOps理念核心内容1234集成测试系统测试代码编写构建部署单测集成提交发布代码管理按应用管理代码平台化构建管理灵活分支模式平台化拉取应用代码0成本单测集成邮件即时反馈代码质量代码高危漏洞准确识别CI代码触发集成一键构建开发、测试包一键申请/部署测试环境测试管理系统发布区块、队列发布、回滚合并主干代码自动构建集成包自动部署测试环境集成自动化测试件自动回归低成本编写/维护自动化脚本一键
58、造数据云效产品套件AtonAmonAtonAenv云效测试管理云效AUI云效Databank云效集成云效交付可靠可重复交付的流水线(标准化、流程化、自动化)代码包项目/Feature阿里云EDASAliDocker蚂蚁SofaPAAS底座行方自建PAAS云效StarOps需求云效-一站式DevOps平台效率提升一站式交付自动化回归研发资产沉淀度量持续改进研发运营代码漏洞分层自动化质量提升双模支撑应用视角看需求需求视角看应用研发协同敏捷项目管理可视化价值流持续反馈:项目管理如何更快速、更精准的交付PMO:定义总体框架流程团队顶级项目产品线A产品线B产品线C市场反馈池产品需求池日常项目专项项目1专
59、项项目2专项项目3专项项目用户:反馈问题专项项目4产品:重视需求 MVP研发:日常迭代PM:管理专项项目研发:实现、测试、发布问题需求迭代实现迭代迭代可灵活启用需求任务缺陷迭代测试用例环境自动化(UI/接口)单测集成性能测试报表项目动态即时滚动项目公告-项目重要信息-通知全员项目概要信息&周报入口-进度-时间段-状态-本周进度概要及-下周计划项目里程碑项目成员项目风险子项目-子项目列表,含状态、进度、时间段、负责人等关键信息阿里巴巴DevOps持续反馈:项目管理之项目概况搭建DevOps持续交付的高速公路-分层自动化测试页面系统HtmlVm业务集成Service BO底层服务DAO远程接口底层
60、服务UISERVICEUNIT自动集成覆盖率可度量用例准备、维护简单环 境数 据录制、多元定位、可视化维护多环境数据自动构造Dubbo/HSF/SOFAWebService/Swagger代码规约、单元测试、数据运营分层自动化持续验证方案-单元测试无需编码,自动解析接口及所需参数,页面创建接口自动化测试用例页面直接填写调用参数,支撑多种参数类型分层自动化持续验证方案-接口测试直接指定IP进行服务调用接口自动化(用例串联,参数传递)Mock平台创建维护均可视化,无需编写脚本,可应对互联网快速的业务变化所带来的脚本维护成本开销直接在页面编辑每个动作步骤,可更直观地进行维护分层自动化持续验证方案-UI测试可以制作公共脚本,数据驱动,连接数据库做数据库校验,支持硬件模拟信号输入集成自动化环境隔离持续部署方案 为每个Feature分支部署独立的测试环境进行测试及集成(环境路由隔离)敏捷实践指标获取云效助力企业数字化转型