《飞天操作系统中国科技的创新力量(21页).pdf》由会员分享,可在线阅读,更多相关《飞天操作系统中国科技的创新力量(21页).pdf(21页珍藏版)》请在三个皮匠报告上搜索。
1、唐 洪 阿里云首席架构师飞天 互联网规模的操作系统Apsara:an Internet-scale Operating System互联网规模的基础设施RegionRegionRegionRegionRegion阿里巴巴骨干网阿里巴巴传输网边际网络Internet-scale Infrastructure大陆五个区域:华北(两个)、华南、华东(两个)大陆以外十个区域:香港、新加坡、美西、美东、日本、印度、迪拜、德国、悉尼、台湾边际网络:全球600多POP节点、带宽储备超过20T应用商店输入输出系统调用账号管理 权限控制 OS内核PC硬件云市场接入层:数据传输、内容发布、网络接入云服务层:云服务
2、的Web API云服务层:账号、认证授权、计量、结算内核层:数据中心级别的集群计算系统物理层:互联网规模的基础设施PC 操作系统飞天云市场:VM镜像、容器镜像、编排模版、API服务计算数据库存储网络连接编排服务:弹性伸缩、资源编排、通知队列、分布式事务管理数据智能:商业智能、数据开发、人工智能安全服务:秘钥管理、云盾遍布全球的几十个数据中心、数百个POP节点云市场云服务层:云服务的Web API云服务层:账号、认证授权、计量、结算内核层:数据中心级别的集群计算系统物理层:互联网规模的基础设施接入层:数据传输、内容发布、网络接入数据传输内容分发网络接入分布式协同日志采集监控报警、跟踪诊断盘古:分
3、布式存储管理伏羲:分布式资源调度天 基 自动化运维安全管理账号认证授权计量结算兼容MapReduce支持SQL、流计算、图计算开源托管产品:Hadoop MapReduce、Hive、Pig、Spark计算ACSECSMaxComputeFunctionCompute 轻量 重量/Compute 离线、容量EBSNASOSSOSS-IAOAS存储/Storage 实时、在线分布式:AnalyticDB、OceanBase、PetaData单机:RDS开源托管产品:Redis、MongoDB、HBase、Greenplum关系型数据库弱结构 强关系OCSTableStore数据库/Databas
4、e VPC互联VPCSLBNAT网关网络/Networking 低扰的高精度监控跟踪默认开启、7x24、秒级采样 全精度用户请求跟踪High-resolution Monitoring and Tracing with Minimum Overhead 基于共享内存的数据采集:多进程并发无锁写入,zero-copy 时间戳获取:13ns vs 40ns 随机标识生成:4ns vs 16ns 支持每秒上百万事件的采集 指令级别的性能优化Instruction-level Optimization 自动化运维挑战 Challenges of Autonomous Operation 硬件上架应用部
5、署应用启动应用迁移硬件下架幽灵节点 灰度发布 线上调试OS克隆OS升级应用升级天基:从批处理到状态机 Tianji:from Batch Step Processing to State Machine将部署、升级、迁移变成常态 精准控制系统运行状态天基Master部署、升级、扩容、下线、配置变更预期状态当前状态AgentAgentAgentAgentAgent面向恢复的计算模型 Recovery-oriented Computing Model执行计划统一的存储管理 基于Paxos的高可用架构 单集群一万台服务器,十亿级文件数,EB级别存储空间盘古:分布式存储管理 Pangu:Distrib
6、uted Storage ManagementCSCSCSCSPaxos默认三副本数据冗余,分布在不同机架,数据可靠性达到10个9 支持跨数据中心的副本分布数据可靠是最高优先级 Data Reliability is the Highest Priority纠删码模式数据冗余:同样数据可靠性,存储开销从3x降低到1.375x数据可靠是最高优先级 Data Reliability is the Highest Priority端到端的数据校验:防止数据读写链路上的任何环节的问题导致数据发生错误数据可靠是最高优先级 Data Reliability is the Highest Priority并
7、发冗余恢复:确保故障后数据即刻恢复冗余数据可靠是最高优先级 Data Reliability is the Highest Priority恢复速度受限于硬盘写入带宽 最快27小时恢复冗余 前台应用无法读写硬件替换原地恢复 Hardware Replacement with in-place Recovery8TB8TB8TB8TB8TB8TB8TB8TB恢复速度与集群规模成反比关系 万台规模集群,不到一分钟恢复冗余 前端应用完全无感知 盘古:并发冗余恢复 Pangu:Parallel Redundancy Recovery with Traffic Throttling 资源调度的挑战 Ch
8、allenges of Resource Scheduling负载均衡 复杂的调度约束万台集群规模 多维度资源请求 额度控制资源调度增量调度:一次请求、多次分配Fuxi Master单集群规模一万台,10万个进程,毫秒级响应2015年排序竞赛四项冠军,100TB排序377秒完成APP MasterAPP WorkerAPP WorkerAPP WorkerAPP WorkerAPP WorkerAPP Master两级调度:批发零售日常利用率:5%vs 54%峰值利用率:22%vs 64%弹性额度 离线在线混合调度兼顾效率与公平 Achieving Efficiency and Fairnes
9、s额度超售实际使用额度拉伸30%10%10%20%20%40%30%50%50%27%80%30%30%60%53%总和150%70%90%130%100%资源复用率额度收缩互联网规模的操作系统规模 Scale性能 Performance效率 Efficiency高可靠 Reliability 高可用 High Availability 开放 Openness指令级的性能优化 毫秒级资源调度响应 2015年排序竞赛四项冠军,100TB排序377秒完成弹性额度 离线在线混合调度 基于纠删码的数据冗余基于Paxos的高可用设计 高可用架构设计,无故障单点标准化的Web API接口 丰富的产品体系 支持基于开源软件的托管服务 云市场支持四大类云服务模式自动化的部署升级、扩容修复 默认三副本数据冗余 端到端的数据校验 并发的冗余复制管理互联网规模的基础设施 数据中心级别的计算内核,单集群规模达到1万台Alibaba Cloud,More than just cloud为了无法计算的价值