1、我看分布式系统架构设计和阿里实践林伟阿里云大数据计算平台资深架构师自我介绍 2002-2005：CPU设计和操作系统 2005-2009：分布式协议开发，存储系统的开发 2009-2015：Bing&Cosmos&Scope 2015-至今：阿里巴巴计算平台分布式系统发展并行单元互联晶体管导线运算单元集成电路多Core高速总线多CPU订制网络多机商用网络分布式系统设计中的变与不变 资源特性 二八原则 系统繁简变换 一致性协议 MaxCompute大数据计算服务(MaxCompute)是一种快速、完全托管的PB/EB级数据仓库解决方案。具备万台服务器扩展能力和跨地域容灾能力，是阿里巴巴内部核心大

2、数据平台，支撑每日百万级作业规模。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。MaxCompute性能1M+日任务40000+机器单机群上万EB存储8000+开发者2XHadoop性能1/3$Amazon EMR1M+表1500+项目377s100TB sortMaxCompute架构盘古（分布式存储系统）伏羲（分布式调度系统）MaxCompute Engine流计算图计算Batch内存计算机器学习MaxCompute LanguageSpark APIBeam APIHive API应

3、用生态不变：资源特点的相对关系高性能低性能低成本大容量高延时高成本小容量低延时变的：各资源绝对性能，种类MaxCompute：如何处理多种资源特性上到达最佳性能cacheSSDSATA(多副本）SATA Erasure Encoding（1.5X）热冷MaxCompute：Reshuffle中容错和性能的矛盾Reshuffle数据需要落盘，因为Resuffle把多个机器联系起来，出错概率大大增加但是落盘大大降低了系统的性能，但是如果只是简单用network的方式来Shuffle数据，则不能容错CCPPPMaxCompute：容错和性能平衡 采用Network-Disk的可自适应性的channe

4、l来进行Data-ShufflePCWriteRead保存在内存中保存在盘古中不变：应用中的二八法则80%的访问集中于20%数据20%的MaxCompute的项目贡献80%的任务20%的任务占用80%系统资源80%的新数据访问发生在最近20%的时间段中变：二八指代的对象,程度随业务不同而不同 流计算用户80%对latency更为看重 批处理用户80%对throughput更为看重 我们BI系统希望服务好高频的20%的数据，使得80%的访问都达到毫秒级 MaxCompute API取舍（二八法则）80%数据工程师 关心数据本身特性，数据分析需要做什么 如何高效做由MaxCompute来选择 SQ

5、L+UDF:Declare Language20%具有分布式开发经验程序员 希望精确控制分布式程序的执行 能够比系统生成出更加高性能分布式执行计划 Lambda+SQL算子：函数式程序语言MaxCompute API层次SQL+UDF pluginMax用户Non-SQL的扩展由UDF API定义能够让用户对其UDF规范和描述，说明从外看起UDF的数据运算属性使得系统优化能够穿透Non-SQL的部分，从而到达更好的执行plan使得用户能够专注于其数据逻辑，系统进行全局优化来生成最优执行对系统优化器要求更高Non-SQL的driver+SQL算子用户Non-SQL的部分由外部driver提供具有

6、普世性数据运算通过在API实现的关系代数数据算子来提供数据处理优化器局限于SQL关系代数算子之间，碎片化优化用户需要更多考虑数据加工的分布式过程能够更加灵活，给用户更多选择去精确控制分布式运算MaxComputeSpark系统设计繁简以及之间变化简明设计API简约性能次用户易用维护性强系统Scale对系统优化要求高复杂设计API复杂性能优用户理解复杂维护性差系统难以scale对用户的要求高新业务，新需求，新问题系统软件成熟，更加优化两种思路正在融合 Spark：Scala-DataFrame，扩大关系代数程序范围，从而系统能够有更大的空间进行优化 MaxCompute:提供DataFrame算

7、子，融入程序式编程方式一致性协议以及其特性Paxos/Primary-Backup/Chain-Replication强一致性，弱一致性，最终一致性一致性要求越高，吞吐量越小，性能越低，协议越复杂，但是用户语义越简单但不同系统对一致性要求程度不同，对于出现错误的代价不同系统设计中常用方法空间换时间数据冗余：Replication/Cache/时间换空间数据编码，压缩API层次设计主API服务80%的业务群体，使得80%的业务能够最为方便享用主要服务同时提供底层API使得20%的群体能够自行解决系统中层次法复杂问题-分内外层-转变内层中二八法则指代或者改变其对资源需求-解决内层问题处理多种资源特

8、性上到达最佳性能 用其他资源来节省紧俏资源 CPU bound的任务shuffle数据的时候用非压缩，尽量节省CPU编码损耗，用存储换CPU IO bound的任务shuffle数据的时候进行压缩，节约数据传输量。时间空间系统设计中常用方法空间换时间数据冗余：Replication/Cache/时间换空间数据编码，压缩API层次设计主API服务80%的业务群体，使得80%的业务能够最为方便享用主要服务同时提供底层API使得20%的群体能够自行解决系统中层次法复杂问题-分内外层-转变内层中二八法则指代或者改变其对资源需求-解决内层问题MaxCompute API层次用户扩展由UDF接口提供，使得

9、查询系统能够规范用户提供其UDF的数据特性，从而保留系统优化的能力在SQL的语言基础上再提供类似Spark/Beam程序化编程方式Spark/Beam/Lambda20%SQL80%UDFUDF系统设计中常用方法空间换时间数据冗余：Replication/Cache/时间换空间数据编码，压缩API层次设计主API服务80%的业务群体，使得80%的业务能够最为方便享用主要服务同时提供底层API使得20%的群体能够自行解决系统中层次法复杂问题-分内外层-转变内层中二八法则指代或者改变其对资源需求-解决内层问题层次化设计方法 复杂问题 难以在当前条件下解决分解 假设子问题已经解决下解决复杂问题转换

10、子问题在规模和二八指代发生变化 从而变为新的问题产生子问题MaxCompute海量数据访问 我们存储了EB级别的数据，拥有百万级别表格，许多表格具有数十万的分区，每天有百万的任务 如何能够打造一个高可用，高可靠，高性能的数据仓库服务层次化设计方法：MaxCompute 数仓的设计MaxComputeMaxComputeMeta ServerOTS（BigTable）Paxos一致性变强容量变小吞吐性能变小成本变高问题规模变小High throughputLarge scale(EB级别)Append-onlyReplicationLock Free强一致性数台机器High QPSMassive

11、 Update百G规模分布式系统设计中的变与不变不变 资源特点相对关系 应用中的二八定律 一致性协议以及和容错关系 API抽象，易用性和高性能，系统复杂性的矛盾 层次化设计方法变 各资源的绝对性能，种类 二八代表东西随业务不同，需求不同而不同 一致性要求，错误代价应业务不同而不同 系统成熟使得复杂慢慢变得简单 拆解问题角度架构师的经验 熟悉各种资源的原始特性 知识面宽，科学在各个领域其实是相通 大量阅读各种系统代码，从前人的代码汲取营养 实践出真知 两个数量级的性能变化系统的重新设计来追求新的平衡Question?兼容Hive拥抱生态，利用和回馈社区易用性，扩展性高性能，低成本持续可发展性多租户需要满足用户不同规模，性能，延时，运算形式上要求大规模万台单集群，多集群稳定，隔离，数据安全MaxCompute更为具体例子GroupBy a b=UDF（a）Group By bMMMRRFFRRRMMMRRFFRRUDF 单调