《3-2 大数据平台 MaxCompute 公有云多租户设计.pdf》由会员分享,可在线阅读,更多相关《3-2 大数据平台 MaxCompute 公有云多租户设计.pdf(21页珍藏版)》请在三个皮匠报告上搜索。
1、董国平 阿里云-计算平台事业部大数据平台MaxCompute公有云多租户设计CONTENT大数据平台多租户形态强多租的优势与挑战MaxCompute多租实现why&后续演进目录多租户形态database独立实例级别,支持RBACcontrol管控面统一,独立计算资源shareeverything从管控到计算和存储可扩展性、系统复杂度和安全要求优势挑战单租计算+开放存储AWS EMR和Databricks等可以支持强大的UDF多云支持资源的粒度、弹性扩缩容云存储的读写效率中间数据的保存优势挑战多租计算+内部存储BigQuery和MaxCompute等极致弹性,按实际计算付费native on存储
2、,带宽,定制优化UDF的支持云主机的限制CONTENT大数据平台多租户形态强多租的优势与挑战MaxCompute多租实现why&后续演进目录多租的优势开箱即用无需创建独立资源极致弹性秒级扩容按需计费按照实际计算开销收费成本集群内削峰填谷多租的挑战存储云存储/内部存储调度大规模/公平调度运行时安全隔离网络网络定制与隔离多租的挑战资源调度更关注大规模场景的性能和可扩展性,而安全则是整个方案是否可行的关键CONTENT大数据平台多租户形态强多租的优势和挑战MaxCompute多租实现why&后续演进目录企业级云数仓全托管Serverless强多租实现MaxComputeMaxCompute在多租上的
3、实现-存储l 内部存储-pangul 基于capability的权限模型l 分布式访问/native优化MaxCompute在多租上的实现l 资源管控-调度可扩展,超大规模公平调度算法Failover机制资源形态 预付费和后付费MaxCompute在多租上的实现l 资源管控-runtimecgroup资源管控作业启动方式cpu/gpuMaxCompute在多租上的实现l 轻量级安全容器l UDF和三方代码l 性能和稳定性MaxCompute在多租上的实现l 网络隔离与打通l 性能和稳定性MaxCompute在多租上的实现l 强大的UDF和网络能力(湖仓一体)提供python和java的udf,访问本地IO和公网网络实现按照作业级别的vpc网络打通能力,访问湖上数据l 混合计算形态开源引擎spark等机器学习paiCONTENT大数据平台多租户形态强多租的优势与挑战MaxCompute多租实现why&后续演进目录whyl 兼容hive udf和支持开源生态l 提供最小粒度的资源形态、极致弹性、成本优势l 集团数据安全的要求-多租安全演进方向开放存储单租计算多云