《离线实时一体化数仓与湖仓一体：云原生大数据平台的持续演进-大数据平台技术论坛（14页）.pdf》由会员分享，可在线阅读，更多相关《离线实时一体化数仓与湖仓一体：云原生大数据平台的持续演进-大数据平台技术论坛（14页）.pdf（14页珍藏版）》请在三个皮匠报告上搜索。

1、离线实时一体化数仓与湖仓一体 云原生大数据平台的持续演进林伟阿里云智能研究员010203Contents目录湖仓一体离线在线数仓一体化智能数仓确定建立一个开发、协同、繁荣的电子商务生态系统，其中生态系统的核心是数据。1688数据团队AliExpress数据团队淘宝数据团队天猫数据团队平台从分散到统一宁波战略会议各个业务团队垂直式发展数据能力2007年2012年2013年B2B数据服务化登月&电商公共层启动“中台战略”2015.12OralceGreenplumHadoopODPSBIEE集团CEO逍遥子：今天起，我们全面启动阿里巴巴集团2018年中台战略，构建符合DT时代的更创新灵活的“大中台

2、、小前台”组织机制和业务机制。建立OneData雏形建立OneService服务统一大数据平台全面推广OneData统一集团建设标准建立服务商家数据产品-生意参谋建立实时数据技术能力及双11媒体大屏建立服务小二的“阿里数据平台”2017开启“云上数据中台”集团全域数据深化数据资产的整合与建设-建立OneID体系。全面深入业务，构建数据赋能业务的产品及组织能力。从内而外建立了：Dataphin+Quick系列的产品矩阵目前已经服务1000+企业数据从资源到资产组织从成本到价值2021阿里巴巴从数据湖到数仓历程对比维度数据湖数据仓库方法论事后建模Schema-on-read事前建模Schema-o

3、n-Write存储类型结构化/半结构化/非结构化结构化/半结构化计算引擎向所有引擎开放各引擎有限优化向特定引擎开放易获得高度优化成本易启动难运维管理难启动易运维管理（甚至免运维管理）数据治理质量低难管理使用质量高易管理使用企业级能力灵活性数据仓库和数据湖业务规模总体拥有成本（TCO）特定规模前，数据湖灵活性占优，之后数仓成长性占优客户如何才能同时享受数据湖的灵活性和云数据仓库的成长性？数据湖云数据仓库数据仓库和数据湖系统的增长曲线登月Cloud Data Warehouse-MaxCompute存储计算分离计算计算.数据云存储存储计算一体HiveSpark.开放存储（HDFS）SaaS云数仓M

4、axCompute+On-perm Data lake开源自建数据湖Cloud Data lake开源云数据湖=湖仓一体新架构隔离&分享隔离&分享隔离&分享.开发平台/数据管理/介入访问（Web-UI/SDK/JDBC）认证&访问控制管理安全开发元数据任务型计算引擎(MaxCompute/PAI/Flink/Spark)交互式服务型引擎(Hologres）数据仓库实例（Multi-Projects）数据仓库1（ETL项目）数据仓库2（BI项目）数据仓库3（自助分析）数据仓库4（机器学习）自适应弹性资源池Inside HadoopInside OSSMaxCompute优化内置存储.HDFS存储

5、云存储（OSS）NoSQL存储（TableStore）数据仓库（MaxCompute内置存储）一体化的元数据一体化的湖仓存储访问层湖仓一体(如何避免登月)大数据计算规模化+实时化春晚直播实时大屏双 11 GMV 实时大屏城市大脑实时交通监测银行实时风控监测淘宝实时个性化推荐发展的相似性HadoopHiveMaxComputeFlink+离线数仓(MC)FlinkFlinkMC+Holo离线在线数仓一体化KafkaFlinkSubscriptionArchivingDim Table JoinHiveClickHouseDruidHBaseCassandraDrillPrestoRedisMys

6、qlAPIApplicationsReportsDashboardsResultCachingBatch Processing批处理Batch Acceleration 离线加速Federated Analytics 联邦计算Point Lookups 点查询Realtime Analytics实时计算结果缓存DataHub在线应用运营看版数据大屏MaxCompute服务分析Hologres实时数仓离线数仓实时计算Flink版数据总线从N到1，Hologres简化大数据架构企业数仓实践的“纷繁芜杂”数据湖实时离线数仓一体云化1 Day1 Hour10 Min1 Min7 Sec1 SecLat

7、ency100GB1TB10TBData Vol批处理（Batch）数据量大，资源消耗大由多个任务组成Pipeline，通常由机器自动发起定时任务为主，Query固定资源On-demand，按优先级分部调度典型作业：数据清洗数仓建立报表模型训练（ML）关系图Building内部任务（例如冷数据归档）流计算（Streaming）时序/流式输入，有低延期输出要求Query固定，一直运行对资源一直占用，需要动态伸缩能力交互分析（Interactive）开发Reporting/数据分析为主通常基于已有的数仓Query类型不固定，手工提交为主对延迟有一定要求分钟到亚秒级Indexing/CubePre-

8、cooking/MVMem Cache业务在线化、运营精细化推动数仓实时化、交互化拉通存储,多种引擎,统一数仓服务数据湖Job类型执行引擎在线服务类型交互式引擎离线分析引擎MaxCompute实时计算引擎Flink交互式分析引擎Hologres统一数仓（离线+在线）数智平台 DataWorks更加实时在线服务化低成本容错能力更强自定义能力强其他Spark.服务客户在各个阶段的需求,自然扩展智能进化-阿里巴巴十二年数据平台建设积累DataWorks 一站式大数据开发治理平台数据服务数据治理数据建模全域数据集成数据分析开放平台数据开发数据稳定性智能查询智能建模离线/实时/交互式/AI四合一开发脏数

9、据监控计算存储引擎MaxCompute10万台集群智能数仓湖仓一体E-MapReduceHologres实时计算Flink版机器学习PAI智能基线管理Elasticsearch零代码生成API函数计算服务编排数据共享交换电子表格透视分析仪表盘NotebookOpenAPIOpenDataOpenMessagePlug-in逆向建模数仓规划数据标准数据指标模型评估原创建模语言日千万级周期任务调度智能编程助手可视化任务编排支持50+种数据源日3万亿+记录同步百万级表实时同步整库一键迁移增量同步数据转换传输速率与并发控制单Topic弹性最高256000Records/s百万核集群云原生数据湖亿级数据亚秒级查询50亿条消息/秒业界最大的中文多模态预训练AI模型监控告警事件管理智能运维诊断比开源内核性能提升7倍数据地图10+引擎元数据发现30+种表基础信息表/字段级血缘上下游影响分析数据质量37种质量规则模板弹性规则调度引擎动态阈值智能规则推荐数据安全31种敏感数据自动识别数据水印溯源数据访问审计数据分级与脱敏数据治理中心检查项（问题预防）问题处理闭环健康分模型治理项（问题发现）DataWorks 一站式大数据开发和治理平台THANKS THANKS