1、AnalyticDB 快数据时代的实时数据仓库技术内幕 林亮 阿里云智能 研究员 Realtime Datawarehouse In the Fast Data Era 从 Big Data 到 Fast Data 41%41%?寻求买家?Fast Fast+OnlineOnline Full Data?Realtime Data?Cloud-Native?Realtime Computing?AnalyticDBAnalyticDB FastDataFastData的最佳代表的最佳代表?Big Data to Fast Data实时数仓的设计挑战 灵活 Arbitrarily Join Ar

2、bitrarily Filter 高并发 100K QPS 10K Clients 低延时 95%50ms 高可用 99.999%实时 Read Committed 10M Records/s Insert 准确 100%AnalyticDBAnalyticDB 755M755M+Active Users 5+PB 5+PB Max instance Design Challenges for Realtime DatawarehouseAgilityConcurrencyLow LatencyHigh AvailabilityRealtimeAccuracy阿里巴巴OLAP系统演进 Orac

3、le RAC 2008 Greenplum AnalyticDB 1.0 2012 HBase MySQL Sharding Hadoop AnalyticDB 3.0 2018 p High concurrency p Volume p High concurrency p High availability (leadernode)p Realtime Write p Consistency(offline/online)p Agility(Cube)p ACID p Consistency(offline/online)p Realtime Write p ACID Realtime C

4、onsistency Agility Accuracy Volume(PB)Agility Accuracy Volume(PB)High concurrency Low Latency Accuracy Volume(PB)High concurrency Agility Low Latency Accuracy High availability Volume(100PB)High concurrency Agility Low Latency High availability Accuracy Realtime RW p ACID High concurrencyHigh concur

5、rency：1000 QPS(Complex Query)VolumeVolume:10PB+Realtime WriteRealtime Write :10M Records/s 2009 2011 Evolution of Alibaba OLAP systemsAnalyticDB：阿里唯一经过大规模验证的分析类数据库 以下是生产环境的真实数据：?阿里巴巴集团某营销应用单DB表数超过20000张?某客户单DB数据量近3PB，单日分析查询次数超过1亿?阿里巴巴集团内某单个ADB集群超过2000台节点规模?云上某业务实时写入压力高达1000w TPS?菜鸟网络某数据业务极度复杂分析场景，查询

6、QPS 100+?支撑阿里集团双十一业务支撑阿里集团大部分OLAP业务阿里集团内部超过300+业务单日查询次数1亿+Alibabas only large-scale validated OLAP databaseAnalyticDB-PB级实时数仓 云原生云原生 实时按需极致弹性实时按需极致弹性 存储从GB至100PB 计算节点从3台到2000台 混合负载 完备的企业级特性完备的企业级特性 备份/恢复/回收站 审计/白名单/自建账号/VPC 跨AZ/跨Region(On-going)兼容兼容&超越超越 MySQL/PostgreSQL MySQL/PostgreSQL 全面兼容MySQL/P

7、G生态 ANSI SQL:2013 复杂分析支持 非结构化与结构化融合分析非结构化与结构化融合分析 全面支持非结构化数据的存储、检索、碰撞比对、融合分析 5+向量数据类型，5+向量检索算法 极致性价比驱动数据价值在线化极致性价比驱动数据价值在线化 千亿/万亿 多表关联分析 毫秒级 异构加速的MPP+DAG 融合分布式执行引擎 存储计算分离架构，智能化行列混存实现极速检索 AnalyticDB PB scale real-time Datawarehouse世界级认可 Gartner Niche Player Forrester Strong Performers World-class Rec

8、ognition云原生-系统架构 Cloud Native System Architecture分布式强一致存储 基于基于RaftRaft三副本三副本 基于raft协议，保证强一致 数据默认三副本，工业安全 高吞吐并行高吞吐并行 多coordinator并行写入 多shard的multi raft group并行 数据实时可见数据实时可见 Raft+Apply 保证可见性 Raft leader读+leader打散 完备的完备的ACID ACID 2PC分布式事务支持 存储引擎MVCC+快照隔离 Distributed Consistent Storage多维分析多维分析 l任意列Join

9、l复杂大任务/ETL 复杂查询复杂查询 l1000+列 超大宽表 l半结构化数据 实时读写实时读写 lLive updates l10 million TPS l10K+QPS 行列混合存储 Hybrid Row-Column Storage面向分析的存储引擎 谓词计算谓词计算 写优化架构写优化架构 MVCC MVCC 行列混存行列混存 智能索引智能索引 冷热分离冷热分离 Analytics-oriented storage engine极致性价比-融合引擎 统一内存架构统一内存架构 减少碎片、提高流水线 提升序列化性能 感知存储感知存储+面向分析面向分析 向量执行（源头批量读+Page化）C

10、odegen+SIMD+CPU-Cache友好 混合负载混合负载 CPU时间片公平调度 内存分层复用 ETLETL批处理能力批处理能力 Stage by Stage+Pipeline融合 Spill、容错、UDF支持 Extreme Price/Performance Ratio-Fusion Engine极致性价比-智能优化器 可扩展优化架构可扩展优化架构 自适应优化自适应优化 可扩展优化可扩展优化 改进的代价模型改进的代价模型?Extreme Price/Performance Ratio Intelligent Optimizer企业特性企业特性 -备份恢复备份恢复&容灾技术容灾技术 备份恢复备份恢复 数据按周全量备份 日志秒级实时备份 支持数据恢复到时间点 只读只读/容灾实例（计划容灾实例（计划）只读/容灾实例 数据跨实例自动复制 Enterprise Features-Backup Recovery-Disaster Resilience TechnologyTHANKS!