1、One Box：解读事务与分析一体化数据库HybridDB for MySQL阿里云产品专家 陈琢(问璞)飞天技术汇-存储和数据库专场产品定义产品能力场景和方案“最多跑一次”1、HTAP产品定位ApsaraDB的自研之路RDS局限性：性能瓶颈容量限制分析需求HybridDBfor MySQL分布式扩展性能增强并行处理TB-PB级的HTAP混合场景POLARDB新一代数据库产品100TB的事务处理场景6倍MySQL性能提升自研的原因：用户需求产品粘性市场竞争力什么是HTAP数据库？HTAP：Hybrid Transaction/Analytic Processing.DataData事务处理联机

2、分析COMPLEXSLOWHIGH COSTBeforeDataSIMPLESMARTERFASTERNOWOLAP扩展能力OLTP扩展能力HybridDB for MySQLRDSMyCAT+RDS MySQLPOLARDBHybridDB for MySQL的目标定位商业数据库:Oracle/SQLServer/2、产品能力原生的云数据库松耦合架构分布式并行行列混合完全兼容MySQL生态HybridDB for MySQLHTAP能力之源HybridDB for MySQL强劲的并行处理，从容应对海量数据TB级/小时实时写入优化提升100+倍查询性能优化压缩比5-15倍高效压缩PB级数据管

3、理节点动态扩展HybridDB for MySQL沿承RDS使用体验严格遵循SQL标准支持事务、DML实时可见Benchmark标准：TPC-H/TPC-DS语法增强：CTE/层次查询/分析函数继承MySQL生态驱动/框架工具/应用沿袭RDS管控管理/安全/运维/监控适配阿里云上下游工具数据管理：DMS数据同步：DTS数据整合：CDP决策支持：QuickBI数据级保护服务级保护IDC级保护支持数据增量订阅推送并行和恢复备份多备份集，一键上传OSS连接防闪断无感知存储节点多副本自动故障切换平滑扩容不停机支持专有云ApsaraStack支持同城容灾支持两地三中心部署HybridDB for MyS

4、QL服务稳定可靠，全面保护数据资产支持增量订阅功能内核支订阅增量变化信息支持DDL订阅支持条件过滤消费端支持KAFKA、RDS、HybridDB for MySQL专有云优先支持，公共云期待中！新增混合计算规格火热邀测中！极速分析多值子列全文检索空间检索BI生态兼容HybridDB for MySQL新增混合计算规格-火热邀测中8core、32GB,720G SSD可轻松扩展至PB容量强大SQL支持 支持MySQL协议和语法 支持TPC-H、TPC-DS benchmark 支持Oracle分析函数、层次查询 支持EVENT毫秒级分析 百亿大表、任意维度、毫秒级分析 列式组合索引，多种缓存 支

5、持事实表、维度表，聚集索引便捷的数据管理 数据可见性：数据实时写入，实时可见 Online DDL：加列，增减索引，视图 数据变更：Update/Delete/Truncate 数据交换：高性能批量数据导入和导出HybridDB for MySQL新增混合计算规格-毫秒级分析能力HybridDB for MySQL新增混合计算规格-多值子列create table test(uid bigint,city varchar,tags multivalue delimiter,value_type varchar,brands multivalue delimiter:,value_type va

6、rchar int)uidCityTagsBrands1BJA,BX:80,Y:702HZB,C,DZ:653BJB,DY:78,Z:90定义：包含多个子列的列，平行嵌套列1过滤：select count(*)from test where ref(tags,0)in(A,B,C)23分组：select ref(tags,0),count(*)from test where ref(tags,0)in(A,B,C)group by ref(tags,0)组合：select*from test where ref(brands,0)in(X,Y)and ref(brands,1)804连接：se

7、lect count(*)from test,test2 where test.uid=test2.uid and ref(tags,0)in(A,B,C)and ref(brands,1)80HybridDB for MySQL新增混合计算规格-全文检索create table test(uid bigint,city varchar,title varchar tokenizer ik)uidcitytitle1BJ中华人民共和国2HZ云栖大会HTAP专场3BJhello,world全文检索：支持在SQL中精确全文检索1检索1：select count(*)from test where

8、title in(人民,大会)2检索2：select count(*)from test where title in tokenize(云栖大会)and city=HZ3连接&组合：select count(*)from test,test2 where test.uid=test2.uid and title in tokenize(云栖大会)HybridDB for MySQL新增混合计算规格-空间检索圆形检索多边形检索select count(*)from test where geo_in_cycle(poi,“116.3972,39.9096”,300)select count(*

9、)from test where geo_in_polygon(poi,“116.3972 39.9096,116.43 39.991,.”)位置点检索select count(*)from test where geo_in_points(poi,“116.3972 39.9096”)空间检索：支持在SQL中快速便捷的空间检索uidcitypoi1BJ116.3972,39.90962HZ120.1313,90.27273BJ116.4041,39.9863create table test(uid bigint,city varchar,poi geo2d delimiter,)RDSMa

10、xComputeOSSMQStreamComputeDataVQuickBITableauQlikViewExternal TableMySQL ProtocolHybridDB Table实时写入外表映射数据可视化批量流转HybridDB for MySQL新增混合计算规格-数据流转支持包年包月高性能存储规格月价为按量付费7折，包年折上折：一年8.5折、两年7折、三年5折3、场景和方案场景特征 高吞吐实时DML操作 要求事务可见性 高并发典型场景 实时指标监控类应用 实时推荐类应用新技术新金融新能源新制造新零售高吞吐业务场景交互式分析场景混合场景HybridDB for MySQL典型场景实

11、时可见，混合分析，在线激活企业数据在线分析场景场景特征 实时写入，实时可见 高并发在线多维实时分析 数据可适度建模典型场景 交易实时报表 物流仓储大屏场景特征 实时写入、低成本存储 响应时间快，并发不高 数据无法预建模典型场景 营业指数类应用 交易历史库类应用场景特征 实时写入，数据集中 在线业务处理，事务实时可见。在线实时交互式分析典型场景 HTAP类场景 混合数仓类场景业务痛点：天象：基于海量监控数据深度挖掘异常点与趋势，多维度可视化展示RDS的服务质量 性能监控类场景：高吞吐类业务方案价值：结构化数据、流式数据、离线数据回流，多种数据高并发写入 PB级海量数据管理 提供实时数据仓库基座阿

12、里内部典型场景结构化数据HybridDB for MySQL归档数据MaxCompute结构化数据源RDS元数据RDS第三方数据离线回流数据同步实时数据LogAgent消息服务流式计算实时入库实时指标性能监控类应用混合数仓类应用阿里云SLACDN性能数据力助多媒体云服务的快速发展CloudPhoto云相册LiveVideo视频直播MTS视频转码CDN内容分发网络支撑阿里云的多媒体服务解决方案智能图像解决方案：CloudPhoto+MTS+CDN视频类及解决方案：LiveVideo+MTS+CDN持续稳定、能力均衡的数据库服务力助用海外扩张双十一、双十二背后HybridDB for MySQL交

13、出的成绩单零售云和物流云所有的订单数据100%都在RDS流转，RDS0故障0丢单RDS服务质量实时监控，峰值写入每秒2000万，全天数据量400TB+菜鸟仓储核心数据平台，峰值TPS 24万，复杂查询QPS 1000+盒马交易大盘数据平台，100+张表实时更新和任意维度毫秒级分析业务痛点 物联网数据数据340亿，约40TB；非结构化PDF数据，80TB；需要事务保护，有标签回写等更新操作；方案价值 架构清晰：可分层建设满足用户建设信息化建设需要。成本可控：结构化数据部分为原设计方案成本的1/4。运维方便：沿用RDS生态，一个产品运维。阿里云专有云重点行业方案。内部大数据服务数据按需调用公共服务

14、提供五年的数据服务应用层做查询集成业务系统保留1年数据结构化数据HybridDB for MySQL大数据计算平台DataIDEMaxCompute数据集成查询系统保留1-5年数据非结构化数据（PDF）OSS报表数据OTS归档数据OSS大数据应用平台T+1调度按时间维度归档按月归档企业级解决方案某政务物联网数据方案业务痛点 很难做T+0分析：需要数据搬运；DBA与数据分析部分存在灰度区域；基于只读实例数据分析：开发复杂度大；节点数越多运维成本陡增；额外增加的运维成本；方案价值 HTAP能力快速构建ODS+DW层 T+0分析支持：ODS+离线回流结果 降低开发和运维成本 明确部门职责：消除灰色地

15、带。生态成熟稳定。智能展示应用DataVQuickBI云上大数据计算平台离线数据仓库DataIDEDTS数据仓库应用制式化报表个性化报表仪表盘预警监测自助查询宏观分析模型分析MaxCompute生产系统数据库关系型数据库ARDS关系型数据库BRDS关系型数据库CRDS关系型数据库DECS自建HTAP数据库HybridDB for MySQL数据集成自建大数据计算平台ETLHadoopSpark实时同步实时同步企业级解决方案云上ODS数仓融合解决方案按需回流“最多跑一次”HybridDB赋能浙江省行政重大改革实现民众办事前一百项目“最多跑一次”HybridDB系列在浙江省政务云“最多跑一次”项目

16、中支承核心业务，系统架构演进如下公安海洋人社RDS1RDS2RDS3RDS4读库1读库2读库3读库4数据归集交换平台前置归集主库归集读库自建Hvie集群T+1归集清洗RDS数据清洗共享平台主题库自建Hive集群自建数据库HybridDB for MySQL公安海洋人社HybridDB for MySQLEMRKafkaT+0归集清洗增量订阅推送流式归集清洗HybridDB for PostgreSQL实现民众办事前一百项目“最多跑一次”HybridDB系列在浙江省政务云“最多跑一次”项目中支承核心业务，系统架构演进如下公安海洋人社RDS1RDS2RDS3RDS4读库1读库2读库3读库4前置归集

17、主库归集读库自建Hvie集群T+1归集清洗RDS自建Hive集群自建数据库数据归集交换平台数据清洗共享平台主题库1、架构复杂：运维成本高；数据链路长：RDS-只读RDS-Hive-清洗Hive-RDS，跨越多个云平台；多份数据冗余；只能做T+1归集；各个ISV之间耦合度高；2、系统瓶颈：容量限制：目前仅归集部分表，其他数据仍在离线中；实时性要求：受制于主被同步延迟，只读库中拉取数据非实时；扩展性要求：现有架构基本无法再行扩展；性能要求：支撑全省业务共享，并发写入，并发查询要求高，目前已出现性能瓶颈。稳定性要求：自建数据库不稳定，运维成本高。实现民众办事前一百项目“最多跑一次”HybridDB系

18、列在浙江省政务云“最多跑一次”项目中支承核心业务，系统架构演进如下数据归集交换平台数据清洗共享平台主题库HybridDB for MySQL公安海洋人社HybridDB for MySQLEMRKafkaT+0清洗增量订阅推送流式归集清洗HybridDB for PostgreSQL前置归集库1、架构简单：运维成本可控：由若干RDS实例变为3个数据库实例归集链路缩短：DB-Kafka-SparkStream-DB，过程数据不落地摘除部分数据冗余和系统耦合；2、系统能力增强：海量数据：突破容量上限一期归集70亿数据，提供PB级处理能力；实时处理：归集清洗共享流程T+0，所有数据在线处理和分析；按需扩展：4节点下业务TPS 20000+，无缝扩展从容应对峰值；性能提升：插入性能提升10+倍，删除性能提升4+倍，压缩比4+；3、业务价值显著：消除业务壁垒打破数据孤岛，真正实现互联互通、共享共用；释放技术红利为业务提供澎湃动力，真正实现“最多跑一次”；从归集到共享的效率全国之最，真正实现实时处理、实时分析；基于海量共享数据，真正使数据反向指导并优化业务流程成为可能；THANKS飞天技术汇-存储和数据库专场