1、MatrixOne 从NewSQL到全新的HTAP分布式架构演进张潇我介绍2011-2021,10年全职DBA，融、教育、商业地产业 2021-今，矩阵起源，担任产品架构师 熟悉Oracle/SQL Server/MySQL等主流关系型数据库录MatrixOne的早期架构与难题 MatrixOne的升级之路 架构升级的困难与收获 公司与产品介绍 总结MatrixOne 早期的架构与难题MatrixOne的早期架构提供了从数据标注、模型部署、模型仓库等功能。且为了使得部署后的模型可以更便地给应调，持将算法服务发布成API；也为了使得部署后的模型可以更容易地被调度，持将算法服务发布成AI组件，被A

2、I作室的调度引擎进调度。NewSQL+MPP分布式架构：多节点的分布式数据库服务器，解决了传统单机数据库伸缩性和可问题。多引擎：数据库服务器中可能存在多个存储引擎，不同的引擎负责不同的场景。NewSQLMPP并计算：将任务并地分散到多个服务器和节点上，在每个节点上计算完成后，将各部分的结果汇总在起得到最终的结果。MatrixOne的早期架构SQL组件SQL Frontend提供MySQL兼容协议兼容MySQL的语法计算层Query Parser解析SQL并转化抽象语法树提供持多种SQL基础MPP SQL Execution针对SQL计算引擎的些基础操作的向量化加速部分操作采了汇编改写做加速独有

3、的因化加速能MatrixOne的早期架构分布式框架MatrixCube现多台机器的分布式数据存储的分布式框架提供可、多副本、强致与动负载均衡提供分布式事务的持能（WIP）提供基于Raft的副本调度机制，该调度器在代码中称为ProphetMatrixOne的早期架构存储层AOE引擎Append Only Engine，这是个Append Only的列存引擎，不持事务TPE引擎Transaction Processing Engine，于保存元数据CatalogTAE引擎Transactional Analytical Engine，基于列存的HTAP引擎，会提供完整ACID能及强的OLAP能原有

4、架构的三难题扩展性share nothing架构，每扩展1单位节点，需同时扩展存算资源每份数据少要保存3副本，从扩展节点到完成，时间更久性能 Raft协议所包含的leader，容易造成热点 在性能较差的存储下，数据库整体性能下降会超过预期 多种引擎各途不同，性能各异，法有效应对HTAP场景成本数据保存3副本，随节点规模，成本不断攀升，云上版本更甚只有配存储才能发挥数据库的预期性能MatrixOne 架构升级之路原架构的三座分布式框架 多副本存储存储成本飙升 Leader选举制造热点引擎众多 多存储引擎开发维护成本 因化算法过于激进资源分配 存算不分HTAP隔离性差 share nothing扩

5、展性差架构升级灵活解耦的整体架构Storage LayerS3/NFS/HDFSCache ServiceTransaction LayerTransaction ServiceCompute LayerLog ServiceExecution ServiceStreaming Service架构升级融合存储引擎TAE 列式编码压缩，采Column Family灵活在存和列存之间切换可同时运TP和AP负载所有Table均持SI事务隔离级别持主键、唯键排序 冷数据保存S3(私有化部署提供S3兼容存储)热数据作为Cache保存在计算节点 所有节点状态，可以任意隔离负载 并发访问能可以通过任意启动计

6、算节点线性提升多引擎相互协同AOE，不持事务与去重，AP性能较好TPE，保存catalog中的元数据信息TAE，基于列存的HTAP引擎，会提供完整ACID能及强的OLAP能多副本与分 每份数据少保存3副本 数据以分（shard）的形式保存 利操作系统带的Cache个引擎，承担所有负载冷热&读写分离，精细化管理架构升级性能计算引擎多引擎下的匹配计算MPP执引擎 基于DAG构建执计划，适应节点内和节点间调度 同时满并发和并执 完善SQL能：持查询、窗函数、CTE、Spill内存溢出处理等 未来的优化空间更 因化算法构建执计划，对复杂查询做加速，提AP场景的性能 表达式与节点的抽象与表述较为复杂，增

7、加修改功能难度较 多个引擎之间代码复度较低架构详解：灵活解耦的整体架构设计提供了从数据标注、模型部署、模型仓库等功能。且为了使得部署后的模型可以更便地给应调，持将算法服务发布成API；也为了使得部署后的模型可以更容易地被调度，持将算法服务发布成AI组件，被AI作室的调度引擎进调度。共享志事务处理与元数据Compute NodeFile ServiceCNCNCNCNCNCacheCacheCacheCacheCacheDN Shard1LOGLOGLOGDN Shard2LOGLOGLOGS3S3S3S3S3计算层和事务处理Serverless化极致弹性，可以任意重启全量数据保存在S3廉价存储

8、限伸缩，最化降低存储成本共享志层基于复制状态机可靠，确保弹性强致共享志层仅保存Tail志性价，降低多副本存储开销架构详解：融合存储引擎TAE(1)共享志事务处理与元数据Compute NodeFile ServiceDN Shard1LOGLOGLOGS3S3S3提供了从数据标注、模型部署、模型仓库等功能。且为了使得部署后的模型可以更便地给应调，持将算法服务发布成API；也为了使得部署后的模型可以更容易地被调度，持将算法服务发布成AI组件，被AI作室的调度引擎进调度。Column BlockColumn BlockColumn BlockColumn BlockColumn BlockColu

9、mn BlockColumn BlockColumn BlockColumn BlockDatabaseDatabaseTableTableSegmentSegmentSegmentPrimary Key IndexSortedAP Column ScanTP Point QueriesCNCNCNCacheCacheCache架构详解：融合存储引擎TAE(2)提供了从数据标注、模型部署、模型仓库等功能。且为了使得部署后的模型可以更便地给应调，持将算法服务发布成API；也为了使得部署后的模型可以更容易地被调度，持将算法服务发布成AI组件，被AI作室的调度引擎进调度。CNCNCNCacheCac

10、heCacheStore together(Heap file)Create TP optimized Table (Column Family=column1,column2,column3)Column1Column2Column3Column1Column2Column3Create AP optimized Table DefaultStore seperatedlyS3S3S3份存储，承担所有负载列式编码压缩，采Column Family灵活在存和列存之间切换可同时运TPCC和TPCH负载所有Table均持SI事务隔离级别持主键、唯键排序冷热&读写分离，精细化管理 冷数据保存S3(私

11、有化部署提供S3兼容存储)热数据作为Cache保存在计算节点 计算节点状态，可以任意隔离负载 并发访问能可以通过任意启动计算节点线性提升架构详解：性能计算引擎提供了从数据标注、模型部署、模型仓库等功能。且为了使得部署后的模型可以更便地给应调，持将算法服务发布成API；也为了使得部署后的模型可以更容易地被调度，持将算法服务发布成AI组件，被AI作室的调度引擎进调度。MySQL ParserPlanner/OptimizerPipelineCacheCNMySQL ParserPlanner/OptimizerPipelineCacheCNMySQL ParserPlanner/Optimizer

12、PipelineCacheCNMPP执引擎 MySQL兼容 套融合型计算引擎，可以同时执TPCH和TPCC 基于DAG构建执计划，适应节点内和节点间调度 同时满并发和并执 完善SQL能：持查询、窗函数、CTE、Spill内存溢出处理等MatrixOne 架构升级的困难与收获 寻找更性价的数据存储更低成本冷热分离更低存储成本更少冗余份存储减少数据冗余 单存储引擎，同时持TP和AP类作负载。列式编码压缩，采Column Family灵活在存和列存之间切换，灵活保证点查询与批查询的性能。Zonemap，BloomFilter等多种过滤索引，有效提升查询效率。冷数据保存在S3廉价存储，最化降低存储成本

13、(私有化提供S3兼容存储)。热数据作为Cache保存在计算节点所有节点状态，可以任意隔离作负载。事务层的分与Logtail CN只负责做计算 DN负责数据的缓存与写DN成为瓶颈CN计算&DN事务引LogtailCN直接写存储 在志中保存部分数据logtail logtail定期写存储中 CN负责所有计算与事务逻辑 DN只保留最近段时间的数据 批量的插更新删除直接写存储 未超过阈值的事务由DN写存储写上限写更快速提供了从数据标注、模型部署、模型仓库等功能。且为了使得部署后的模型可以更便地给应调，持将算法服务发布成API；也为了使得部署后的模型可以更容易地被调度，持将算法服务发布成AI组件，被AI

14、作室的调度引擎进调度。如何实现HTAP的作负载隔离机器级别隔离容器级别隔离机器资源有限，在有效隔离的基础上提升性价机器资源充裕，实现TP和AP负载的完全隔离与独计算节点状态，可以承担任意负载容器之间的负载与数据实现完全隔离各组件可独机器部署，实现不同作负载的完全隔离数据新鲜度可配置，按需保障TP和AP互不影响OLTP类作负载OLAP类作负载Compute NodeS3Transaction NodeCompute NodeS3Compute NodeS3Log Service如何实现资源配的灵活调整与扩展提供了从数据标注、模型部署、模型仓库等功能。且为了使得部署后的模型可以更便地给应调，持将算

15、法服务发布成API；也为了使得部署后的模型可以更容易地被调度，持将算法服务发布成AI组件，被AI作室的调度引擎进调度。动调整不同作负载资源灵活调整不同作负载资源若AP分析需求增，则可增加Compute Node节点的机器资源配若TP写需求增，则可调整Compute Node、Transaction Node节点的机器资源配根据系统负载情况，动调整Compute Node节点内部的计算资源分配根据系统负载情况，动扩容增加Transaction Node提升集群事务写能根据租户负载情况，动将不同租户写负载合并处理，降低集群成本LOGCN(AP)CN(AP)CN(AP)CN(TP)CN(TP)CN(

16、TP)动态调整查询查询架构升级中的难题与收获理解SQL的执通过重构Plan，对于SQL语法的解析、执计划以及SQL标准语法都有了更多认识事务与ACID专注于单引擎之后，乎每条SQL都要考虑事务与ACID，需要对这些有更深的理解CN与DN的适配从架构升级开始，CN与DN的分与适配成为了巨难题，反复验证中得到了最优解LogtailLogtail的引，实现了某部分数据在不同CN之间共享使S3存储积累了基于S3等对象存储的引擎开发经验，原来对象存储也可以很好地适配数据库Fileservice种存储服务，去实现不同节点不同底层存储类型的读写，是个极的挑战infrastructure计算层事务层存储层公司

17、与产品介绍物理世界的数字化和智能化处不在。矩阵起源（Matrix Origin）致于建设开放的技术开源社区和态系统、打造世界级的团队、并通过业界领先的技术创新和程能，实现数据在数字世界中的任意存储和任意计算，帮助户释放数据的潜和创新（Store Anywhere,Compute Anywhere,Innovate Anywhere）。矩阵起源公司成于2021年，在上海、深圳、北京、硅等城市设有分机构。团队成员由各领域专家组成，在分布式基础架构、数据库、数据及智能领域经验丰富。使命愿景为数字世界提供简捷强的数据操作系统。致于成为业领先的数据基础软件公司，帮助所有企业和户简单、敏捷、效地拥抱数据价

18、值。数字化加速进程下，数据孤岛问题益严重如何才能以最优性价感知/采集/存储/利不同系统和不同位置的数据？业务变化带来的系统孤岛数字化转型的最标从信息化到智能化智能化的必要前提打破数据SiloBIDashboardsMLERPApp1App2MESCRM资源限制带来的位置孤岛ICD机房1Edge Box1ICD机房2公有云1Edge Box2公有云2ICD机房3技术变化带来的时间孤岛1G数据量1T数据量1PB数据量MySQLGreenplumHive数据孤岛导致运维、开发和维护愈发困难提供了从数据标注、模型部署、模型仓库等功能。且为了使得部署后的模型可以更便地给应调，持将算法服务发布成API；也

19、为了使得部署后的模型可以更容易地被调度，持将算法服务发布成AI组件，被AI作室的调度引擎进调度。数据引擎繁多，选型、开发、运维成本暴涨运维体量：每个数据引擎平均依赖5+个基础组件，存储3+个数据副本。运维成本：每个数据引擎都要各安装、监控、补丁和升级，每个数据存储都需要实现可和可恢复。运维成本开发体量：每家中型公司平均数据引擎建设数量超过5个。开发复杂度：每个都有的API接、语和事务模型等。开发损耗个传统企业服务应商的成本困扰MySQL*200MongoDB*100Redis*60Hadoop*20现有数据平台&数据库的建设数量数据平台建设成本的加速上涨201820202022DB成本5个客户

20、5个MySQL节点0个DBA20个客户40个MySQL节点10个MongoDB节点1个DBA60个客户200个MySQL节点100个MongoDB节点60个Redis节点20个Hadoop节点3个DBA 我需要种数据库？我如何选择最合适的数据库？如何规划我的数据基础架构？我需要招聘多少个DBA？为什么建设和使数据库的成本收益增快10倍？数据孤岛导致业务创新严重受限、需求响应缓慢提供了从数据标注、模型部署、模型仓库等功能。且为了使得部署后的模型可以更便地给应调，持将算法服务发布成API；也为了使得部署后的模型可以更容易地被调度，持将算法服务发布成AI组件，被AI作室的调度引擎进调度。数据碎严重，

21、研发敏捷度和数据新鲜度法保障数据加链路：多条数据管道多份数据存储冗余，需要投量时间在数据对和校验上。问题排查复杂：上下游数据不致问题频发，问题定位和诊断复杂。研发效率法提升数据法实时更新数据新鲜度法提升：增量数据定时任务同步，数据新鲜度般到时级。更新频次不以撑业务：法满营销控、驾驶、等实时计算要求的应场景。个零售企业数据研发部的效能困扰如何提升数据应需求的响应速度，提升研发的敏捷度？如何构建更加实时的数据平台和分析能，找到新的创新业务模式？个品类时级别售卖报表的需求响应新增个更加实时的收益报表需求从4个数据库提取数据6个ETL Job2个数据程师2周的指标产、开发和数据校验周期持续的数据致性维

22、护和排查投重新做数据提取再次构建新的中间表数据实时性法进步提升重新做数据报表开发和数据致性校验持续的数据致性维护和排查投数据孤岛导致IT预算序增、业务部满意度持续下降提供了从数据标注、模型部署、模型仓库等功能。且为了使得部署后的模型可以更便地给应调，持将算法服务发布成API；也为了使得部署后的模型可以更容易地被调度，持将算法服务发布成AI组件，被AI作室的调度引擎进调度。性能隔离和资源利率法兼得，基础设施硬件规模被迫序增硬件负载难调整：TP类应和AP类应的硬件资源独维护，法灵活调整配。资源利率难提升：为了确保性能隔离，需要规划并浪费巨资源。硬件资源预算持续上涨基础设施割裂维护愈发复杂法跨云打通

23、：私有化数据集群和公有云数据集群之间数据架构和建设案割裂，数据迁移成本。单商绑定：数据上云旦选型确定数据库商，后续的集群扩容、新组件采购等都将被既有商绑定。个智能制造商IT部的发展困扰 如何应对业务发展过程中不同应类型负载的波动变化，在不影响应性能的基础上灵活调整硬件资源配，效合理使IT预算？如何以统数据架构应对未来公有云&私有云集群的不断蔓延？业务发展下数据库建设的硬件预算案业务发展下多个公有云、私有化的集群维护交错TP Workload峰值=200节点,AP Workload峰值=200节点，今年IT预算需要采购多少硬件资源？选项A:200 TP数据库+200 AP数据库=400。最好的性

24、能隔离，但成本、浪费严重。选项B:Max(TP+AP)=300 HTAP Database。资源利率最，但TP/AP作负载性能可能互相影响。时间发展ERP/CRM等TP作负载峰值硬件需求BI/Report等AP作负载峰值硬件需求Q180节点50节点Q250节点150节点Q3200节点100节点Q4100节点200节点业务系统ERP/CRMIT持系统部分应云数据库/数据仓库选型既有云数据库的集群规模扩容既有云商的其他云数据库产品采购云商绑定企业上云云商A扩容需求分析需求发展多个数据组件的碎化和ETL流转打破数据Silo，业年不断探索数据中台更加融合统的新型数据库?整合和集成多个现有成熟数据管理系

25、统，对户提供统的管理平台缺点：架构复杂难维护，数据质量难以保证，运维和开发成本极以个DBMS为核，增加其他的能，多个系统共套DBMS缺点：架构陈旧、负担重转向难，仅能减少部分数据孤岛，价值有限 案现有DBMS的扩展案案三深度融合统，也已成为主流数据库的演进新向能融合云边协同湖仓体流批体HTAP分布式云原边缘异构云边数据融合FEBMARAPRMAYJUNJULMatrixOne产品路线Beta Program2023年活动计划MOE v0.7MOC AlphaMOE v0.8（Private Beta）MOE v0.9（Public Beta）线上研讨会Beta Program 发布Privat

26、e Beta（仅邀请）Public Beta（公开招募）MO GA线下客户交流沙线下客户交流沙线下客户交流沙业合作伙伴沙产品发布会业合作伙伴沙MatrixOne Beta Program 户体验计划MatrixOne Beta Program 是矩阵起源全新推出的，与客户、户起持续提升 MatrixOne 产品和性能体验优化的计划。新功能内测权益产品设计参与权益新功能本地环境优先测试权益开发过程的直接发权益专家端到端专业持权益三步推荐好友加Step1:扫描下程序码提交注册Step2:MO架构师将会通过邮件的式进初步联系和沟通Step3:加 Beta Program 社区，开始您和 MatrixOne 的旅程总结扫码关注矩阵起源服务号回复0318，获取PPTContributing Welcomed!https:/ 从存算体到计算、事务、存储三层解耦 从多引擎到单TAE的HTAP融合引擎 从因化算法到DAG的计划构建 从多副本存储到对象存储与Logtail的引 灵活调整节点分配带来的资源隔离