1、腾讯云 TCHouse-D：开源共建与商业化成功之路李德Apache Doris PMC 成员腾讯云 TCHouse-D 研发负责人Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit A

2、sia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023李德原百度 Palo 团队核心开发者和开源技术负责人Apache Doris PMC 成员Apache Doris Committer腾讯云 TCHouse-D 研发负责人Doris Summit Asia 2023Doris Summit Asia 2023Doris Su

3、mmit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023

4、Doris Summit Asia 2023Doris Summit Asia 2023腾讯云 TCHouse-D：稳定可用的企业级实时数据仓库开箱即用简单易用高并发查询性能卓越弹性伸缩安全可靠Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris

5、 Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023目录2.TCHouse-D 如何做到企业级稳定可用3.开源共建、开放共赢1.构建企业级实时数据仓库平台的思考Doris Summit Asia 2023Doris Summit Asia 2023Doris Sum

6、mit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023D

7、oris Summit Asia 2023Doris Summit Asia 20231构建企业级实时数据仓库平台的思考Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 20

8、23Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023企业级需求与开源项目之间的差异除了产品文档以外，企业客户对于文档内容有更高的质量要求，并需要有更多的使用示例与实践资料，以充分帮助客户更好地掌握产品使用。更完善的产品资料及时的支持响应开源项目选择上下游项目适配时会充分考虑共性需求，而企业客户真实需求多种多样、可能存在历史包袱，为了与已有

9、系统兼容需要进行定制化改造。上下游生态的兼容适配开源项目往往采取社区协同开发模式，通过快速迭代来引入新特性，而企业客户更追求稳定可用、非必要情况下会少升级以避免对线上业务的影响。更加稳定可靠开源项目往往采取基于异步的邮件沟通模式，支持力度很大程度依赖开源项目维护者的人力投入，而企业客户选择付费、往往需要有更高的响应要求。Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris S

10、ummit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris 支持丰富的数据生态，也带来更多兼容性要求兼容MySQL，兼容大数据生态My

11、SQL高度兼容MySQL协议，使用标准SQL。所有对MySQL生态友好的传统数仓业务，Doris都非常适合承接，可以直接融入到数仓生态中使用。多种数据源和多种数据导入方式以及对腾讯云生态工具的支持多种数据源&多种导入方式Stream Load（本地文件）、Broker Load（HDFS数据）、S3 Load（对象存储COS）、Routine Load（Kafka 数据）、Flink Connector（支持exactly-once）、Spark Connector、MySQL数据写入、使用DataX导入、从 Logstash 导入跨源数据融合，联邦查询Doris on ESDoris 可以读

12、取 Elasticsearch 中存储的数据，为Elasticsearch 提供强大的分布式 SQL 查询层。Doris on Hive/Iceberg/Hudi支持多源数据目录，帮助企业完成湖仓一体架构。HadoopDoris不依赖其他组件，但兼容Hadoop体系，例如Flink、spark、kafka、ES、Hive等，非常适合简化数据链路，降低运维成本，并能够进行Hadoop数仓加速。ODBC/JDBC数据库支持 Multi-Catalog/外表方式查询支持ODBC/JDBC 协议的所有数据库Doris+Oceanus/DataInLong支持通过Oceanus实时写入doris，具备低

13、代码ETL、分库分表、整库同步等能力通过WeData/InLong实时/离线写入、数仓开发Doris+BI腾讯云 Doris 与腾讯云 BI 无缝连接，支持白屏化操作，3分钟进行数据探索和数据报表。Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Dor

14、is Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023快速版本迭代的背后，代码质量和版本稳定性同样经受考验Doris 0.15（2021.11）Doris 1.1（2022.06）Doris 1.2（2022.12）Doris 2.0（2023.08）700+项优

15、化和修复动态分区Unique模型支持Update 语法CTAS 语法支持支持直接对接 Canal Server 同步 MySQL binlog 数据Stream load支持事务提交Spark-Doris-Connector 支持数据写入 Doris1790+项优化和修复支持通过 Flink CDC 同步更新和删除数据Hive 和 Iceberg 外表引入向量化执行引擎Spark Load 支持 Parquet 和 Orc 文件引入 MemTracker 避免 OOM支持数据随机分布3670+项优化和修复全面的向量化,查询性能 3-11 倍的提升Merge-on-Write 的数据更新模式Mu

16、lti-Catalog 多源数据目录引入了 Light Schema Change 轻量表结构变更Java UDF 和 Romote UDF Array 数组类型和 JSONB 类型4595+项优化和修复盲测性能 10 倍+全新查询优化器倒排索引支持行存支持，点查询并发能力提升 20 倍自适应的并行执行模型跨集群数据复制Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris S

17、ummit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris 社区版本迭代快速演进Doris 开发主分支1.2.0-1.2.70.151

18、.0.01.1.0-1.1.51.10.142021.020.14 发布，有近60 位贡献者提交了390 项优化和修复。2022.031.0.0 发布，是迄今为止对 Apache Doris 核心代码重构幅度最大的一个版本！有 114 位 Contributor 为 Apache Doris 提交了超过 660 项优化和修复2021.110.15发布，有 99 位 贡献者提交了近 700 项优化和修复2022.06 2022.121.02022.122023.08版本贡献人数PR 数目1.1.0904201.1.1723381.1.2371701.1.327891.1.428621.1.519

19、51共计11301.2.0 发布，有近 118 位贡献者提交了超 2400 项优化和修复1.22.0版本贡献人数PR 数目1.2.011824001.2.1451891.2.2522181.2.3521991.2.4683211.2.520331.2.6521691.2.750142共计3671版本贡献人数PR 数目2.0.027541002.0.1694012.0.24594共计45952023.01 2023.092.0.0 发布：10倍性能提升全新CBO引入行存2.0.0-2.0.2倒排索引Pipiline执行器冷热分层Doris Summit Asia 2023Doris Summit

20、 Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Dori

21、s Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 20232TCHouse-D 如何做到企业级稳定可用Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia

22、2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023腾讯云上线企业级产品后的经验总结25%15%5%20%35%功能丰富带来的兼容性适配：从导入、外表到多源数据目录的生态支持应对企业客户的更高响应时效：包括POC和售后完善监控告警和增加巡检更充分的测试和最完善的文档需求社区快速迭代版本与企业

23、级稳定产品的平衡：两年内社区发布多个性能功能全面进化的版本企业级产品需要针对客户需求提供更高效与更稳定的服务Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Dori

24、s Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023过去两年对 TCHouse-D 运维中的客户问题进行分类整理工单问题 1200+我们对包括工单、POC 和100多个技术支持群的所有约1400个问题进行了分析调研和分类整理POC 和技术群的问题200+兼容性问题25%现有系统未满足的用户新需求10%服务或技术支持问题20%客户问题5%监控告警资源问

25、题5%产品或文档缺陷35%Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023D

26、oris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023客户问题分类整理表一大类别小类别应对策略具体描述产品或文档缺陷（35%）内核功能缺陷测试复现、开发需求排期OOM、Core dump 各种功能缺陷等等管控功能缺陷测试复现、开发需求排期管控功能的各种缺陷生态功能缺陷测试复现、开发需求排期Doris 周边生态，包括与开源组件和腾讯云上产品的生态打通中的各种功能缺陷操作系统或者镜像配置参数问题测试复现、开发需求排期例如需要添加路由等文

27、档手册缺陷确认和需求排期文档手册中错误、遗漏等问题兼容性问题（25%）升级内核版本导致的兼容性问题测试复现、开发需求排期新旧版本由于功能、配置差异导致的问题与 Hadoop 生态的兼容性问题测试复现、开发需求排期与不同组件版本配合使用中的兼容性问题与腾讯云产品的兼容性问题测试复现、开发需求排期与腾讯云产品，例如inlong、wedata、EMR、Oceaneas等产品的兼容性问题现有系统未满足的用户新需求（10%）产品功能和性能需求需求单排期用户根据自己的需要提出的对产品功能和新能的新需求最佳实践文档需求需求单排期在配置或者使用某项功能时缺乏的文档指导内核版本升级需求需求单排期用户主动或者被要

28、求的内核版本升级需求报错信息不明确需求单排期内核和管控报的错误无法帮助用户接下来的操作性能优化需求需求单排期性能调优最佳实践文档性能未达到用户预期的问题，例如购买集群、导入数据、查询、迁移性能不如用户预期Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023

29、Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023客户问题分类整理表二大类别小类别应对策略具体描述服务或技术支持问题（20%）产品使用咨询产品文档腾讯云官网 Doris 产品的文档POC 支持问题POC研发支持POC 过程中发现的各种问题监控告警和巡检缺

30、失管控排期开发监控告警和巡检未发现，但是应该支持的功能迁移问题最佳实践文档迁移工具开发从ADB、Holo、自建Doris、CK等各种其他数仓迁移过来的过程中出现的问题客户问题（5%）客户使用姿势问题最佳实践文档包括使用姿势不对或者输入有错误客户自身环境等问题最佳实践文档客户自身原因导致的问题，大部分也可以通过提供最佳时间文档指导用户避免犯错监控告警资源问题（5%）内存、CPU或负载高集群巡检自动拉工单由于查询或者写入导致的负载高系统盘、数据盘打满集群巡检自动拉工单系统盘打满需要运维分析处理；数据盘打满需要告知用户，用户决定是清理部分数据还是扩容磁盘磁盘、网络等软硬件故障集群巡检自动拉工单磁盘、

31、网络、虚机等软硬件故障导致的问题Doris 监控指标异常集群巡检自动拉工单监控指标异常导致的问题Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summ

32、it Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023TCHouse-D 企业级稳定性版本开发迭代1、分类整理、确定范围2、调研测评、列出代办3.解决问题、保障稳定基于社区 Doris 内核版本演进文档补全稳定/新(实验性)/禁用功能点清单性能基线测试报告重新整理完善产品文档完善最佳实践文档和售后培训材料改进服务POC 研发一对一支持重保群+VIP群+工单 机制监

33、控告警+自动巡检+人工处理需求开发稳定性修复需求开发管控稳定性增强修复需求开发内核各版本功能点明细管控和生态需求明细内核开发需求明细产品文档改进和新增列表最佳实践文档新增列表监控项分类明细客户历史问题分类整理内核各版本功能点 140+监控告警巡检项40+技术支持客户服务产品文档最佳实践220+管控生态功能点 100+用户问题1400+Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023

34、Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023TCHouse-D 基于 Apache Doris 的内核版本演进Dor

35、is 社区开发主线TCHouse-D 开发主线1.2.61.2.61.2.71.2.71.22.02.01.22.0.12.0.1与社区 Apache Doris 保持 100%兼容对客户需求的开发进主维护+社区共建动态跟进重安全漏洞和 bug fix提供稳定的版本并进长周期持通过监控和巡检预见性发现并解决问题全托管、包运维式持新业务上线和产品使咨询、培训，以及全位的售后持稳定功能未充分测试潜在bug新增功能图例1.2.81.2.8引社区的修复保持与社区兼容cherry-pick 合稳定功能的bug修复不合潜在bug功能点合，输出档未充分测试已有功能点改动测试后决定是否合新增功能点Doris

36、Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 20

37、23Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 20233开源共建的一些探索和思考Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 202

38、3Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023从社区到商业化：开源软件如何取得成功Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia

39、 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Sum

40、mit Asia 2023Community Over Code：立足社区、回馈社区，与社区一同成长在腾讯云TCHouse-D商业化获得成功的同时，也将投入更多资源回馈社区，提升 Apache Doris 社区在全球范围的技术影响力。商业化成功反哺社区截止目前已经培养了2名Committer、十余位Contributor，贡献了Paimon Catalog等重要特性，后续仍将深度参与社区贡献。培养多名Committer和贡献者在多个外部大会进行技术布道，联合主办 Doris Summit Asia 2023 首届线下峰会，积极投身于社区推广宣传。积极参与社区活动将腾讯云TCHouse-D在服务

41、客户过程中遇到的需求与问题进行沉淀，及时反馈至社区，并参与社区的联合研发以及文档优化工作。需求反馈、代码贡献与文档共建Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 202

42、3Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023获取更多社区动态与最佳实践Doris Summit 峰会官网：doris- Doris Summit 峰会回放：https:/ Doris 官网：doris.apache.orgApache Doris GitHub： Doris 官方平台：Doris Summit Asia 2023Do

43、ris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023Doris Summit Asia 2023