1、中 国 西 安海信.聚好看DBdoctor数据库性能可观测工具作者郑祥eBPF在数据库性能诊断优化领域中的应用第 二 届 e B P F 开 发 者 大 会01性能痛点02技术优势03使用场景04客户案例目 录第 二 届 e B P F 开 发 者 大 会1、性能诊断痛点系统卡顿了没什么写入量，空间竟然写满了OOM满屏慢SQLSQL怎么这么慢索引失效了CPU打爆了内存使用率怎么这么高这个表怎么会有死锁DDL执行卡住了CauseCategoryPercentSQLPerformance12.9%Data differenceReplication9.1%DROP TABLEData loss5.
2、8%Disk fullOperationg env5.8%NetworkOperationg env5.8%Operating systemOperationg env5.2%Schema/indexingPerformance5.2%innoDBPerformance5.2%ConfigurationPerformance4.5%ConfigurationReplication3.9%MySQL社区调查的MySQL十大痛点0.20.40.60.80.100.DBA架构师性能优化故障处理监控巡检安装部署备份恢复迁移升级性能优化、故障处理、监控巡检花费时间最多第 二 届 e B P F 开 发
3、者 大 会w w w.e b p f t r a v e l.c o m结合以往经验：批量导/删数据？CPU飙高磁盘IO几乎打满IO写入突增QPS正常1、性能诊断痛点查看监控第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e l.c o m排序SQL执行次数最大耗时1 SELECT a,b,c,d FROM order.order_history WHERE id=?AND id?2864.1s2INSERT INTO point_history values(?,?,?,?,?,?)2303.6s3DELETE FROM order_history
4、WHERE type=?AND traedDate?LIMIT 100001094.2s4INSERT INTO order_log values(?,?,?,?,?,?,?)2911.6s5SELECT max(id)from order_log WHERE type=?299.4s6DELETE FROM order_log WHERE id=?LIMIT 10000265.2s慢日志分析：未找到根因SQL1、性能诊断痛点分析慢日志一堆慢SQL,日志10G监控和慢日志猜测：1.两条Insert可疑2.两条Delete可疑第 二 届 e B P F 开 发 者 大 会w w w.e b p
5、f t r a v e l.c o m非常紧急，整日忙于救火出现故障互相推责扯皮大促、放假就出问题以前不慢的，现在慢了平时很好，关键时候掉链子监控和日志没找到根因门槛高，依赖专业DBA出现问题，定位时间长平时不重视，故障驱动故障后不知道如何处理需要大量故障经验沉淀故障后，没有解决方案急责错第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e l.c o m1、数据库性能诊断过程中的挑战缺乏成熟的解决方案缺乏精确的诊断能力1、已有监控系统为什么不能解决上述问题阈值缺乏提前发现的措施现象1.关键重要节点掉链子2.没故障则认为没问题原因1.未达到告警阈值的隐患
6、2.缺少日常的细粒度巡检现象1出现问题定位时间长2.传统监控浮于表面原因1.缺乏更深层的监控数据2.缺乏更精准的根因诊断现象1.强依赖难以传承的经验2.现象明确但无解决方案原因1.没有把经验与现象关联2.没有给出问题优化建议故障经验故障经验故障经验这么多指标啥关联?没找到关键日志告警指标第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e l.c o m01性能痛点02技术优势03使用场景04客户案例第 二 届 e B P F 开 发 者 大 会eBPF进行关键指标采集，基于数学量化模型重新定义数据库可观测打破以往基于经验、规则、阈值的传统，彻底解决数据
7、库性能问题2、DBdoctor重新定义数据库可观测精确的数学模型代替传统经验极度降低数据库性能分析门槛巡检结合智能算法主动发现提前消除隐患规避故障发生内置专家经验库和索引推荐器快速解决问题提升业务稳定性eBPF深入内核函数采集指标一分钟定位问题提升工作效率DBdoctor内核级数据库性能诊断快速定位问题精确诊断根因 给出优化建议 主动发现隐患专注于数据库性能的生态软件，致力于解决一切数据库性能问题；行业首次将eBPF技术聚焦在数据库领域，创新性实现性能可观测。开源数据库 商业数据库 国产数据库 云数据库第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e
8、 l.c o m2、DBdoctor功能架构数据采集层PolarDBCPU/MEM/IO/NET/Disk资源指标SQL、事务信息全量SQLCPU消耗、资源等待SQL内核指标锁等待、死锁、长事务锁相关指标QPS、TPS、AAS实例指标eBPF采集OraclePostgreSQLMySQLOceanBase索引参数、数据参数Cost计算参数数据处理层数据通道数据计算数据存储模型训练Cost优化器诊断树案例库业务服务层展示层管理员操作台性能可观测平台OpenAPI可集成平台管理租户管理用户管理告警管理已有监控对接监控巡检基础监控自动巡检立即报表巡检报表主动问题发现预测识别相关性诊断标签匹配深层次巡
9、检SQL根因诊断负载量化分析SQL关联分析SQL级资源消耗业务请求分布全量SQL统计SQL全量分析根因诊断报告问题现象分析锁根因分析锁泳道图死锁环形图锁详情解析锁根因诊断优化建议专家经验库常见案例分析精准Cost评估索引推荐SQL审核性能评估自动巡检立即报表巡检报表第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e l.c o mTDSQL2、案例回顾快速定位IO问题SQL第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e l.c o m按照单条SQL查看消耗2、案例回顾根因诊断方法第 二 届 e B P F
10、开 发 者 大 会w w w.e b p f t r a v e l.c o m2、DBdoctor优势一：更精准的数据采集代替传统指标等待调度操作IOWait lockSending DatainitiateCPU单条SQL CPU消耗IO单条SQL IO消耗MEM单条SQL MEM消耗LOCK单条SQL 锁等待基于真实数据eBPFDBdoctor问题SQL分析数据库内核事务SQL阶段内核函数SQL1SQL2SQLstartingParse_sqlExec_cmdcleaningOn CPUOff CPU遍历聚合排序上下文切换BP日志日志数据Sendrecv索引、主键、表log、MDL计算中
11、等调度内存操作操作IO等锁磁盘网络行、表、MD、其他SQL语句在内核中的执行堆栈第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e l.c o m2、DBdoctor优势二：更精准的数学模型代替传统经验已明确原因猜测不准疑难杂症基于经验规则指标异常简单规则(人工经验)变更恢复复现验证规避措施数学模型传统性能问题分析DBdoctor诊断模型CPU聚合后SQL CPU消耗TOP5实例CPU时间CPU重排序TOP5相关性算法特征识别算法实例CPU时间实例CPU时间CPU异常CPU突增根因诊断算法资源时间CPU异常IO异常QPS时间流量突增锁事件时间锁事件SQ
12、L是否新增SQL是否恶化问题源头追溯根因SQL事件输入根因输出算法模型第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e l.c o m2、DBdoctor优势三：状态联动自动匹配专家案例库第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e l.c o m2、DBdoctor优势四：一分钟内索引推荐全局最优第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e l.c o m外置Cost优化器：1分钟推荐索引采集Server和存储层信息2、DBdoctor创新五：涵盖性能的
13、SQL审核结构规则安全规则规则建议基于静态规则SQL输入静态规则DDLDML静态DBdoctor传统SQL审核未考虑性能无优化建议开发阶段DBA审核阶段CICD构建阶段线上审计阶段UIOpenAPISQL解析性能评估Cost优化器审核结果性能+规范性能推荐规则引擎上线前极速审核线上实时审核线上存量审核第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e l.c o m2、提供企业级全方位性能诊断解决方案事中精确诊断性能洞察根因诊断 锁透视索引推荐事前发现隐患潜在隐患智能巡检性能大盘主动发现事后随时追溯现场快照案例沉淀审计日志来源追踪第 二 届 e B P
14、 F 开 发 者 大 会w w w.e b p f t r a v e l.c o m01性能痛点02技术优势03使用场景04客户案例第 二 届 e B P F 开 发 者 大 会3、DBdoctor-场景一：事故现场快速发现并解决问题1.拖拽框选问题区间2.找出面积最大的颜色3.匹配颜色最多的SQL 精简指标：一屏解决问题 颜色区分：看颜色知原因 面积量化：颜色面积量化消耗 多位分析：聚焦资源类型 来源追踪：IP/用户来源追溯一分钟内精准发现慢SQL第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e l.c o m3、DBdoctor-场景一：事故现
15、场快速发现并解决问题锁等待可视化深度剖析 全量记录：锁等待全量记录 事务泳道：泳道图现场还原 定位阻塞：快速定位加锁SQL 锁透视图：详细剖析锁详情 紧急解决：快速评估修复问题第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e l.c o m3、DBdoctor-场景一：事故现场快速发现并解决问题按资源分类展示详细基础监控指标死锁环形图还原现场 全量捕捉：死锁补全并全量记录 死锁可视：死锁环形图一目了然 事务回放：泳道图慢动作回放 定位源头：快速定位加锁过程 锁透视图：详细剖析锁详情第 二 届 e B P F 开 发 者 大 会w w w.e b p
16、f t r a v e l.c o m3、DBdoctor-场景二：提前发现隐患，规避故障SQL审核 准确评估：基于生产指标准确评估 规则审核：基于规则识别SQL问题 性能审核：基于Cost评估SQL性能 优化建议：推荐全局最优索引第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e l.c o m3、DBdoctor-场景二：提前发现隐患，规避故障主动识别隐患并定位根因 主动发现：主动发现问题与隐患 特征诊断：基于特征识别算法 自动定位：自动识别隐患根因 锁问题：主动识别全部锁问题 自动打标：问题标签自动关联SQL1.主动发现隐患特征2.自动定位隐患根
17、因3.锁主动识别4.问题标签关联分析SQL第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e l.c o m按资源分类展示详细基础监控指标按资源分类展示详细基础监控指标3、DBdoctor-场景二：提前发现隐患，规避故障3.给出建议1.明确根因2.描述现象4.影响详情自动诊断并给出优化建议 自动诊断：自动实时诊断问题 根因分析：算法模型分析源头 现象联动：问题现象联动根因 优化建议：给出具体修复建议 问题统计：统计根因出现频次第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e l.c o m3、DBdoctor
18、-场景二：提前发现隐患，规避故障更聚焦性能的巡检指标深度巡检提前暴漏问题 深度巡检：更聚焦性能的深度巡检项 自动巡检：可配置自动巡检出具报告 性能大盘：一屏展示数据库整体稳定性 修复建议：异常结果自动匹配修复建议 巡检报告：整体和实例维度报告与报表第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e l.c o m3、DBdoctor-场景三：给出优化建议专家经验案例库和优化建议 案例关联：自动匹配案例库并给出最佳实践 全局建议：全局维度展示待优化项 执行计划：查询执行计划联动建议 根因及建议：根因诊断直接联动推荐第 二 届 e B P F 开 发 者
19、大 会w w w.e b p f t r a v e l.c o m2.性能大盘展示所有建议1.匹配专家经验案例库3.指定SQL查询执行计划联动建议01性能痛点02技术优势03使用场景04客户案例第 二 届 e B P F 开 发 者 大 会客 户 收 益解 决 方 案业 务 痛 点4、案例1：电商业务有性能困扰，快速处理紧急问题出现性能问题找不到根因，遗留部分顽疾无法解决网络日志服务器数据库指标业务QPS使用DBdoctor快速定位遗留性能顽疾的根因极速诊断直达根因杜绝误判消除隐患无DBA沟通成本高诊断耗时长抢修压力大问题一：无DBA，出现问题后找不到根本原因，遗留部分性能顽疾无法解决问题二
20、：数据库抖动影响交易，导致公司资损公司极速上升期，随着业务发展，经常出现数据库性能问题针对以上业务痛点，DBdoctor提供了一站式性能诊断解决方案：通过数据库内核探测和智能算法，精准命中根因SQL，针对遗留的性能顽疾进行了针对性分析与优化，确定根因后得到了根本解决，消除了客户的业务发展隐患。实现在无DBA情况下的一站式性能诊断快速诊断定位紧急问题，直达根因，杜绝误判抢修故障用时短，消除业务发展隐患使用前：使用后：第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e l.c o m客 户 收 益解 决 方 案业 务 痛 点4、案例2：制造业数字化转型，提
21、升工作效率开发不具备定位数据库性能问题的能力，100%问题传递给DBA，由于DBA人数有限，均2小时得到指导，修复问题。6000套性能洞察SaaS服务，帮助开发5分钟定位根因SQL，结合DBA经验库快速优化修复95%的性能问题95%问题快速闭环业务出现卡顿01定位根因SQL02优化根因SQL提升用户体验03识别根因SQL指导开发优化045分钟5%问题传递 问题一：DBA人员数量少，数据库性能问题定位技术门槛高，服务响应慢 问题二：数据库性能问题影响业务效率和用户体验，甚至直接造成业务损失制造业集团，DBA只有2人，要维护600套业务系统的数据库，疲于解决业务卡顿等性能问题，996工作，业务满意
22、度仍很低开发人员使用DBdoctor诊断数据库性能问题并及早修复，避免了问题挤压传递给DBA，节省DBA工作量的同时，业务项目的用户体验得到快速闭环解决，满意度提高显著。业务项目组满意度高具备故障现场还原能力1000人2人100%问题传递业务出现卡顿1识别根因SQL指导开发优化提报数据库性能问题优化根因SQL提升用户体验2小时234系统用户体验显著提升建立数据库DBA知识库业务系统开发人员DBA使用前：使用后：第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e l.c o m客 户 收 益解 决 方 案业 务 痛 点4、案例3：券商提升稳定性，提前规避
23、故障网络占用高定期出现IO占用高问题无效模糊查询定期出现表锁阻塞读写问题SQL导致慢查询批删除导致从库延迟高并发场景未使用缓存高并发导致CPU消耗阻塞扫描300万行，未配置最优索引 问题一：高并发业务场景多，重点活动保障稳定性要求高 问题二：数据库性能潜在风险难发现，问题前置发现能力不足证券单位之前发生过因为SQL问题导致核心业务故障，对数据库的性能隐患评估难，希望系统性排查潜在问题。上线DBdoctor，协助用户发现了很多生产数据库潜在的性能瓶颈风险，及时协同业务一起制定了优化措施，避免了对业务的影响，保证了高并发重点活动保障的效果。提前发现性能可疑问题，规避故障发生 从容应对高并发重点活动
24、的运维保障规避潜在故障：第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e l.c o m4、案例4：ISV厂商，提升驻场能力，降低诊断门槛客 户 收 益解 决 方 案业 务 痛 点 问题一：大客户随着数据增长性能问题暴漏，软件SLA不能满足 问题二：出现紧急问题，驻场不能及时解决，反馈给公司DBA后时效性差，故障时间久客户多，驻场能力不足，出现数据库问题无法解决，公司研发排查客户问题占据大量时间，急需提升驻场能力。客户环境部署DBdoctor，驻场每日查看DBdoctor巡检报告，解决潜在问题，提前规避故障；出现紧急问题快速定位根因并解决问题，提升整
25、体系统稳定性。驻场能力提升，研发人员精力投入新产品研发 紧急问题驻场直接处理，保证SLA，减少资损驻场无法解决数据库问题数据库出现紧急问题01定位根因快速解决02DBdoctor降低诊断问题门槛，帮助驻场1分钟定位根因SQL，通过优化建议快速解决问题100%问题传递数据库出现紧急问题1来回多轮交互定位问题提报数据库性能问题出差现场支撑疑难问题234政企大客户金融使用前：使用后：第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e l.c o m4、案例5：金融厂商，国产化替换，提升国产库运维能力客 户 收 益解 决 方 案业 务 痛 点 问题一：公司内部
26、DBA对于国产数据库没有很深的运维经验，导致后续问题强依赖内核厂商 问题二：商业库都是经过多年运维专家的细致调优，但是迁移国产库需要做结构与SQL转换，切流前需要集中诊断信创替换，基于政策要求，正在迁移国产数据库，已上线部分边缘库，对于核心数据库迁移性能上存在不可控因素。测试环境部署DBdoctor，业务压测期间对国产库进行性能诊断，提前解决性能问题。线上环境部署DBdoctor，实时探测国产库，助力DBA快速解决线上问题，提升国产库排查与定位问题能力，护航信创落地。线上切流前排查并解决问题，提升信创迁移稳定性 赋能公司DBA对国产库的性能把控，降低运维门槛迁移过程中对信创库性能与潜在问题没有
27、门禁在上线前添加门禁上线后实时诊断开发环境业务适配1全链路压测测试环境业务测试线上切流234政企大客户金融使用前：使用后：开发环境业务适配1全链路压测DBdoctor问题发现测试环境业务测试线上切流DBdoctor实时诊断234第 二 届 e B P F 开 发 者 大 会w w w.e b p f t r a v e l.c o m公司介绍海信不仅贡献电视n 服务全球1亿+互联网电视用户n 连续六年“独角兽”企业n 中国最大互联网电视云平台n 青岛市云原生技术创新中心聚好看科技海信集团旗下互联网科技公司数据库技术爱好者专注于数据库产品研发个人介绍郑祥2022至今：海信数据库研发负责人，DBdoctor数据库性能可观测工具作者2022之前：阿里云数据库团队，主导数据库自治，连续多年作为核心成员保障双11，阿里集团数据库上云主要操刀者，主导设计RDS管控云原生新架构，实现数十万规模实例的云原生纳管。联系我们谢 谢
sgpjbg002
工作日 8:30 - 17:30
会员动态：
报告分类
新质生产力
ChatGPT
新能源汽车
大模型
Sora
机器人
微短剧
芯片
薪酬
白皮书
低空经济
数据要素
创新药
人工智能
AI产业
信息科技
互联网
消费经济
汽车交通
电商零售
传媒娱乐
医药健康
投资金融
能源环境
地产建筑
传统产业
英文报告
其它
扫码登录
手机快捷登录
账号登录
