上海品茶

您的当前位置:上海品茶 > 报告分类 > PDF报告下载

3-2 张沈波-基于开源SQLE的SQL质量管控方案.pdf

编号:121604 PDF 19页 2.44MB 下载积分:VIP专享
下载报告请您先登录!

3-2 张沈波-基于开源SQLE的SQL质量管控方案.pdf

1、基于开源SQLE的SQL质量管控方案演讲人:张沈波开源生态2数据传输项目DTLEhttps:/ 为每个业务自定义规则模版 每条规则可禁用/启用 规则参数和等级可按需调整 特殊SQL可设置白名单SQLE基础3:高效审核,无锁发布(online DDL)5审核结果分级error(必须整改)、notice(建议整改)、warn(开发建议),减少跨部门沟通成本,整改效率高审核结果去重SQLE根据SQL指纹去重,同类SQL去重展示,复审效率高审核报告下载审核报告、SQL语句均可下载,内部流转效率高无锁发布手动上线/自动上线/定时上线大表自动调用gh-ost工具实现无锁上线自动审核平台自动审核后反馈审核结

2、果,DBA复审即可,审核效率高SQLE基础4:审核上线流程可编排自定义,无缝衔接内部流程6审核与上线流程根据实际场景按需自定义,满足企业内部不同流程管理要求SQLE基础5:SQL优化,反馈优化建议,提高优化能力7DDL优化建议create database:必须加if not existscreate table:库必须存在,字段/索引/约束等不能重复,表必须加if not existsalter table:库表必须存在,字段(新增/修改)不能重复,主键只能有一个DML优化建议insert 语句必须指定columndelete/update 语句必须有limit条件delete/update

3、 语句不能有order by禁止使用全模糊搜索或左模糊搜索索引优化建议索引个数建议不超过阈值禁止将blob类型的列加入索引建议为某列增加索引索引优化流程SQL解析语法语义分析执行计划分析优化分析子查询优化分析索引优化建议建议核对形成优化建议分析:t1表200万行,c2无索引,需要回表,影响性能。建议:为c1,c2建立索引SQLE基础6:SQL分析下钻分析,提升优化效率8SQLE基础功能7:SQL工作台方便业务开发快速数据检索及了解数据库9业务开发人员安全、快速、高效数据检索SQLE与CloudBeaver集成,用户权限体系集成,双系统统一登录所有的SQL操作通过SQLE审核管控,自动拦截不合规

4、SQL,提供SQL审核建议10一般意义上的SQL审核流程以上常见功能:报表视图审核规则工单流程上线/online DDLSQL 调优下钻分析统一访问落地的痛点:1.开发配合度差提升了大量的显示工作量没有看到显示收益2.SQL审核不够全面一般只能在生产变更的时候被用到3.SQL审核是个定制化非常强的工具需要嵌入到内部系统/流程审核规则和规范有特殊性开发人员是否修改是否通过是否一致OA流程审批SQLE审核平台DBA审批SQL复查是否通过DBA执行上线修改SQLOA流程提交的上线单取消上线提交SQL系统自动给出分析结果是否否是是否否是开发人员进行对比SQL治理需要考虑SQL全生命周期需求创建代码开发

5、持续集成创建镜像测试环境部署测试UAT环境部署测试生产部署上线生产运行SQL生命周期SQL全生命周期质量管理是解决在开发、测试、发布上线、生产环境中低效SQL发现及优化遇到的问题,达到提升SQL质量的目的。开发测试生产几天,不影响生产几天或几周,影响项目周期几周或几个月,影响生产问题越早解决成本越低!几小时,不影响生产代码开发代码测试发布上线生产运维开发测试人员运维人员SQL整改效率三方统计数据显示:49.4%的数据库故障是由于SQL不规范、效率低等问题引起赋能开发:脚本/IDE审核,开发随写随审,提升开发效率12需求创建代码开发SQLE审核SQL语句SQL文件Mybatis/iBatis文件

6、审核结果/优化建议代码开发创建镜像审核上线提升效率:2个工作日SQL审核等待 分钟级完成赋能开发,拉齐开发能力,推动企业开发规范落地脚本审核:支持多种SQL文件获取方式IDE集成SQLE-Jetbrains-PluginIIDE集成审核持续集成系统能力增强:CI/CD持续集成流程自动审核可适配所有CI/CD持续集成系统代码开发代码仓库git生成制品SQLE审核CI/CD持续集成(Jenkins集成)审核上线需求创建审核通过代码提交自动BuildSQL提取SQL推送问题SQL/优化建议CI/CD持续集成系统能力增强jenkins集成无缝对接现有流程,增强持续集成系统能力,不改变使用习惯,减低推广

7、难度提早发现问题SQL开发阶段及早发现问题SQL,及时整改,避免问题SQL流向生产全量、增量审核,提升审核效率支持扫描配置路径下的全量SQL与变化SQL审核测试审核优化:抓取java应用程序运行SQL,审核分析,发现问题SQL14APP客户端工具测试数据库SQLE质量审核SQL实时获取与审核审核结果(质量报告)SQL获取插件预警数据库管理员SQL治理流程SQL获取java应用程序采集审核1.SQLE通过其客户端程序实时获取java应用程序中运行的SQL语句2.定期审核:使用语法解析器解析SQL语句,获取SQL执行计划3.基于规则和执行计划判断 SQL是否存在风险。RoadMap:自动阻断AP业

8、务和客户端中不符合标准规范的SQL自动阻断,降低对生产/测试库的影响SQL获取插件分优先级反馈SQL优化优化建议反馈开发协同优化生产审核优化:数据库审核获取运行SQL,审核分析,定位问题SQL15APPSQLE生产数据库运行SQL采集获取生产库SQL获取与审核审核结果(质量报告)预警(发给相关人员)问题SQL优化数据库管理员TOP SQL采集审核1.根据采集周期SQLE定期获取数据库TOP SQL语句2.使用语法解析器解析SQL语句,获取SQL执行计划3.基于规则和执行计划判断SQL是否存在风险。慢日志采集审核1.SQLE通过其客户端程序实时获取数据库慢日志 SQL语句2.定期审核:使用语法解

9、析器解析SQL语句,获取SQL执行计划3.基于规则和执行计划判断 SQL是否存在风险。审计日志采集审核1.SQLE通过客户端程序实时获取数据库慢日志 SQL语句2.定期审核:使用语法解析器解析SQL语句,获取SQL执行计划3.基于规则和执行计划判断 SQL是否存在风险。SQLE库表元数据审核1.根据采集周期SQLE定期获取数据库库表元数据信息2.使用语法解析器解析SQL语句,获取SQL执行计划3.基于规则和执行计划判断SQL是否存在风险。云数据库审核1.SQLE调用RDS的慢日志、审计日志等API获取运行SQL信息2.SQLE使用语法解析器解析SQL语句,获取SQL执行计划3.基于规则和执行计

10、划判断SQL是否存在风险。分优先级反馈优化建议反馈开发协同优化标准发布:上线工单,变更发布标准化,杜绝问题SQL流向生产16SQLE预审SQLE上线工单变更SQL上线发布流程是否通过SQLE上线开发人员运维人员变更SQL否是审核结果、回滚语句上线审核流程审批通过手动/自动执行SQL执行执行失败执行回滚是否通过变更取消否发布效率提升,发布留痕变更SQL一键执行上线,提升发布效率手动上线/定时上线发布留痕,可追溯建立标准化发布流程所有发布必须通过平台执行,线下人情上线减少100%,问题SQL引起的性能问题减少60%SQLE能干更多赋能开发IDE审核脚本审核(SQL语句、文本、MyBatis)测试审核CI/CD持续集成审核慢日志审核TOP SQL审核审计日志审核API审核java应用审核生产审核优化慢日志审核TOP SQL审核审计日志审核API审核java应用审核审核结果可视化SQL风险展示SQL分析优化SQL下钻分析图表展示报表展示系统集成对接open API用户系统对接资产管理系统对接监控告警系统对接智能运维平台SQLE审核标准发布自动上线发布手动上线发布对接发布流程无锁发布多库发布多区域发布多环境发布SQLE RoadMap Feature:更多类型的数据库 更多审核规则 更多的审核场景 审核规则引擎(自定义规则)项目管理 集群模式V2.0版本版本https:/ YOU!

友情提示

1、下载报告失败解决办法
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。

本文(3-2 张沈波-基于开源SQLE的SQL质量管控方案.pdf)为本站 (2200) 主动上传,三个皮匠报告文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知三个皮匠报告文库(点击联系客服),我们立即给予删除!

温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。
会员购买
客服

专属顾问

商务合作

机构入驻、侵权投诉、商务合作

服务号

三个皮匠报告官方公众号

回到顶部