《数据库协同开发的现状和发展趋势_陈小伟.pdf》由会员分享,可在线阅读,更多相关《数据库协同开发的现状和发展趋势_陈小伟.pdf(32页珍藏版)》请在三个皮匠报告上搜索。
1、陈小伟OceanBase 生态产品数据库协同开发现状和数据库协同开发现状和发展趋势发展趋势Contents目 录01数据增长带来的问题02应对挑战各显神通03协同开发是演进趋势05OceanBase Developer Center04数据库开发工具趋势洞察01数据增长带来的问题行业现状-数据快速增长国际调研机构 IDC 发布的数据时代2025预测,全球数据总量将从2018 年的 33ZB 增至2025 年的 175ZB,增长超过 5 倍。090080070060050040030020010010000.0%30.0%25.0%20.0%15.0%10.0%5.0%35.0%305.7838
2、2.48497.58612.09755.37930.3425.1%30.1%23.0%23.4%23.2%中国数据库市场规模(亿元)增长率来源:中国信息通信研究院,2022年6月数据快速增长-具体的场景1.某电商系统使用 60 个节点的数据库集群,每个节点数据规模 20TB 左右,总数据规模超过 1PB。2.某金融系统使用的数据库表数量达到 20W,列数量达到 400W。3.某金融系统使用的分区数量达到 100W。4.某制造业系统使用的 PL 程序包数量达到 4K个。数据存储规模;数据库市场规模;数据库实例数量;数据库对象数量;数据库厂商数量;行业现状-数据库是稳定性基石1、2016年,某社交
3、网络应用 的一名工程师在修改一条 SQL 查询时犯了一个错误,导致了该公司的服务在全球范围内停机。该错误导致了数据库中某些表的数据无法访问,最终导致了整个系统的故障。2、2017年,某电商企业曾因一次故障而导致其 S3 服务在美国东部地区停机。事后调查发现,该故障是由一个错误的删除指令引起的,这个指令本来只想删除一小部分数据,但由于编写了烂 SQL,结果导致了整个数据中心的数据丢失。3、2018年,某云厂商的云存储服务出现了一个故障,导致一些客户的数据无法访问。调查后发现,这是由于一个工程师在修改数据库的查询语句时犯了一个错误,导致了整个服务出现了故障行业现状-更加严格的合规监管1.中华人民共
4、和国网络安全法:2017年6月1日生效,包括对个人信息的收集、使用、存储和保护等方面的规定,对违反规定的行为进行了明确的处罚。2.中华人民共和国个人信息保护法:2021年11月1日生效,是中国大陆地区首个专门针对个人信息保护的法律。该法规明确了个人信息的定义、处理规则、权利保护和责任追究等方面的内容。3.中华人民共和国电子商务法:2019年1月1日生效,包括对于个人信息的收集、使用、管理、安全保障等方面的规定,针对电子商务领域的个人信息保护进行了规范。4.JR/T 0223-2021 金融数据安全数据生命周期安全规范。5.WS/T 7880-2021国家卫生信息资源使用管理规范。行业现状-DB
5、A 和 Developer 占比案例DBA 人数应用开发人数数据分析师人数业务系统用户人数DBA/总人数比例500 人规模电商研发团队3500-1/10030人规模金融研发团队22010-1/20200人规模政务系统业务方350-1501/50300人规模运营商数据库项目组3300-301/10010000 研发规模大型互联网企业20100003000-1/100002应对挑战各显神通数据增长带来三大挑战系统稳定:数据量不断增长,对数据库稳定性带来风险,烂 SQL 的代价比以往更大、数据备份恢复压力凸显;协同效率:数据库数量不断增长,DBA 工作负担越来越重,权限配置和 SQL 审核效率亟需提
6、升;数据安全合规:政府和行业监管对数据安全合规越来越严格,企业本身对隐私数据保护也越来越重视,缺少有效的数据安全防护机制,合规风险之雷必须尽快排查;应对挑战 各有各招大型企业,数据库特权访问系统;大型互联网企业,自研平台;中小型企业私有云,开源组装;中小型企业公有云,依托云服务蚂蚁集团实践-协同模型DBA资源规划部署运维监控诊断变更审核资源申请数据库变更数据查询Database CollaborationDatabase CollaborationOCP 多角色协同开发;Developer Tool-Data Operation Platform;TP+AP&HTAP;集成 和 被集成;开源
7、和 SaaS;05OceanBase Developer CenterOceanBase Developer Center 开发管控协同一体化平台SQLSQL 开发开发系统稳定系统稳定安全合规安全合规协同效率协同效率SQL 编辑SQL 检查帐密托管定时任务结果集互操作变更审核权限控制自动规则诊断剖析数据生命周期管理操作审计单点登录 SSO数据库对象结构同步SQL 审计Open API数据库管理无锁数据变更数据脱敏脚本和片段共享OceanBase 产品化方案-权限管控OceanBase 产品化方案-SQL 检查和变更审核OceanBase 产品化方案-脱敏规则和脱敏策略2023 OceanBas
8、e 开发者中心路线图方向Q1Q2Q3Q4SQL 开发OceanBase 4.0/4.1SSL 连接大规模表列场景性能提升生僻字展示全链路诊断并行计划可视化安装部署易用性提升桌面版启动速度优化常用运维命令助手MySQL USER 对象MySQL 导入导出桌面版资源占用优化SQL 编写效率提升Oracle 导出数据库基础监控协同效率自定义角色自动授权规则批量创建用户、连接配置私有云实例管控面向项目的管控三方审批系统集成OceanBase AP 适配自动生成回滚脚本ODP 逻辑库导入导出测试数据生成支持多表备份恢复支持云存储系统稳定SQL 检查内置规则定时任务无锁结构变更历史库管理SQL 检查自定义规则无锁数据变更行级回收站自定义研发规范逻辑备份恢复安全合规动态数据脱敏个人连接纳入操作审计库表级别权限管控数据脱敏性能提升数据脱敏行业规范数据库 SQL 审计Keep connectingOceanBase 社区博客:https:/ issues:https:/ you!GitHub:/oceanbase/服务号:OceanBase数据库星球论坛: