《顺势而成大有可为:我眼中的数据库这十年_林春.pdf》由会员分享,可在线阅读,更多相关《顺势而成大有可为:我眼中的数据库这十年_林春.pdf(15页珍藏版)》请在三个皮匠报告上搜索。
1、林春中国太保数智研究院首席数据库专家“顺势而成,大有可为”我眼中的数据库这十年 数据库十年演变战略防御(2014 2018)战略进攻(2021 2024)在互联网海量并发交易场景孵化、打磨国产分布式数据库产品战略相持(2018 2021)在新契机下,国产数据库百花齐放,以 OceanBase 为代表的国产分布式数据库多条技术路线快速发展,亟需金融核心场景打磨,处于从可用到好用演进阶段经过金融核心攻坚及全方位复杂场景打磨,以 OceanBase 为代表的国产分布式数据库趋于好用阶段,奠定金融行业普遍推广基础2014OceanBase V0.5Paxos 复制承接支付宝 10%交易流量2015My
2、SQL 5.7新成本模型优化器、无损复制、多源复制、群组复制、支持 JSON2016OceanBase V1.0MySQL 兼容承接支付宝 100%流量2019Oracle 19c2021OceanBase V3.0混合负载能力提升2022OceanBase V4.0轻型化2023OceanBase 金融业首个深度绑定 Oracle 系统核心攻坚里程碑突破2013Oracle12.1多租户2018MySQL 8.0数据字典、角色通用表表达式(CTE)Window 函数、直方图2014云原生关系数据库 Aurora成为日后亚马逊云科技历史上用户数量增速最快的云服务2018OceanBase V2
3、.0Oracle 兼容非国产数据库国产分布式数据库20142018年金融行业数据库市场状态金融行业 Oracle 数据库占据主导地位金融行业国外商业数据库占据超过 90%,其中 Oracle占据主导地位。核心系统也包括大机 DB2、Informix。2014 年 IBM 将 Informix 数据库出售给南大通用,给存量 Informix 核心系统维护、版本升级带来较高风险。以 MySQL 为代表的国外开源数据库开始使用金融行业 2016 年起开始使用 MySQL 数据库,银行业交在应对易瞬时高并发、多频次、大流量的新型金融业务特征时,基于生态原因,大都采用了 MySQL 数据库;部分银行核心
4、系统主机下移,而 MySQL 单节点处理能力弱于 Oracle,因此 MySQL 实例数大幅增加。互联网海量高并发场景孵育以OeeanBase 为代表的国产分布式数据库OceanBsae 在 2014 年在支付宝使用,并开始应用于金融级业务场景。2014 年双 11 大促,OceanBase 开始承担交易库部分流量。2016 年完成承载所有流量。2018 年大的变局下国产分布式数据库迎来政策契机银监会发布了关于应用安全可控信息技术加强银行业网络安全和信息化建设的指导意见,要求优先应用安全可控信息技术,“在操作系统、数据库等领域要加大探索和尝试力度”。2014年中国人民银行印发的金融科技(Fin
5、tech)发展规划(2019-2021年)的发展目标提出“金融科技应用先进可控”,在强化金融科技合理应用这项重点任务中,明确提出“以重点突破带动全局,规范关键共性技术的选型、能力建设、应用场景和安全管控,探索新兴技术在金融领域安全应用,加快扭转关键核心技术和产品受制于人的局面”2019年10 月 10 日,国务院印发国家标准化发展纲要(以下 简称发展纲要),发展纲要明确强调“开展数据库等方面标攻关。”,将数据库首次纳入国家战略。2021年主要体现在数据库产品 bug 数量较多、金融业非功能性需求适配、数据库开发及运维管理平台不够友好和数据库周边工具功能不足等方面。存量 Oracle 数据库迁移
6、改造存在痛点,主要体现在应用适配评估工具需提升、存储过程改造工作量较高、迁移工具性能及稳定性需提升等。分布式数据库产品尚需金融业务场景打磨,尚无 100%成熟的分布式数据库产品。20182021 年金融行业数据库市场态势尚未明朗以中国人寿、中国太保、中信银行、邮储银行等为代表的头部金融企业开始探索核心系统使用国产数据库。市面上主流的分布式数据库分为基于 proxy 的分布式数据库和原生分布式数据库。原生分布式数据库产品具有对应用侵入性少等优点,但是比起基于 proxy 的分布式数据库需要有更多的代码研发和改动,数据库产品可靠性方面需要更多的验证;而基于proxy 的分布式数据库也面临如何将底座
7、集中式数据库新版本的新特性整合的问题。不同的分布式数据库各有优劣,需根据具体业务场景适配。分布式数据库厂商的数据库产品内核掌控及 bug 修复能力、应用改造成本及软硬件成本综合成本需要关注。分布式数据库产品处于可用向好用的演进中间状态。金融企业在分布式数据库选型上和使用上需要采取高度兼容的策略,结合业务场景需求,在选择通用性兼容及生态较好的分布式数据库产品后,需要考虑在应用开发中简化、优化、标准化 SQL,在适配分布式数据库特点、提升应用性能的同时,做到技术产品灵活可控。分布式数据库产品呈现多条技术路线同时快速发展的态势。20212024 年金融行业数据库市场状态国内数据库产品最终会分化为头部
8、两三家、中间四五家数据库厂商的明朗格局。Oracle 核心代码、技能是企业积累的宝贵资产,国产数据库产品从降本角度,需要考虑对 Oracle 功能、性能兼容,实现平滑迁移;金融企业需要考虑数字化转型既快又省,同时兼顾远期业务发展的底座支撑,“攻坚牵引、改造前置、架构优化、工具创新、知识沉淀”是降低数字化转型成本尤其是应用改造成本的有效手段。在稳定性前提下数据库数字化转型改造成本战略。头部金融企业核心攻坚成功会起到标杆示范效应,会在催熟数据库产品、解决方案的同时,给更多项目组、企业信心去使用产品,从而形成越用越好用的良性生态循环。头部金融企业核心系统攻坚催熟数据库生态。数据库数字化转型不是单靠厂
9、商或用户就能独立闭环完成的,头部金融企业需要提供核心金融场景以及业务侧、应用侧、产品侧无解时的解决方案;攻坚厂商需要有能对数据库内核代码研发掌控的能力,应用改造还是产品改造需要从稳定性和成本角度合理化权衡;数据库数字化转型替代不是数据库产品层面 1:1 的替代,需要合理拆解;数据库数字化转型方法论、工具创新需要从实践来到实践中去,做到“产品无解,问题有解”。头部金融企业核心系统产、用联合攻坚是加速产品向好用演进的孵化器。国产分布式数据库产品加速分化,头部数据库产品趋于好用,加速形成完善生态。太保集团数据库数字化转型成果我司数字化转型,核心、重要系统多为 OceanBase。实现从原来的集中式架
10、构向分布式架构转变,具备良好的扩展性,在面对瞬时海量高并发互联网业务场景具备良好的弹性扩容能力,满足未来业务增长发展需求。硬件故障自动切换时间在 13 秒内,全面提升业务连续性水平数据库层面提供适配应用双活能力OceanBase 兼容 Oracle 版本和兼容 MySQL 均具备非常好的存储压缩能力,平均压缩到原来1/31/4,服务器硬件扩容需求下降明显,大幅降低场地成本,备份、恢复性能提升 5 倍。OceanBase 对 Oracle 良好的兼容性,且应用侵入性弱,大幅降低应用改造、数据库迁移成本。实现了兼容 MySQL、兼容 Oracle 版本同集群部署、同 OCP 管控,实现多形态数据库
11、逻辑集中、管控整合,大幅提升了资源利用率以及降低了运维成本。工具创新:研发数据库数字化转型评估工具、索引优化助手并经营化,帮助全集团数据库数字化转型改造提效赋能及成本评估参考,降低数据库数字化转型应用改造成本约 20%;架构创新:企业信息视图 45TB 大库首创行业分布式数据库架构,解决保险大库存储瓶颈,并应用到产险销管、费控系统,目前运行稳定;寿险中意险分布式架构创新方法创新:形成了大库改造评估方法论、重负载系统国产服务器 CPU 瓶颈优化方法论、重 IO 负载系统优化方法论等。形成并不断迭代完善信信息应用创新数据库知识库,目前知识库沉淀问题已超过 1000 条;形成完善的集群设计规范、数据
12、库开发规范、数据库配置基线、应用开发框架及 JDBC 配置最佳实践等知识体系;以 P17 核心攻坚、资金系统、增值税系统、产险 P09、产险 M6 车险理赔、销管系统、寿险自然人、中意险为代表的复杂系统上线,培养了国产数据库研发及运维队伍。推广国产数据库培训,全集团获得 OceanBase 数据库认证人数达到 1125 人。96 分破纪录通过OBCE 上机实验考试。架构转型降本显著技术创新 能力沉淀 大量复杂系统上线后未出现风险事故,成为行业新标杆中国太保 P17 客服系统核心攻坚成功太保P17客服系统技术攻坚点包括:P17 太保 95500 客服系统,是太保产、寿、健康、长江等所有子公司客服
13、系统的整合,为公司 6 地 8 个 电话中心超过 2500 坐席提供系统服务。与一般热线系统相比,P17 涵盖了几乎太保所有子公司业务的服务入口功能,对接周边系统超过 200 个,是太保系统关联关系最为复杂的系统之一。涉及到的上下游接口众多,本身又是 7*24 小时服务平台,对于数据库高并发、高可用特性要求极高。存储过程数量庞大,总代码量近百万行,对于 Oracle 产品特性使用非常深入;作为太保服务品牌,系统需要提供 7*24 小时的全天服务,系统可用性要求全年 99.9%以上,对停机时间有着严苛的控制,因此也是太保运维保障最高的核心系统之一。7*24h99.9%全天服务系统可用性要求全年配
14、套的 DS、cognos 等产品对于商业数据库深度依赖,适配改造复杂度很高P17 系统国产数据库升级项目收益自投产上线以来,持续平稳运行,广泛服务于数千名柜面人员、百万业务人员和亿级外部客户。通过数据库产品的高级压缩技术,结合“数据库瘦身”,存储成本平均节省 80%以上;经过架构和应用优化,分析型数据加工处理能力提升 10 倍,构建起全面的实时数据处理和服务能力;监管报送批量场景性能提升 3 倍;升级后的应用系统弹性扩缩容、处理速度、数据加工能力均实现大幅提升,为太平洋保险的数字化转型奠定了坚实的技术基础。实时分析型数据加工处理能力提升倍监管报送批量场景性能提升倍存储成本节约以上OceanBa
15、se 在重负载情况下 CPU 性能优化方法论结合业务逻辑,从设计、应用优化角度大幅降低 CPU 负载,是解决当下重负载应用系统国产服务器 CPU 性能瓶颈的核心优化方案,从长远看,也有利于业务系统数字化转型降本增效,更好支撑未来业务的发展。OceanBase 通过应用侧极致优化,形成可推广的优化范式,可以很大程度上弥补硬件 CPU 性能不足,可以很好承载重负载系统 海量数据加工场景海量高并发场景标量子查询改外连接虚拟表优化 inlist 问题索引设计全局索引改本地索引优化并发性能清理冗余索引优化 DML 性能For 循环优化以中国太保集团某系统海量数据加工场景为例,优化效果如下:1.固定费用查
16、询报表模块在服务器较差的情况下,性能较 Oracle 侧提升 7.8 倍2.全成本文件下发模块优化效果提升 40%,在服务器较差的情况下,性能较 Oracle 侧相当3.支付清单数据批处理 8 小时满足业务要求索引设计优化Queuing 表优化Sequence cache 优化以中国太保产险车险理赔核心系统优化为例,主节点 QPS 峰值超过 11 万。优化前CPU使用率平均超过80%,峰值超过 87%。优化后,效果明显,CPU 负载平均降低 25%左右。优化思路优化成果核心系统数字化转型中的战略思索改造降本方法论数字化转型成本优化技术路线数字化转型赋能(杠杆)应用改造测试成本迁移优化硬件成本架
17、构设计综合软硬件成本、业务场景需求、产品收敛原则推广国产数据库认证、数字化转型攻坚大讲堂案例分享、知识库沉淀问题识别SQL 优化改造 Oracle 侧前置太保应用预扫描工具“指南针”经营化,预期问题识别环节降本 50%研发优化辅助工具,结合 SQL 审核、调优培训和开发规范,预期提升优化环节人工成本 30%影响迁移性能,OB 不兼容的关键卡点 降C缩容评估 高频高逻辑读SQL优化;游标未关闭泄露排查;数据库瘦身等 数据库降 C 缩容存储利旧硬件资源估算模型OB 利旧(合并压力)大对象从数据库拆离存储重AP场景拆离到数据中台依赖OceanBase 对金融行业数字化转型价值点及未来期待降本显著未来
18、期待单机分布式一体化,提升资源利用率,日志治理,简化运维;适应云环境,实现存储和计算资源的独立扩展与按需付费,降低成本并提升资源效率;通过 AI 技术结合,提升数据库自治能力,降低运维复杂度,提升数据库的整体可用性和服务质量。OceanBase 具备严苛金融复杂场景打磨过的良好兼容 Oracle 特性,对应用侵入性少,大幅降低应用改造成本;在不影响处理性能同时,兼容 Oracle 版本和兼容 MySQL 均具备非常好的存储压缩能力,平均压缩到原来 1/3,大幅减少服务器硬件扩容需求,对于大机下移存在场地瓶颈、MySQL 大库分库分表痛点的企业极具价值,备份恢复较 Oracle 约提升了5倍性能
19、;实现了兼容 MySQL、兼容 Oracle 版本同集群部署、同 OCP 管控,大幅提升了资源利用率以及降低了运维成本。OceanBase 经过大量复杂金融场景打磨,稳定性有保障,硬件故障情况下,根据版本不同,自动切换时间在 813 秒之间,适合有很高业务连续性要求的互联网金融场景。OceanBase 具备很强的数据库内核研发掌控能力,bug 修复速度很快。从 OceanBase 的产品演进、生态体系建设、培训体系建设、帮助文档建设、工具建设可以看出,OceanBase 是金融用户可以信赖、真正做技术的公司,能够走的很远。技术兜底业务系统数据库由原来的集中式架构变成了现在的分布式架构,实现良好的扩展性,在面对海量高并发秒杀或开门红场景具备良好的弹性扩容能力;满足未来业务增长发展需求;可以很好适配金融监管或业务的应用双活需求;稳定保障架构转型谢谢谢谢谢谢