《【刘奇Max】keynote.pdf》由会员分享,可在线阅读,更多相关《【刘奇Max】keynote.pdf(58页珍藏版)》请在三个皮匠报告上搜索。
1、然语AI 成 46%的新增代码 Data未来扩到 10 亿低到可数据分析的槛数据消费群Coding 最热的编程语GitHub 技术变总会带来“涌现”周期,这次,AI 正在重塑软件业涌现中的技术世界然语AI 成 46%的新增代码Coding 最热的编程语GitHub 涌现中的技术世界涌现中的技术世界 Data未来扩到 10 亿低到可数据分析的槛数据消费群可开放态弹性扩展Always on规模化数据整合更低成本涌现中的技术世界AI 时代到来 我们需要怎样的数据库技术?环境的快速变化需要企业更快的创新响应 向先进性要答案,这是我们从客户身上看到的例分布式数据库建设背景随着融环境渐趋包容开放的转变、社
2、会融 服务创新的层出不穷以及市场竞争主体的多元化在新时代、新监管、新业态、新模式背景下,国内融市场的 进步开放以及监管要求的不断升级和完善产品创新、管理精细化、流程优化 是国内银业应对数字化转型的重要举措推进分布式数据库技术解决传统数据库痛点,是推进数字化转型的关键点随着数字化浪潮的推动与融科技的 迅速崛起,构建开放态正成为银业的新趋势业务发展 驱动因素分布式技术开放态以客户 为中融环境 市场竞争监管升级 和完善理财联卡付贷减值融 渠道机 银银联 卡付综合信息 查询产品 信息查询卡 系统贷 对公会计 核算系统互个贷 催收Cloud TiDB分布式 核京信链198节点17,952vcore18业
3、务平台TiDB 使经历2002020212022京信链系统、分布式 核、机银 5.0 系统上线联系统、银联卡付、联从集群正式上线开始与 TiDB 进技术对接 进兼容性、性能测试全开展 TiDB 升级作,各集群逐步 升级 LTS 版本联、贷 TiDB 集群升级贷集群、互平台、融渠道 开放平台上线调度管理器321分布式数据库实践 分布式融业务平台 建设分布式核系统,打造我双核融合架构 HTAP 混合业务场景试点应MetadataSQL 引擎 2SQL 引擎 3SQL 引擎 4SQL 引擎SQL 引擎 1.SQL 引擎 N智能寻址智能寻址WorkerFlow DriverJob
4、分析引擎WorkerWorkerFlow Cluster存储引擎.存储引擎 1存储引擎 3存储引擎 5存储引擎 1存储引擎 3存储引擎 5业务应基础服务技术平台频查询历史明细查询频交易查询热点账户查询海量数据查询批处理服务对公对账单余额表成间储蓄计提睡眠户监控借记卡管理开换销发卡制卡管理卡产品设量签约协议客户管理个客户管理对公客户同业客户存款产品活期存款额存单存本取息定期存款结构性存款定慧盈其他 产品 服务查询服务数据监控与治理服务险防控服务批处理服务消息推送服务客户模型基本信息地址信息合约信息联系式险信息客户画像多级账户模型I/II/III账户账户签约账户关系账户视图账户管理产品模型产品录产
5、品属性产品装配产品模板产品邮件产品发布会计核算模型引擎规则会计事件总分核对交易流分录规则核算引擎基础架构平台Spring-cloud 微服务框架Redis 分布式缓存消息中间件统志平台统调度平台动化部署分布式融业务平台架构分布式 NewSQL 数据库数据传输NEWSQL主 集 群DNSF5应F5应F5binlogKafka顺义从集群存储引擎集群调度器数据库 SQL 引擎和平 IDC1数据库 SQL 引擎数据库 SQL 引擎存储引擎存储引擎存储引擎集群调度器集群调度器顺义 IDC2数据库 SQL 引擎数据库 SQL 引擎存储引擎存储引擎存储引擎集群调度器集群调度器安异地 IDC3数据库 SQL
6、引擎数据库 SQL 引擎存储引擎存储引擎存储引擎集群调度器跨地区的 分布式存储集群跨地区的 分布式调度集群采两地三中的部署式 满合规、安全要求。采主从多活结构,主集群 作为产集群,承担常产服务,从集群异步同步主集群数据,作为备份数据库使。分布式数据库实践 联业务两地三中可实现 合理利微服务架构,充分发挥分布式数据库能 充分利分布式平滑扩缩容能,快速响应业务流量突增的情况 并发写场景,热点数据预打散 利在线横向扩展能,从容应对业务增 利分布式数据库能,减轻核系统压,提升应查询性能 分布式核系统具备产品快速创新,差异化服务等能,提升融服务能 基于 TiFlash 的分布式 HTAP 的应场景探索
7、探索基于国产化 ARM 平台的 TiDB 应 结合原研究向,探索缝平滑版本升级策略 完善数据平台能建设,推进规范和标准建设,培养专业分布式数据库设计、开发和运维才 超级银 个贷催收 互联理财 联付清算平台最佳实践价值收益未来规划应场景 融渠道开放平台 分布式核交易系统 新建系统优先使分布式数据库分布式数据库实践 分布式数据发展之路Thanks滔搏运动 席架构师|洪亮滔搏运动 从 MySQL 到 Oracle 再到 TiDB敏捷效的全域运营能 打造滔搏运动活式平台全域跨场景运动零售态adidas 全球最的零售运营合作伙伴 Nike 全球第、中国最的零售 运营合作伙伴10 余个合作品牌泛且深度下沉
8、的零售络 覆盖中国 300 多个城市超 6,000 家直营店获得多项重量级荣誉 顶流选云集 微博粉丝总量数千万TES 滔搏电竞技俱乐部滔搏是中国领先的运动零售运营商,拥有泛且深度下沉的零售络,覆盖全国 300 多个城市 6,000 多家直营店,与 10 余个知名 运动品牌深度合作。滔搏致于为消费者提供流的运动商品和服务,并创造永境的、积极健康快乐的运动活体验。集中式单库(过去)MySQL 分库+Oracle 聚合库(过去)分布式单库(TiDB HTAP)(未来标:探索中)MySQL 分库+TiDB 聚合库(当前)2020今2016应报表Otter 聚合业务报表Oracle应报表Otter 聚合
9、业务报表Oracle各个区各建设信息化系统 每天上传业务数据到总部应报表应微服务化,实现数据共享,初步的 精细化运营,撑数字化业务发展阶段引原分布式数据库解决聚合库 分析时效性差/法扩展的问题阶段全切换原分布式数据库,简化数据架构,提升业务效率阶段三零售系统升级历程 从集中式单库演进到分布式单库传统零售时代数字化零售时代应报表事务引擎分析引擎数据实时共享原有架构MySQL 平拆分/读写分离撑 海量数据、超并发解决案存在的不财务分析 业务报表线上私域会员线下海量数据/超并发数据实时共享使 otter 进实时同步,实现数据在 系统间、区域间的实时共享Oracle 聚合库撑实时报表服务 实现业务可视
10、化随着数据共享需求变多,Otter 同步通道 越来越多,维护成本巨随着数据增,复杂的报表请求法跑出,法通过扩展节点解决扩容操作困难、全局表不致、组织机构 拆分合并困难Otter 数据同步平台离线数仓POS财务订单营促销店 POS MyCAT 集群财务 MyCAT 集群订单 MyCAT 集群营促销 MyCAT 集群Oracle零售系统临的挑战解决案 演进到单库形态,使 TiDB HTAP 架构撑整个零售系统主数据/业务数据同步CDC分析报表(全局)业务报表云海零售系统 x TiDB HTAPPOS财务货品营促销集群 1营促销主数据POS预期标初步规划集群 2 with TiFlash Exten
11、sion货品财务POS主数据营促销降低 50%的机器使数据同步通道从 100+降到 20+报表并发响应性能提升、实时性提升需维护数据、扩容实施周期缩短到天级别需引分键,需求实现难度降低降低硬件资源简化数据链路业务效率提升维护效率提升开发效率提升建设两套集群,按业务进合并及拆分:集群 1 撑 3 个业务系统 各系统间负载隔离(Placement Rule)集群 2 撑 1 个业务系统 并撑业务报表和 分析报表服务两个集群间通过 CDC 进业务数据和 主数据的相互同步010203Thanks平安科技 数据库总程师|汪洋平安 UbiSQL 分布式数据库 开源协同创新实践UbiSQL 发版研发模式创新
12、 场景为核,驱动双循环融 场景设计交付研发运维联合 研发联合 交付联合解决 案内循环外循环UbiSQL 开源协作创新【特性】SQL Plan Trace【特性】锁定/解锁统计信息【特性】组件资源限制监控和告警【修复】StmtCache 并发问题修复【修复】TiFlash 磁盘路径错误【修复】Grafana监控图表错误【修复】PD bootstrap 失败问题【特性】Leading Hint【特性】Semi_join_rewite Hint【特性】Substring算下推【特性】PlanCache执计划缓存【修复】Drainer获取状态接更新【修复】Grant/Revoke 写异常【修复】户不存
13、在时 grant 抛出异常【修复】查询 Slow_query 内存过问题【修复】Select limit binding 失效问题【特性】数据编码压缩存储【特性】数据分层存储【特性】User Profile 户配置 【特性】细粒度安全审计【特性】户资源量统计【特性】Row Level Security 级安全【具】图形化展示数据分布【具】统监控告警具【具】统计信息管理具【具】备份策略管理具【服务】LTS 期持服务回馈 TiDB 开源社区UbiSQL 差异化特性UbiSQL Backport 特性01020304UbiSQL 应落地场景以产险权益系统为例:集群从 Oracle 4 节点 RAC
14、迁移,数据量达到 100T+,QPS 40000+核系统应场景场景特点业务核、数据量、并发“国产化”场景场景特点产险付系统为例:集群从 Oracle 3 节点 RAC 迁移麒麟系统+海光 ARM 架构下运,稳定性要求全栈国产化、应迁移改造、深度调优适配场景特点互联应场景以管家为例:管家 2 亿+户,活 500+万,量活动要求计算和 存储持灵活扩容和缩容并发、业务弹性、应创新实时数仓场景场景特点以银实时数仓为例:需开发员介,最快当天可交付报表,Region 数:20万+,作业数:600+,TPS 4000+统数据、实时分析、弹性扩容TiDB 版本占V4.04%V3.017%V2.11%UbiSQ
15、L 集群部署概况包括:产险、寿险、银、普惠、证券、养险壹账通、平安科技、知培训等数据库实体 100+套部署数量集团成员公司 10+家部署涉及UbiSQL 版本占V37%V250%V121%分布式数据库部署情况TiDBUbiSQLTiDB 22%UbiSQL 78%提升可观测性 基于 ebpf 提升 UbiSQL可观测性 完善性能视图提升效率 动参数调优 智能诊断分析资源管理 多租户资源隔离管理 Serverless 交付形式软硬协同 基于国产化硬件深度适配调优 CXL、RDMA 等软硬件技术 融合协同态建设 迁移具、管理平台 深度适配国产态产品 持续回馈开源社区 参与产品标准制制定 才培养Ub
16、iSQL 未来发展向Thanks具 态稳定性性能可易性客户的关注点就是的焦点TiDB 的设计与演进策略gRPC ProtocolStore 1Region 1Region 3Region 5Region 4TiKV node 1Store 2Region 1Region 3Region 2Region 4TiKV node 2Store 3Region 3Region 5Region 2TiKV node 3Raft GroupMySQL ProtocolTiDB SQL LayerKV APIDistSQL APITiDB Server Stateless,Share NothingStor
17、e 4Region 1Region 5Region 2Region 4TiKV node 4Leader of Region 4Compute LayerStorage LayerStore 5Tiflash node 1Store 6Tiflash node 2交互易 动化Chat2Query API 提供被集成能例如SQL 层 持续提升稳定性更智能的优化器例如内核 可性能存储引擎的持续升级例如Single Raft KV EngineShared RocksDBRaft-EngineTiKV NodeShared RocksDB InstanceWAL LogRegions Data CF
18、(SSTs)Partitioned Raft KVRaft-EngineTiKV NodeRegion 1 RocksDB instanceRegion Data CF(SSTs)Region 1 RocksDBRegion 2 RocksDBRegion n RocksDBCloud Storage PoolTiKVTiKV Node 3Raft EngineKV EngineTiKVTiKV Node 2Raft EngineKV EngineTiKVTiKV Node 1Raft EngineKV EngineEBS-4EBS-1EBS-2EBS-3EBS PoolBucket-1EBS
19、 PoolBucket-3Bucket-2Cloud Storage Engine研发代Partitioned Raft KV预研代Cloud Storage Engine部署代RocksDB内核层的性能稳定提升 TiDB 存储引擎的持续升级Single Raft KV EngineShared RocksDBRaft-EngineTiKV NodeShared RocksDB InstanceWAL LogRegions Data CF(SSTs)Partitioned Raft KVRaft-EngineTiKV NodeRegion 1 RocksDB instanceRegion Da
20、ta CF(SSTs)Region 1 RocksDBRegion 2 RocksDBRegion n RocksDBCloud Storage PoolTiKVTiKV Node 3Raft EngineKV EngineTiKVTiKV Node 2Raft EngineKV EngineTiKVTiKV Node 1Raft EngineKV EngineEBS-4EBS-1EBS-2EBS-3EBS PoolBucket-1EBS PoolBucket-3Bucket-2Cloud Storage Engine研发代Partitioned Raft KV预研代Cloud Storage
21、 Engine部署代RocksDBOnline DDL在线加索引 提速 10 倍Partition Raft KV数据丢失险降 5 倍 业务中断险降 5 倍更快速 更安全 更稳定内核层的性能稳定提升 以 TiDB 存储引擎的持续升级开发测试选稳态敏态海量免费户云上敏捷业务云上企业级客户全托管跨云致体验关键场景企业级客户私有化部署TiDB 企业版TiDB Cloud(全托管)TiDB Cloud ServerlessTiDB Open Core能攀升超低槛TiDB 产品家族协同演进TiDB 企业版:经典数据库升级的最佳选择数据库体机银核交易流XX交易系统交易流XX交易系统交易流数据库体机(保留近
22、 30 天数据)批量件(晚间批量结息)准实时 MQ(间)会计引擎每时批处理(间)insert XXX select x,y(30 分钟内完成)晚间批处理 insert XXX select x,y(1.5 时内完成)OGG(会计分录表)数仓总账系统KAFKA银核交易流XX交易系统交易流会记引擎 AP准实时 MQ(间)批量件批量件 A 集群(3 副本)(8/31 存储容量)B 集群(3 副本)(24/31 存储容量)超 7 天数据dumpling+lightning超 8 天读写(接近 100%读写负载)读(超 8 天数据的点查,少量)NY经典单机数据库替换TiDB 企业版:经典数据库升级的最佳
23、选择为未来预留资源,部分业务资源利率,部分资源利率低,总体存在资源浪费数据库整合降本增效Overall Utilization 19%APP A10%APP B40%APP C20%APP D10%.借助 TiDB 多租户资源池加超强弹性扩缩容能 降低硬件成本和运维成本APP AAPP BAPP CAPP DOverall Utilization 80%.可持续可扩展可整合更低成本(降低 67%)弹性扩展 极简架构、易于维护更快响应(提升 40%)增强存储、处理和分析能 降低存储、操作和维护成本简化架构 限扩展 100 万 QPS极度弹性和性能 容错能 云中出业SaaS 业电商业游戏业欧洲最移
24、动出公司之 北美新锐客户管理 SaaS印度/全球最的电商平台之 本/全球最的游戏公司之Why TiDBWhy TiDBWhy TiDBWhy TiDBTiDB Cloud:帮全球户降本降险增效TiDB ServerlessAI-Ready 的新代数据库架构TiDB Serverless 正式商Scale to zero极致低成本 秒级启动,瞬间扩展极致弹性 零成本的开发与测试场景促峰值,HTAP,业务弹性.“不管应如何,我只在 DB 上花分钟”2023/07/06活跃集群基于云原/多云的设计零起步的应MySQLTiDB Serverless多重场景TiDB Serverless优势*数据截 2
25、023.07.0610,000*AI-Ready 的架构关键组件的全分离设计灵活集成 AI 能动化的资源调度能动化内核 Patch修复Schema 设计备份与 恢复级 监测内核和 引擎参数OLTP&OLAP workloads纵向与 横向扩展业 合规应 开发部署借助 AI 的 查询设计与 优化常 运维隔离与 安全性能 调优应开发动化内核 Patch修复Schema 设计备份与 恢复级 监测内核和 引擎参数OLTP&OLAP workloads性能 调优纵向与 横向扩展业 合规应 开发部署借助 AI 的 查询设计与 优化常 运维隔离与 安全应开发动化内核 Patch修复Schema 设计备份与
26、恢复级 监测内核和 引擎参数OLTP&OLAP workloads性能 调优纵向与 横向扩展业 合规应 开发部署借助 AI 的 查询设计与 优化常 运维隔离与 安全应开发动化内核 Patch修复Schema 设计备份与 恢复级 监测内核和 引擎参数OLTP&OLAP workloads性能 调优纵向与 横向扩展业 合规应 开发部署借助 AI 的 查询设计与 优化常 运维隔离与 安全应开发动化内核 Patch 修复Schema 设计备份与 恢复级 监测内核和 引擎参数OLTP&OLAP workloads性能 调优纵向与 横向扩展业 合规应 开发部署借助 AI 的 查询设计与 优化常 运维隔离与
27、 安全应开发应开发Schema 设计动化内核 Patch 修复备份与 恢复级 监测内核和 引擎参数OLTP&OLAP workloads性能 调优纵向与 横向扩展业 合规应 开发部署借助 AI 的 查询设计与 优化常 运维隔离与 安全TiDB Serverless 让应开发者聚焦于创新Schema 设计应 开发部署借助 AI 的 查询设计与 优化应开发备份与 恢复级 监测内核和 引擎参数OLTP&OLAP workloads性能 调优纵向与 横向扩展业 合规常 运维动化内核 Patch 修复隔离与 安全户责任TiDB Serverless 责任TiDB Serverless 让我们的应开发 变
28、得常容易。它让我们聚焦应 开发本身,屏蔽了数据管理的复杂度,节省了量的时间和资源 Sky,Founding Engineer8AM12AM4PM8PM0AM4AMTPS时间为流量峰值预留的“浪费”资源实际流量 有波峰波实际使与预留 都需要付费传统的 RDS 付费模式更重要的是,TiDB Serverless 极节省成本8AM12AM4PM8PM0AM4AMTPS时间TiDB Serverless 按量付费只需要为 实际量付费TiDB Serverless RDS 更便宜云上部署社区版 更便宜没有量,没有费 Scale down to zero从封闭到开放从分散到整合从锁定到弹性经典单机数据库经典开源数据库(MySQL)经典云端数据库(RDS)扩展性+HTAP主+可持续省钱+省TiDB 企业版TiDB ServerlessTiDB 数据库整合RDS经典数据库的跃迁路径产品发布 向中国企业户的平凯数据库平凯数据库=TiDB Open Core+增强型企业级功能提供国产化需求的企业级功能提供更完善的国产化态兼容功能提供更完善的国产化企业级服务持能国产化 基础套件国产化 态兼容图形化 平台套件TiDB Open Core企业级 安全套件体系化 交付服务感谢客户陪伴 我们继续携创新、持续领先Thanks