《专场7.4-中国银联分布式数据库在金融场景下的技术探索与实践-赵智慧.pdf》由会员分享,可在线阅读,更多相关《专场7.4-中国银联分布式数据库在金融场景下的技术探索与实践-赵智慧.pdf(33页珍藏版)》请在三个皮匠报告上搜索。
1、银联分布式数据库在金融行业云的探索与实践赵智慧 中国银联 云计算中心目录银联自研分布式数据库201520192021数据库中间件数据库中间件UPSQL ProxyUPSQL Proxy分布式数据库分布式数据库UPDRDBUPDRDB目前已在3个region上线商用赋能银联云赋能银联云UPDRDB技术架构Lamost Storage EngineMetadata&CoprocessorCoordinator DataNode#4UPSQL(Master)UPSQL(Standby)UPSQL(Slave)CoordinatorCoordinatorUPSQL(Master)UPDRDB Data
2、Node#2UPSQL(Master)UPSQL(Standby)UPSQL(Slave)DataNode#1UPSQL(Master)UPSQL(Standby)UPSQL(Slave)DataNode#3UPSQL(Master)UPSQL(Standby)UPSQL(Slave)UPSQL(Standby)UPSQL(Slave)InnoDB Storage Engine 单点DDL 数据库连接池 流式通信 分布式死锁检测 复杂语句支持 自动扩缩容目录探索金融行业云银联云银联云稳定可靠金融级安全自主可控智能开放探索金融行业云稳定可靠、扩展性强、性能优越的金融级云分布式数据库跨AZ跨机房部
3、署主从架构故障恢复机制高性能高性能海量数据存储大并发交易型数据分片应用透明高安全高安全用户管理连接安全SQL安全访问控制数据安全安全审计水平扩缩容垂直扩缩容数据均衡高扩展高扩展高可用高可用可视化可视化实时监控告警任务调度高可管理高可管理一键化部署智能巡检集群管理日志服务数据库管理目录高安全性01多角色权限控制密码加密认证插件用户管理用户管理02身份鉴别异常登陆隔离机制SSL加密连接连接安全连接安全03SQL黑白名单SQL统计SQL安全安全04访问权限控制VPC与子网安全组访问控制访问控制05定期备份与还原加密存储敏感字段脱敏数据安全数据安全06SQL审计管理操作审计安全审计安全审计SQL黑白名
4、单 设置SQL黑白名单来实现SQL访问控制和告警,防止未授权的高危SQL语句在数据库中执行语句分类权限策略实时生效SQL黑白名单 根据语句类型或语句摘要,由用户进行标识和分类:灰:一般为新增语句或类型白:可放行语句黑:禁止直行 在用户维度配置三种策略:ALLOW:允许执行DENY:拒绝执行ALARM:允许执行但报警SQL语句摘要SQL摘要摘要安全规则安全规则select?黑名单.摘要计算规则判断用户用户用户规则用户规则user_1灰名单放行.放行、拒绝、告警SQL黑白名单/技术实践应用场景:高危SQL、细粒度执行权限控制一致性还原 使分布式数据库集群恢复到历史的某一指定时刻,并保证事务一致性状
5、态1分布式集群备份指定时间点事务一致性1Full backup method and device for distributed database system and computer readable storage mediumP.CN112000521B.2021.08.27一致性还原集中式数据库还原(回档)到任意时间点分布式数据库还原(回档)到任意时间点全量binlog008binlog009binlog010增量回放全量还原全量db#1-binlog008db#1-binlog010全量db#2-binlog101db#2-binlog102db#2-binlog103全量db#
6、3-binlog97db#3-binlog98db#3-binlog99快速增量回放全量还原撮合分析撮合回放目标时间点目标时间点 全量还原 通过增量binlog快速还原到距离目标时间点较近的安全时间点通过分析目标时间点附近的各分片增量binlog,挑选出已完成的分布式事务进行还原扩展分析区扩展分析区db#1-binlog009其他参与者1xa preparexa commit其他参与者2xa preparexa commit最后参与者write xa logcommitdelete xa log一致性还原寻找回放时间点寻找回放时间点 一致性还原寻找回放时间点寻找回放时间点撮合分析区撮合分析区
7、还原:t,t完成xa prepare及commit 回滚:t,t完成xa prepare及xa rollback 忽略分布式事务分布式事务ID最早最早xa prepare时间时间事务完成提交时间事务完成提交时间xxxxx2022-05-23 14:41:20.000000 2022-05-23 14:41:30.000000.回放时间点t=f(t)=min(xa_prepare_t)if commit_t t一致性还原处理步骤对比P和CUR中的xa id找到集合X(在CUR没有找到对应结果的xa id)集合G (各分片与该分布式事务相关的GTID)各分片binlog回放t,t,过滤G一致性还原
8、/技术实践-备份备份类型 全量备份(数据)增量备份(binlog日志)备份方式 定时自动备份定时自动备份(定时备份任务表-管控平台定时触发备份任务,并上传到云备份桶)手动备份(用户可在控制台主动触发)一致性还原/技术实践-回档主从主从定期备份获取备份迁移现网一致性还原/技术实践-回档主从主从定期备份获取备份迁移现网目录数据侧数据侧-纵向弹性扩展纵向弹性扩展数据侧数据侧-横向弹性扩展横向弹性扩展 节点级弹性扩展管控侧管控侧 无状态管控节点,可水平扩展 计算资源 存储资源弹性扩展010203在线扩缩容 支持在线扩缩容,支持任意分片数量的扩容和缩容数据搬迁路由改变数据一致性在线扩缩容Coordina
9、tor.CoprocessorCoordinatorCoordinator 变更映射关系 进行数据搬迁.将数据分为1024个slot,在辅助处理器上维护slot和数据分片之间的映射关系扩缩容时,调整slot和数据分片之间的映射关系,并使用分布式事物进行数据搬迁在线扩缩容 数据分布规则数据分布规则 将数据分为1024个slot(逻辑组),在辅助处理器上维护slot和数据分片之间的映射关系 数据表上增加隐藏列”_hash_index”,标识和统计数据分组信息 隐藏列为数据的逻辑组,分库计算hash值模1024后得到+-+-+-+|group|modulomodulo|datanode|+-+-+-
10、+|unique_group|0|DN_001|unique_group|1|DN_002|unique_group|2|DN_001|unique_group|3|DN_0012|+-+-+-+1024 rows in set(0.01 sec)_hash_indexIDSETTLE_DTINFO5202200241120221004分库规则映射表分库规则映射表create table st1(ID.,SETTLE_DT.,INFO.)engine=lamost comment=:ID在线扩缩容 调整映射关系调整映射关系 扩缩容时,调整slot和数
11、据分片之间的映射关系,产生两套分库规则 extend_su_datanode为旧的映射规则 datanode为当前新的映射规则+-+-+-+-+|group|modulo|extend_su_datanode|datanode|+-+-+-+-+|unique_group|0|DN_001|DN_001|unique_group|1|DN_002|DN_002|unique_group|2|DN_001|DN_003|unique_group|3|DN_002|DN_002|+-+-+-+-+1024 rows in set(0.01 sec)UPSQL-(DN_001)_hiIDSETTLE
12、_DTINFO5202200241120221004UPSQL-(DN_002)_hiIDSETTLE_DTINFO3320150105ProxyProxyData Loadbalance查找待搬迁数据分库:搬迁数据Select*from st1 where _hash_index=2 limit 1001.select*from st1 where id=5 and settle_dt=“20221002”for update2.delete from st1.3.insert into st1(.)values(.)在线扩缩
13、容 数据搬迁数据搬迁分布式事务进行数据搬迁 请求路由请求路由 insert访问新规则 其他操作访问2套规则的并集在线扩缩容/技术实践点击扩容,即可自由选择增加数据分片的数量增加分片后的集群架构,DN_003分片立即可投入使用在线扩缩容/技术实践用户可根据自身需求,设置定时的数据搬迁任务,比如在业务低峰期进行同时可以从表的粒度实时查看数据搬迁的进度未来规划适配Spark SQL/Presto,解决用户复杂的OLAP需求联机分析场景联机分析场景打磨用户友好的管理子系统,加强审计与防御能力智能运维智能运维支持分布式唯一索引,保障分布式唯一性高兼容性高兼容性支持分区表下推完整查询条件,提升性能分布式存储引擎分布式存储引擎银联云行业云 信息安全保障 20年积累的信任网络公安部信息安全等级保护四级认证工信部可信云服务认证ISO 27001信息安全管理体系认证2周3千万次网络攻击,零失分按照监管标准建设 与产业伙伴业务不重叠 自主可控的UP系列产品 安全优化专家咨询、重保支持服务 提供具有支付场景特色的数智服务支付场景特色欢迎使用