《专场6.5-数字化时代MySQL数据归档系统建设思路与实践-冯光普.pdf》由会员分享,可在线阅读,更多相关《专场6.5-数字化时代MySQL数据归档系统建设思路与实践-冯光普.pdf(24页珍藏版)》请在三个皮匠报告上搜索。
1、数字化时代MySQL数据归档系统建设思路与实践冯光普 多点DMALL数据库团队负责人大事小做,大事变成小事小事大做,则小事变成大事陶行知1.DBA面临的归档挑战:安全、效率、成本2.归档存储选型、成本分析、如何利用云原生优势3.归档工具/平台建设实践,面向研发自助交付4.对数据冷热分离技术未来展望Contents多点DMALL数据团队负责人MySQL、TiDB、Redis、MongoDB数据库平台:为研发体系输出规范化流程及服务DB中间件,双活架构更早,阿里巴巴数据库AliSQL团队冯光普1.DBA面临的归档挑战:安全、效率、成本2.归档存储选型、成本分析、如何利用云原生优势3.归档工具/平台
2、建设实践,面向研发自助交付4.对数据冷热分离技术未来展望Contentso 云端集中式数据存储o 人、货、场数字化,数据大量产生o 系统持续迭代、数据快速增长供应链以“需求预测、流程在线、数据协同”为核心系统的敏捷供应链能力商品以“智能选品、可视化陈列、AI自动补货”为核心系统的智能商品决策能力品牌基于全渠道零售数据,结合多点品牌家系统,助力品牌商费效比提升与营销活动渠道下沉门店以“员工在线、智能调度、任务协同、量化管理”为核心系统的门店经营能力会员以数字会员、精准营销、全渠道触达、ROI追踪”为核心系统的会员运营能力零售数字化-SaaS场景-24个存储节点-60TB数据某生产TiDB集群(从
3、多个上游MySQL同步聚合数据),上线不到一年成本DBA面临的归档挑战:安全、效率、成本安全效率成本o 大批量数据归档,存稳定性风险,焦虑o 数据增长,归档频繁,疲于应对o 冷数据存储成本越来越高,压力大1.DBA面临的归档挑战:安全、效率、成本2.归档成本分析、存储选型、利用云原生优势3.归档工具/平台建设实践,面向研发自助交付4.对数据冷热分离技术未来展望Contents归档成本分析资源成本管理成本频繁归档数据找回容量管理持续增长冗余可靠冷备/文件在线/实例性能归档存储/需求支持在线查询-无须从冷备中恢复-可接受的查询性能兼容MySQL-MySQL协议(TiDB)-数据类型兼容便宜对象存储
4、易扩展-弹性扩容-无限容量可靠归档存储/选型特点S3存储引擎,表转储成S3后只读块设备Aria引擎-对象存储S3表云原生数仓、AP能力好需做转换/映射:表定义、字段类型优势表定义、数据类型一致;索引可用压缩率高(10 x)支持几乎所有公有云厂商对象存储数据压缩率高(10 x)适用归档少量数据,表不超过本地块设备在线点查(二级索引)归档大量数据(10TB+)、可持续归档在线分析(Parquet)对象存储归档存储/压缩mysql alter table po_historyENGINE=S3 COMPRESSION_ALGORITHM=zlib;mysql show create table po
5、_history;CREATE TABLE po_history(id bigint(20)NOT NULL AUTO_INCREMENT,shop_name varchar(40)DEFAULT,.closed smallint(6)DEFAULT,PRIMARY KEY(id),)ENGINE=S3 COMPRESSION_ALGORITHM=zlib mysql select count(*)from po_history;+-+|count(*)|+-+|8281892|+-+1 row in set(0.14 sec)2969330InnoDBS3在线SQL查询运维友好对象存储无限容
6、量归档存储/降本效果SSD价格HDD价格腾讯云对象存储COSCloud Storage Service使用对象存储价格降至10%数据压缩(3x10 x)存储空间降至20%成本降低98%+12对象存储S3价格1.DBA面临的归档挑战:安全、效率、成本2.归档成本分析、存储选型、利用云原生优势3.归档工具/平台建设实践,面向研发自助交付4.对数据冷热分离技术未来展望Contentspt-archiver的问题-bulk模式下(load file),遇到JSON字段特殊字符,处理有异常-串行方式执行SELECT-INSERT-DELETE,难以发挥目标端性能-批量数据量太多,可能导致源端故障、主从延
7、迟-批量数据量太少,目标端Databend中会产生大量snapshot,归档执行越来越慢归档工具/需求保护源端可自适应调整执行速率源端读取目标端写入解耦发挥目的端性能归档工具/实现MySQL/TiDBMariaDB S3/DatabendSELECT limit NINSERT into DELETE from SELECT limit NSELECT limit N234batch 10MBflow controlCREATE table1table transform(type,index)for Databendchannelasyncmemory limit归档工具/性能单个并发归档速
8、率:16MB/s(16K rows/s,1KB/row),1.3TB/day归档流程及平台化业务审批DBA审批自动授权研发自助查询归档任务目标:最大程度实现自动化流程,赋能DBA、研发体系研发提归档工单工单化、自助化、智能化-全自动流程-24小时安全运行-研发自助查归档数据数据增长预警系统1.DBA面临的归档挑战:安全、效率、成本2.归档成本分析、存储选型、利用云原生优势3.归档工具/平台建设实践,面向研发自助交付4.对数据冷热分离技术未来展望Contents源库未来技术展望1.源/目的数据一致性-SELECT 与 DELETE 之间有更新导致-关键机制:binlog_rows_query_log_events2.透明冷热分离-面向程序无感(仅性能有差异)-比如:TiDB placement rulesbinlogbinlogbinlog/*ARCHIVE_DELETE*/DELETE FROM DELETEfilterto INSERT归档目标库binlog总结效率-流程自动化、智能化-在线查询冷数据,自助化成本-对象存储,很难更便宜-免运维,DBA心智负担低安全-数据可靠性高(12个9)-可用性高(4个9)质量-流控机制,保护源端-7*24小时运行流程归档工具归档存储