上海品茶

您的当前位置:上海品茶 > 报告分类 > PDF报告下载

2018年传统企业数据库上云实践.pdf

编号:95717 PDF 30页 5.13MB 下载积分:VIP专享
下载报告请您先登录!

2018年传统企业数据库上云实践.pdf

1、传统企业数据库上云实践飞天技术汇传统行业应用架构的变迁互联网分布式应用对数据库挑战Spring/Struts/SOAJ2EE/.NETWebLogic/WAS/MQOracle/DB2集中数据库小机,X86,存储微服务架构容器Swarm/K8S/MesosMySQL/Redis/HBase公有云/私有云/混合云可控发布,保守运维传统企业应用DevOps/持续集成互联网+分布式应用资源资源数据数据中间件中间件发布封装发布封装应用框架应用框架开发运维开发运维分布式敏捷性低成本分布式容器化微服务传统行业的互联网创新需要什么样的数据库?自主可控:基于开放架构,基于开源的优化高可用:跨机房容灾,满足金融

2、级业务系统全天候对外提供稳定可靠的客户服务高性能:互联网+金融的创新业务所需的流量弹性支持云:私有云和公有云互通一致的体感,降低使用和运维难度易运维:大体量自动化、运维体系合规化要求(基线、环境适配、管理体系等)数据安全:审计&数据强一致性&多中心容灾部署成本优化:IT总体拥有成本必须下降阿里云数据库开放,多机房容灾,强一致性,助力科技创新如今,阿里云数据库产品已聚木成林关系型数据库关系型数据库MySQLMySQLSQL ServerSQL ServerPostgreSQLPostgreSQLPPASPPAS(高度兼容高度兼容Oracle)Oracle)POLARDBPOLARDBNoSQLN

3、oSQL数据库数据库RedisRedisMongoDBMongoDBHBaseHBaseMemcacheMemcache混合分析数据库混合分析数据库HybridDB for MySQLHybridDB for MySQLHybridDB for HybridDB for PostgreSQLPostgreSQL搜索与时序数据库搜索与时序数据库OpenSearchOpenSearchElasticsearchElasticsearchHiTSDBHiTSDB数据库服务与工具数据库服务与工具DTSDTSDMSDMSHDMHDMRelational Database ServiceNoSQL Dat

4、abase ServiceHTAP DatabaseSearch and time-series DatabaseData Backup and MigrationApsaraDB Product Catalog基础版高可用版金融版与云服务器一样的成本IaaS的价格,PaaS的服务多项企业级功能,包括读写分离实时升降配置数据加密SQL审计秒级高频监控版本不同,普惠相同从初创企业到金融巨擘的共同认可MySQL金融版内置读写分离主节点备节点备节点Raft读写分离读(Read)写(Write)Client读/写4/7层代理slaveslavemaster只读只读只读完全兼容MySQL*表*数据类型*

5、函数/存储过程*sql_mode*无成本迁移*免费热迁移(DTS)数据强一致*节点故障*机房故障MySQL金融版产品特征规格规格与与性能性能6060核核 470G 3T470G 3T4 4核核 16G16GMySQL金融版产品规格MySQL金融版同城多机房容灾主节点备节点备节点代理Client主节点新主库备节点代理Client机房A机房B机房CFailover机房间的延迟带来的性能损耗不到5%分布式高频探测 网络/硬件/OS/数据库 多重监控 智能决策系统 数据一致性保护切换过程,对上层无感知:新连接直接到备节点 空闲的老连接,自动切换到备节点;事务中或运行中的老连接,等待10s后切换到备节点

6、,超时Kill。三机房部署灾备切换机房A机房B机房C网关/代理(四层/七层)主:上海(三机房)灾备:北京(单机房)主节点备节点备节点Raft协议,日志同步机房A机房B机房C网关/代理(四层/七层)主节点备节点机房ABinlog同步MySQL金融版两地多中心用户流量DTSDRCMQ金融级可靠性原理揭秘金融级可靠性原理揭秘数据复制的演进双通道binlog复制拜占庭将军问题与Raft一致性算法Raft in MySQL负责选主、控制复制关系Flashback确保数据强一致.1.数据复制技术的演进MySQL的日志复制是异步的,也就是说主备库客观上存在延迟。虽然IO_Thread传输日志的延迟(大部分所

7、说的延迟都是指SQL_Thread Apply的延迟)小到几乎可以忽略不计,但对数据安全性要求极高的场景下却存在天然缺陷。除了延迟导致的日志丢失,当Master意外故障时,没有来得及复制到备库的日志是不会在新Master执行。但老Master恢复后,会对PendingBinlog执行Engine Commit。导致新老Master数据不一致。MySQL原生异步复制的问题永远不知道备库的数据是不是最新永远不知道备库的数据是不是最新异步复制(一主一备/一主多备)MySQL原生半同步复制的问题网络故障时,半同步会降级成异步(可以设降级的延迟时间)网络恢复后,从节点异步复制追数据,直到追平后,提升成半

8、同步复制因此,当主节点宕机时,无法判断从库当前是异步状态,还是半同步状态,不知道从库数据是否追平。即:半同步状态下,也不能确定备库的数据是不是最新的。AliSQL改进:双通道数据复制主备间有两条数据复制通道:1.半同步复制通道只接收最新的binlog,不回放。网络故障就放弃接收,恢复后不追数据,接收最新的binlog2.异步复制通道正常按异步复制逻辑拖取和回放binlog,保持备库数据再现当主库宕机时,双通道模式可以确定性得知,备库的数据是否跟主库一致双通道复制数据一致性判断备库数据一致,放心切换备库数据不一致,根据不同SLA做出动作,即做出动作,即RTORTO优先时,可以优先时,可以切换;切

9、换;RPORPO优先时,需人工做数优先时,需人工做数据恢复据恢复当主库宕机时,备库具有确定性状态即:具有确定性状态即:异步通道半同步半同步通道网络故障区,放弃同步主库宕机点时间备库数据一致备库数据一致1异步通道半同步半同步通道网络故障区,放弃同步主库宕机点时间备库数据不一致备库数据不一致可补偿到一致可补偿到一致2 2异步通道半同步半同步通道网络故障区,放弃同步主库宕机点时间备库数据不一致备库数据不一致无法补偿无法补偿3 32.拜占庭将军问题与分布式一致性算法https:/raft.github.io/https:/raft.github.io/MySQL金融版内核中引入Raft对MySQL集群

10、中的主备节点状态进行管理协调,在故障Failover时进行选主,避免多点写入。Leader:为主库,可读可写,向Follower发送日志。Follower:为备库,只读,从Leader接收日志Raft分布式一致性算法简化的Paxos算法,解决拜占庭将军问题Raft VisualizationRaft VisualizationMasterMasterSlaveSlaveSlaveSlaveRaftRaftRoleDatabase RoleStateTermExpiredLeaderMasterread-write1001170526 16:20:09FollowerSlaveread-only

11、1001170526 16:20:09FollowerSlaveread-only1001170526 16:20:09这是节点的状态,包含他们的角色,数据库状态,选举的Term值,以及租约过期时间。角色 决定了他们的读写状态,以及日志复制流向。Raft 分布式一致性协议MySQL金融版实现方式内核引入Raft分布式一致性算法底层维护了三个数据库节点,一主两备的复制拓扑结构意味着每个节点都是全量的数据,数据库事务日志(Log)从主库同步复制到所有的备库,当集群中超过半数的节点都写入成功后,事务才能完成提交。虽然是同步复制,但由于是三个点,因此单个节点的故障不会影响到实例整体的可用性。这种设计的

12、好处显而易见,即在不损失可用性的情况下,通过较高的数据冗余度来换取更好的可靠性,同时支持跨机房的部署方式,具备机房容灾能力。分布式一致性复制三节点强同步复制数据安全数据安全安全是根植于阿里云内核的原生功能事前 VPC专有网络 IP白名单 防暴力破解 灵活账号权限管理事中 SSL加密 TDE加密 拦截SQL注入攻击事后 SQL审计 克隆实例全生命周期的安全体系,根植在阿里云飞天内核最底层。安全功能安全,是根植于内核的原生功能全生命周期的安全体系,根植在阿里云飞天内核最底层。安安全全功功能能RDS安全与功能的融合未来,已来未来,已来划时代数据库POLARDBPOLARDB兼容并包,大有风度100%向下兼容MySQL 5.664核,512G强大的计算节点性能6倍超越100TB极大存储容量Cloud Native 产品设计1.计算与存储分离3.一写多读 DB Server4.分布式共享存储架构(Raft控制的共享存储)POLARDB划时代的数据库产品架构2.RDMA远程直接数据存取远程直接数据存取放弃了基于放弃了基于binlogbinlog的逻辑复制,而是的逻辑复制,而是基于基于innodbinnodb的的redologredolog实现了物理复制实现了物理复制POLARDB限时大促飞天技术汇

友情提示

1、下载报告失败解决办法
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。

本文(2018年传统企业数据库上云实践.pdf)为本站 (云闲) 主动上传,三个皮匠报告文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知三个皮匠报告文库(点击联系客服),我们立即给予删除!

温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。
会员购买
客服

专属顾问

商务合作

机构入驻、侵权投诉、商务合作

服务号

三个皮匠报告官方公众号

回到顶部