《NineData 多云数据复制_谭宇.pdf》由会员分享,可在线阅读,更多相关《NineData 多云数据复制_谭宇.pdf(30页珍藏版)》请在三个皮匠报告上搜索。
1、谭宇(茂七)玖章算术 首席架构师NineDataNineData多云数据复制多云数据复制www.ninedata.cloud 让每个人用好数据和云Contents目 录01NineData简介NineData是由玖章算术推出的一款多云数据管理平台,我们的使命是让每个人用好数据和云,以帮助企业在数字化时代获得更好的竞争力。02NineData 数据复制数据流动是数据产生价值的基础,NineData数据复制致力于打造数据流动的基础设施。03多云数据管理平台展望多云时代数据管理平台如何帮助业务管理好数据。01NineData简介团队、产品/建设背景/产品概览与业务场景关于玖章算术ABOUT US团队
2、创始团队来自阿里巴巴、华为、IBM等多位资深专家,拥有丰富的云计算与数据库方面的经验。CEO叶正盛曾任阿里云数据库产品事业部副总经理,是阿里云数据库产品体系的缔造者,创立了全球领先的DTS/DMS/DBS/DAS等多款云产品。历程公司创立于2021年11月,入选杭州未来科技城科技创新重点支持项目,截止目前团队90%为技术研发人员。产品专注于云计算与数据库领域,一年内发布了SQL开发、数据复制、数据备份与恢复、数据库对比四款产品。在IT168&ITPUB的年度评比中,NineData产品获得了”年度创新产品”奖。融资获头部投资机构认可,由红杉中国种子基金领投。愿景让每个人用好数据和云。客户产品已
3、在多家云厂商、金融媒体、跨境电商、大型制造企业落地,获得各个客户一致好评。NineData多云数据管理平台概览企业数据基础设施:在不同云上的多种类型数据库企业数据基础设施:在不同云上的多种类型数据库数据库 DevOPS:SQL开发平衡安全与效率,从源头保证数据规范、质量数据复制数据自由流动,发挥数据价值数据对比保障数据一致性,消除数据质量问题保护数据资产:备份恢复数据安全查询数据安全查询SQLSQL审核审核敏感数据管理敏感数据管理权限与审计权限与审计开发规范与流程开发规范与流程同同/异构转换异构转换库库/表表/列映射列映射丰富的预检查项丰富的预检查项数据过滤数据过滤/转换转换SchemaSch
4、ema对比对比数据对比数据对比快速对比快速对比周期性对比周期性对比物理备份物理备份增量备份增量备份备份数据实时查询备份数据实时查询快速恢复快速恢复逻辑备份逻辑备份IDCNineData多云数据管理平台建设背景NineDataNineData多云数据管理平台数字化时代,每个企业都在泛互联网化,对数据和云的运用正在成为企业的关键能力,同时也存在很多挑战。由专门的人变更数据库效率变得不可接受,开放权限则带来稳定性和数据安全的问题,企业需要在效率与安全上取得平衡。开发效率、业务稳定性与数据安全数据流动是数据产生价值的关键,但多云以及多数据模型带来的技术复杂度、环境复杂度阻碍了数据流动。多云多数据模型下
5、的数据复制数据变得前所未有的重要,直接影响企业的生存,如何确保企业的数据永远处于保护状态?数据资产保护数据质量会直接影响业务结果,数据业务化的链路长导致数据质量问题难以排查。数据质量NineData:数据管理场景日常数据库生产数据库数据仓库搜索/消息系统其他业务数据库表设计/编辑设计规范数据查询数据生成在线数据查询敏感数据保护数据导出数据订正组织权限SQL审核变更发布操作审计SQL开发物理备份增量备份备份数据实时查询快速恢复逻辑备份数据备份同异构转换数据复制库表列映射预检查数据过滤、转换02NineData 数据复制数据流动的困难/NineData多云数据复制/技术架构、安全NineData数
6、据复制:数据流动的基础设施同/异构数据源数据流动同/异厂商数据流动同/跨境数据流动数据仓库消息系统搜索引擎云数据库阿里云AWS华为云Azure移动云腾讯云自建IDC/云北美亚洲欧洲数据即是资产,资产流动才能凸显价值。但是今天数据流动面临诸多困难,特别是叠加多数据源、多环境以及多国家地区法规等多重因素,要做好一个长期稳定运行的数据链路殊为不易。NineData 数据复制致力于提供数据流动的基础设施。消除不同数据库类型、不同厂商、不同环境下的造成的数据流动难点,帮助企业最大的发挥数据价值。NineData数据复制:数据流动的困难数据流动面临多重困难多数据源数据复制高度依赖数据库的参数配置、用户权限
7、、版本等因素,不同数据库类型还涉及到结构转换与数据类型转换,非常容易出错。0104数据一致性两端业务分别使用数据非常可能造成数据不一致以及冲突从而导致数据链路中断,如何快速发现以及修复是数据复制必需要考虑的事情。0203多厂商互通云厂商往往是“宽进严出”,对其他厂商的支持不足或功能非常简单,不满足用户需求,特别是在网络互联及通信案例上鲜有考虑。长地域、长周期链路在跨地域或跨境同步时,会面临各种网络状况,如何保证长链路的情况下数据稳定同步是一个非常困难的问题。NineData数据复制能力及优势连通性参数配置权限、版本表、列类型一次暴露所有问题异构转换最佳类型匹配库、表、列映射全类型支持提供手动订
8、正智能分片断点续传数据转换表内并发动态限流全对象类型全DDL/DML事务级并发任意时间点热点自优化全链路监控实时告警友好的运维日志单记录粒度修复多种修复策略高度灵活的互联互通架构全链路数据安全完善的预检查机制完备的结构同步高性能全量同步双向实时增量同步成熟的异常处理完善的预检查机制1一次暴露所有问题,无需反复修复2覆盖权限、参数、版本等方方面面,预检查通过后任务成功率超过99%3提供失败详情及修复建议完备的结构同步1支持所有对象类型,包括视图、存储过程、触发器等非表对象2库、表映射3列映射4数据过滤高性能全量同步1清晰明确的进度展示,支持表内、表间并发2超高性能,速度超过10万RPS3行级细粒
9、度处理异常双向实时增量同步1通过双向复制,用户可以构建灵活的多活系统2可配置的DDL策略3多策略处理数据冲突情况成熟的异常处理4多渠道多策略告警1秒级监控2限流保护3精细化控制异常NineData数据对比:保证数据一致性数据库/环境数据对比上下游数据对比动态对比在线搜索数仓数据库主备之间、企业的多套环境之间、业务多区域部署之间Schema与数据一致性往往是导致故障的原因。NineData数据对比可以在不影响业务的情况下校验结构与数据的一致性。数据在流动中产生价值,但流动难免会产生数据一致性的问题。NineData数据对比同时提供了上下游数据对比,比如在线数据与数仓的对比,同步过程中的数据对比。
10、开发环境生产环境单元中心数据库主数据库备同步中的动态对比增量对比结构对比1详细展示不一致情况2精细化处理版本、类型,然后生成变更SQL数据对比1表数据不一致详情2可下载全部不一致数据3单行数据不一致详细展示4生成变更SQLNineData数据复制:产品价值总结Any WhereAny Where支持任意云厂商、任意网络、任意地域,让数据流动不存在阻碍。Any DataAny Data支持MySQL生态、SQLServer、Redis等数十种数据源并在快速增加。Any TimeAny TimeSaaS模式,简单配置,随时可用;强一致实时同步,随时构建复杂灵活的业务场景。NineData SQL
11、数据复制:数据流动的基础设施云原生分层架构数据加密数据鉴权数据脱敏操作审计数据安全NineData ConsoleNineData API接入层NineData GatewayBayKal Store多云部署/调度引擎NineData Parser多版本元数据管理中间数据转换框架BayKalFS核心能力层MySQL/PostgreSQL/SQLServer/Aurora/PolarDB/TiDB/OceanBase MongoDBClickHouseRedis数据源AWSAzure阿里云腾讯云华为云IDC运行环境功能引擎层结构同步全量同步增量读取增量写入逻辑备份物理备份增量备份数据恢复快速对比
12、全量对比抽样对比快速复检敏感规则自动识别查询改写操作拦截对比引擎对比引擎备份引擎备份引擎同步引擎同步引擎脱敏引擎脱敏引擎多云:Any Cloud,Any Region,Any Network中心节点预先拉起,因为政策、合规等原因存在双中心或多中心的可能,单元节点按需拉起。AzureAzure移动云移动云腾讯云腾讯云华为云华为云IDCIDC中国站账号与权限操作审计计量计费Console国际站Console中心结点单元结点私网连接NineData workerNineData workerNineData VPCNineData VPC用户用户 VPCVPCNineData workerNineD
13、ata worker用户专属集群用户专属集群用户用户 VPCVPCNineData GatewayNineData workerNineData VPCNineData VPC用户用户 VPCVPC高性能自适应单表切片算法确保并发性能全轨迹热点合并A1B1C1A2A3C2B2A4A5A6A1A2A3A4A5A6B1B2C1C2A6B2C2灵活的数据提交策略,支持行级并发、事务级并发以及热点合并12小表大表空洞表联合主键安全是NineData的生命线设计/架构安全编码/代码安全部署安全三方审计渗透测试运维安全12354安全不是一个单项任务。它环环相扣,只有从头至尾始终注入安全的意识才能达成。Ni
14、neData 从各个环节保障安全。从设计到发布,从内部测试到三方审计,确保客户的数据安全。设计/架构安全设计/架构安全敏感数据加密存储全链路加密传输多租户隔离风险识别操作审计12345用户到NineData的访问链路、NineData连接到用户的数据库、平台组件之间的通信全部走加密连接与传输。所有对客户数据库的访问均需留下记录;所有操作记录都在系统中留痕;所有日志均可对客户开放审计。租户之间互不可见、不共享任何信息,数据存储进行物理隔离。进行最小粒度的权限控制。租户之间互不可见、不共享任何信息,数据存储进行物理隔离。进行最小粒度的权限控制。用户信息、用户的数据库账号与密码等敏感数据均使用KMS
15、进行加密及传输,加密密钥定期轮换。编码/代码安全根据安全规范进行编码1每次代码提交均需要通过敏感信息及漏洞检测2每朵云上部署均符合等保三级要求WEB应用防火墙云防火墙NineDataVPC数据库审计KMSECS云安全中心ECS云安全中心ECS云安全中心RDS数据库RDS数据库安全组白名单安全组白名单DDOS防护SLB&访问控制堡垒机操作审计阿里云用户运维人员参照阿里云企业上云等保三级合规,目前已经申请等保三级认证。通过华为云“联营联运”商品测试,超过40条安全测试用例、严苛的代码扫描与渗透测试。03多云数据管理平台展望多云数据管理平台展望云计算驱动了企业数字化,多云的使用将进一步提升企业对基础设施的掌控力。多云基础设施对数据处理的手段越多,发挥的作用就越大,多数据库类型、多数据模型的运用是企业必须要掌握的能力。多数据源今天企业对数据的重要性认知超过了以前的任何时间,数据管理平台必须以安全为基础。安全数据作为企业在数字化时代最重要的资产,数据管理平台必须致力于帮助客户发挥每一份数据的价值。数据价值Thank you!GitHub:/oceanbase/服务号:OceanBase数据库星球论坛: