1、一站式在线数据管理平台DMS天羽阿里云智能资深技术专家技术解读及最佳实践Contents目录01企业数据管理的痛点02云原生2.0-一站式数据管理DMS03解决方案与最佳实践企业数据管理的痛点01数字化转型是企业发展的战略重点2015-2019年中国数字经济规模及占GDP比重18.622.627.231.335.8200182019数字经济规模（万亿元）27.5%30.3%32.9%34.8%36.2%占GDP比重（%）政策导向企业需求数据价值化企业向精细化运营信息化经营决策改进产业数字化演进升级从单点应用向协同发展演进成为企业面临的核心挑战数字化转型成为企业核心发展战略

2、From 中国信通院数据在业务中的全生命周期数据生产与存储核心业务系统横向支撑系统边缘端数据第三方数据数据采集与集成数据处理与分析数据处理与分析数据清洗数据加工数据挖掘数据建模数据应用数据应用数据可视化交互式分析业务消费数据交易数据服务企业要求数据传输、分析从离线到实时化趋势明显，预计2025年实时数据占比 30%，2022 年新业务超过50% 将会采用实时分析From IDC企业数据价值化过程中遇到的痛点数据孤岛管理复杂度高数据库种类繁多、最佳实践各不相同。设计开发及维护门槛高，容易出现质量、性能及稳定性问题。加工复杂“让数据用起来”成为难题异构数据集成，数据加工架构复杂，依赖专业的数据开发

3、团队，链路诊断、运维门槛极高。数据治理缺乏安全问题凸出零安全管控的数据开发应用环境，安全问题凸显，难以满足众多安全合规诉求。010203云原生2.0-一站式数据管理DMS02数据管理服务DMS一站式数据管理平台DMS，提供全域数据资产管理、数据库设计开发、数据集成与开发的全链路能力，致力于帮助企业快速挖掘数据价值，助力企业数字化转型。数据处理与加工全生命周期数据管理解决方案国产化迁移数据安全容灾多活实时数据集成T+1 无限快照定时数据报表数据资产AnalyticDBPolarDBPolarDB-X 数据源ApsaraDBHBaseRDSMySQLRDSPostgreSQLRDSSQL Serv

4、erMyBaseApsaraDBClickHouseApsaraDBRedisApsaraDBMongoDBApsaraDBCassandraElasticsearchKafkaOSS统一数据目录DBDWLog/File数据血缘DBDWLog/File数据治理DBDWLog/File数据脱敏数据安全研发协同任务编排OLTPOLTPOLAP数据集成10万级周活开发者，支持27种数据源，服务24万企业全域数据资产，60万+数据库实例， 65万+数据集成链路数据库设计数据库开发数据集成数据开发数据服务一站式数据管理DMS 技术架构数据安全数据库DevOps精准赋权数据脱敏库表设计SQLReview数

5、据集成与开发任务编排并发/条件/依赖数据编排数据处理算子安全规则引擎稳定变更执行引擎队列引擎任务调度SQL/工单任务引擎增量同步增量抓取全量同步数据处理ETL联邦查询引擎数据库网关开发运维：数据变更、资源部署、网络探测、性能监控、安全管理、日志管理数据安全体系：统一鉴权中心、安全审计、分级分类、数据脱敏、安全代理全域数据资产：统一元数据中心、数据质量、数据血缘、资产打标、数据标准、数据版本管理一站式全链路生命周期管理业务功能支撑引擎基础服务DMS核心技术特性全域数据统一安全管理安全高效快速创新企业数据价值化数据资产与安全数据库DevSecOps数据集成与开发数据源PolarDBPolarDB-

6、X AnalyticDBDLAMyBaseMyBaseApsaraDB HBaseClickHouseApsaraDB CassandraElasticsearchKafkaOSSDMS数据资产中心1. 资产准备数据目录数据检索资源大盘数据收藏夹2.查找数据3.用好数据元数据自动采集数据类目业务元数据元数据图谱自动构建安全管控配置质量治理安全治理成本治理数据血缘支持27种数据源，包括OLTP/OLAP/NoSQL/对象存储；支持跨IDC、云厂商的数据源基于图谱能力，可快速搜索发现可用数据快速查找数据全链路端到端血缘能力基于数据质量规则，进行数据质量监测与校验数据质量治理数据安全治理敏感数据自动

7、分级分类异常访问风险识别数据管理DMS-数据资产与安全数据在哪里？是否有脏数据？是否有冗余，成本是否最优？有哪些数据？数据是否被安全使用？企业痛点全域数据资产数据资产的知识图谱构建人/DB权限/使用关系工单/DB变更关系元数据物理/逻辑关系Schema Matching关系应用/中间件调用关系ETL集成及加工血缘关系DB元数据信息DB内容分类DB物理关系SQL采集中间件监控数据同步数据加工表逻辑关联推理Schema Matching应用调用日志人员信息系统数据权限系统数据变更系统数据查询系统业务主数据信息元数据DB表DB字段模型公司组织应用SQL中间件人模型SQLDB字段DB库工单DB表公司组

8、织工单DB库DB实例DB实例实体检索实体检索数据资产信息检索数据资产信息检索实现DB元数据，组织信息，变更信息，业务信息相关实体的检索关系检测关系检测数据资产关系检测识别数据资产关系检测识别实现DB元数据，组织信息，变更信息，业务信息相关关联实体的关系检测?表表T T的信息是什么？的信息是什么？库库D D有哪些表？有哪些表？员工员工X X有哪些权限？有哪些权限？?表表t1t1和表和表t2t2有什么关系？有什么关系？工单工单X X会影响哪些表及会影响哪些表及OwnerOwner？字段字段c1c1删除会影响核心应用么？删除会影响核心应用么？?知识推理知识推理数据资产关系推理及知识发现数据资产关系推

9、理及知识发现人应用中间件数据信息业务信息推理出数据库下不合理的权限推理出数据库下不合理的权限识别出调用链路不合理的识别出调用链路不合理的SQLSQL数仓自动化宽表建模数仓自动化宽表建模业务数据数据资产关系识别数据资产知识图谱构建在线海量图谱存储数据资产服务敏感数据识别与脱敏敏感数据保护，满足等保2.0、数据安全法、个人信息保护法、GDPR等法规1敏感数据分级分类DBA OR 安全管理员2敏感数据使用业务开发 OR 数据开发GDPR网络安全法PCI DSSHIPAA自定义规则SOX安全等级配置内部敏感机密哈希替换变换遮掩加密内容自定义敏感数据权限申请权限类型脱敏方式敏感数据使用数据库开发数据集成

10、数据开发DMS 控制台SQL安全代理权限类型查询导出变更脱敏明文周月其他没有敏感数据权限申请敏感数据权限数据安全法个人信息保护法脱敏算法配置自动分级分类脱敏加密半脱敏加密明文展示数据管理DMS-数据库DevSecOps个人用户、研发团队、企业用户统一数据访问DBAgent（打通VPC、单元）MySQLPolarDBADBLindormPostgreSQLOracleMaxComputePolarDB-XSQLServerMariaDBMongoDBRedisRDSData Source元数据中心（实例、库/逻辑库、表/逻辑表、列、敏感数据）元数据采集爬虫账号、权限体系安全规则（自由操作、稳定变

11、更、安全协同、自定义规则等）数据安全（识别、脱敏、审计、风险报告）数据操作基础服务 - 写入（数据/结构的新建、导入、回流、变更、删除）数据库网关DG（打通IDC私网）DMS Gateway数据操作基础服务 - 读取（数据/结构的查询、导出、抽取）DMS Core数据操作增强服务（跨库查询、逻辑库表执行、无锁结构/数据变更、数据追踪）作业调度（定时SQL、实时SQL、复杂编排）数据方案（增强查询窗口、导入导出）结构方案（多人协同设计、库表同步）性能方案（诊断、优化）数仓方案（数据开发、调度、数据服务）Operation ServiceDevops协同框架（工作流引擎、工单任务系统）运维管控数据

12、库安全规则引擎DevOps全生命周期 & 程序访问安全代理工单人员数据库实例BU引擎缺省MySQL规范集1MySQL规范集2达梦规则集1达梦规则集2AnalyticDB规则集3其它引擎规则集结构设计数据变更数据导出SQL窗口创建实例库表同步权限申请SQL审核检测点 A-规则集校验器DSL定义因子库动作库操作符函数库DSL编译器DSL执行器检测点 C检测点 B优先级选择策略内置阿里巴巴最新研发规范支持200+研发规范，可按需配置。数据库变更执行引擎表结构设计数据查询数据变更表结构变更SQL自助审核基于CBO的智能诊断查询安全检测并拦截校验设计规范数据分批变更不锁表变更查询安全检测并拦截变更安全检

13、测并拦截审批流程多环境同步变更开发设计功能前置检查【1】研发规则检测并拦截【2】审批流程【3】正式执行多环境同步执行DMS数据库DataOps研发流程流批一体低代码开发多引擎支持企业级任务调度、权限管理元数据调用、血缘追溯数据开发与调度场景化解决方案低代码SQL逻辑流/批处理丰富的实时数据源支持算法库支持实时数仓T+1全量数仓数据营销业务血缘分析.数据管理DMS-数据集成与开发支持流式数据加工、批量数据加工，数据实时性/处理效率高流批一体只要懂SQL就能通过画布快速实现流/批数据处理任务，自带Flink/Spark计算能力实现最优数据处理效率低代码开发支持多种引擎，客户通过统一的方式对这些引擎

14、进行开发，无需考虑引擎的差异性多引擎支持一个平台管理所有开发任务，提供智能监控告警和任务的自动处理机制统一任务管理Flink/Spark计算能力数据、报表不实时/效率低？企业痛点新引擎难上手多引擎难驾驭外包开发安全性任务复杂难管理支持表、字段、行级权限管理，提供完善的账号、任务等权限管理能力全方位安全管理AnalyticDBMySQLPOLARDBAnalyticDBMySQLMongoDBRedisRDSDRDS数据传输云服务DTS（数据迁移、同步、订阅）增量抽取用户控制台调度服务OpenAPI数据迁移-元数据全量数据增量数据搜索定义业务流计算数据实时订阅API/HTTP/SQLWriter

15、数据订阅 SDKETL预检查数据校验DStore数据迁移数据同步源端数据库阿里云 DTS目标数据库全量抽取PostgreSQLAnyToAny多源异构数据传输框架控制层插件层数据流控制切片事务状态汇报热点合并记录存储层数据处理归一化层分发层任务诊断框架公共层目的端插件目的端插件目的端插件插件层源端插件源端插件源端插件多版本统一元数据存储在线Schema提取离线Schema提取场景/语义识别关系识别统一元数据模型关系型数据KV型数据Document型数据JSON/CSVParquet/ORCAny To Any架构覆盖结构+全量+增量数据流流批一体的数据集成链路DMS ConsoleMySQLO

16、racleKafkaMySQLMSSQLDB2PolarDBADBLindormMaxComputeESRDSOSS并发切片时间索引表过滤持久化管理ETL module自定义脚本DReader并发CDCDWriter源端HA热点合并事务并发限流保护分布式框架Flink ETL算子Flink SQL数据脱敏序列化批量抓取批量写入流式获取流式写入Recored StoreSpark 批处理跨库查询DSQL源端目的端维表流表数据开发工作台拖拽式编辑OLTP（库）OLAP（仓）数据传输与加工（DTS）OSS/Lindorm DAG抽象代码版本管理调试运行场景化DAG模板一键发布Spark系统变量和自定

17、义变量变量上下文传递丰富的控制逻辑（分支、循环）跨节点依赖单次调度周期调度Shell/Python脚本共享调度Notebook消息通知（钉钉、短信等）补数据运行实例管理（暂停、恢复等）基线告警任务流权限管控细粒度数据权限管控敏感数据保护数据血缘实时采集数据质量校验独享调度任务流执行引擎任务流调度引擎任务插件生态丰富的任务节点类型，支持二十几种数据源和引擎智能运维数据安全与数据治理强大的业务表达和处理逻辑灵活可靠的调度方式全方位数据安全保障和治理运维手段丰富、自动化数据开发Studio易用、低门槛、规范离线数仓搭建、数仓提速、离线数据分析、数据中台搭建、大规模数据集成、离线计算、异构数据集成多场

18、景支持近乎零代码，简单配置连线后即可满足各项离线数据集成任务，同时任务支持复杂调度低门槛配合数据资产使用，可创建企业的数据资产虚拟湖，随取随用，降低企业建湖、运维成本基于资产的虚拟湖支持主流TP、AP数据库，除了能够快速服务于阿里数据库生态，同时也能支持客户自身的数据环境丰富数据源video: 视频大小不要超过橙框区域解决方案与最佳实践03某金融基于DMS+RDS构建数据安全生产方案1、效率低下，数据库变更全靠人肉沟通操作，运维人员成瓶颈，且研发效率低下。2、稳定性受挑战，人工维护数百个实例，无法提前发现并预防故障发生。客户痛点1、所有数据库实例接入DMS，自定义安全规则、敏感数据，保障数据安

19、全及稳定性。2、基于DMS定时任务及变更窗口，解决人工运维的困境。解决方案1、通过DMS管控600+实例，真正实现研发全自助，提升效能。2、通过DMS，从0到1构建企业数据安全防护体系，保障企业数据安全。客户价值数据安全解决方案DMS基础权限隔离体系网络访问隔离库表权限隔离字段敏感性隔离操作权限隔离用户DMS数据库研发流程安全体系安全规则库检查点动作Action规则执行器数据库DevSecOps解决方案用户、角色划分实例资源采购制定安全规则制定结构设计规范制定变更发布规范申请库、表权限技术负责人DBA安全管理员研发申请数据查询数据导出结构设计性能优化数据变更数据安全审批操作审计发布把控操作审计

20、高效闭环的研发流程SQL安全+审计事前检查点拦截过滤+脱敏事后检查点拦截数据库结果某运营商基于DMS+PolarDB-X构建异地多活接入层应用层数据层数据层应用层接入层A单元子域名B单元子域名SLB多活接入层SLB多活接入层多活接入层纠错单元服务API网关服务发现API网关服务发现服务纠错单元服务统一接口统一接口PolarDB-XCacheRDSPolarDB-XCacheRDS数据写入保护DTS数据双向同步DNS客服系统是运营商重要系统，需保障的7*24小时服务。问题：1、中心机房无法随着业务量的增长，很难横向扩展支撑2、传统的容灾模式，灾备机房资源浪费。3、主机房故障切换到灾备机房，切换时

21、间较长。客户痛点1、使用DTS实现PolarDB-X数据双向同步2、通过DMS统一管理解决方案1、按照DNS的地域分流接入南北两个中心，实现双中心同步。2、在多次容灾演练中，可以完成秒级切换，此外，由于常态由两个单元承载业务流量，因此成本也大大降低。客户价值全球多活数据库DTSDTS全球各地的用户访问请求全球各地的用户访问请求划分UID后，将流量转发到对应地域UID区间为B的流量UID区间为A的流量UID区间为C的流量单元节点BAPPServerAPPServerRDS DBRDS DB中心节点AAPPServerAPPServerRDS DBRDS DB单元节点CAPPServerAPPSe

22、rverRDS DBRDS DB同步UID区间为（A+C）的数据同步UID区间为B的数据同步UID区间为（A+B）的数据同步UID区间为C的数据1、传统多活架构开发与实施成本高。2、多地的数据库形成孤岛，无法为全球用户提供数据一致性的就近访问服务体验。3、灾备数据库不可承载在线业务，资源浪费，成本高。4、容灾演练、业务割接难度大。客户痛点1、DTS+RDS为用户提供产品化的全球多活数据库能力。解决方案1、产品化降低了实施成本。2、低延时的全球就近访问能力。3、异地灾备数据库资源利用最大化。4、提供延时接口支持业务单元切流。客户价值某银行基于DMS+ADB构建T+1的数据仓库交易库PolarDB

23、实时ETLADB MySQL数仓DMS定时调度（小时/天快照）分析决策该银行需要按照小时、天的维度对运营数据进行快照分析，用以了解业务运行情况，问题：1、难以获取历史时点的准确数据2、定时报表产出时间不可控3、活动期间，定时报表无法快速转化成实时报表提供决策支持客户痛点1、对业务影响小，数据准确，满足业务快照分析需求2、拉链表可以进行任意时间回溯3、ADB多维查询统计更高效4、自动化可定义的任务调度，减少开发和运维成本投入5、根据客户自定义需求定时清理，避免数据量过大客户价值1、DMS + ADB实时数仓构建2、T+1 拉链表方案场景化实现解决方案数据源ADB拉链表ADB小时快照ADB天快照1.DTS同步2.DMS定时生成3.DMS定时生成THANKS