1、重磅发布DataWorks 全链路数据治理系列新品黄博远阿里云智能计算平台事业部大数据与AI产品负责人高级产品专家例:这里是标题标题标题New Future on CloudDataWorks：阿里巴巴12年数据治理建设最佳实践2000920192018进入空气稀薄地带首次突破调度5000台服务器投10年，投10个亿中国第一家拥有完整云计算能力的企业登月计划开源？自研？飞天的第一行代码阿里云技术之路的起点阿里云大数据品牌商业化20+款大数据产品MaxCompute+DataWorks普惠大数据商业化飞天云操作系统获得中国电子学会16年来颁发的唯一科技进步奖特等奖突破创新M

2、axCompute再次打破排序世界纪录DataWorks升级为一站式智能数据开发平台飞天X城市大脑2.0驱动数字中国中国唯一自研计算引擎业务领先的性能与算力DataWorks发布数据综合治理体系AI加持的飞天大数据平台2020年双11，MaxCompute日处理数据超过1.7EB，DataWorks日调度实例数超过10,000,000DataWorks是阿里巴巴集团数万名产品运营/分析师/数据开发/算法工程师的生产力工具同时广泛应用于城市大脑、数字政府、电力、金融、零售、智能制造、智慧农业等各个领域的大数据建设与生态合作伙伴一起数智升级DataWorks全新推出开放平台全面支持开源计算引擎开放

3、、生态、共赢2020DataWorks新品发布DataWorks 数据治理中心实现数据治理的现状评估-问题治理-成效评估，让企业数据治理步入“自动化”阶段数据治理规则模板事前预防事后诊断可持续数据治理内置模板开箱即用行业最佳实践沉淀自定义扩展插件企业数据治理健康度评估模型前置的问题预防卡点历史存量问题自动发现全局、个人等多维度视角问题处理建议健康度评估数据治理运营机制研发规范健康分数据质量健康分数据安全健康分计算资源健康分存储资源健康分命名规范检测注释检测运行时长检测分区检查distinct检查select*检查禁用insert into未配质量规则表检查告警未处理表检测基线任务质量规则检测指

4、定规则未配置检测脏数据检测质量规则覆盖度检测连续告警检测数据下载控制数据保护模式数据存储加密安全访问模式数据源访问控制开发生产数据源隔离成员与角色控制费用消耗检测任务参数不合理检测简单加工检测产出表未被读取检测输入为空检测数据倾斜检测暴力扫描检测空表检测无生命周期表检测长时间未访问检测表大小检测重复表检测表引用次数检测无效表检测数据治理健康度五维评估模型基于问题驱动的方式，覆盖事前、事中、事后的全链路主动式数据治理和健康度评估，实现数据的可持续治理DataWorks 数据治理健康度评估模型DataWorks 数据治理健康度评估模型DataWorks智能数据建模数据开发让模型更规范让指标更规范数

5、据指标原子/派生指标批量创建指标智能解析生成指标维度建模可视化建模逆向建模自动生成ETL代码数据标准数据标准标准代码度量单位命名词典让数据开发更规范更高效DataWorks智能数据建模提供可视化建模能力，提升建模效率；支持逆向建模，解决数仓建模冷启动难题DataWorks智能数据查询聚焦业务场景；通过自然语言查询数据，简单实用；有明细，有汇总，可视化，可交互；产品特色业务痛点数据查询门槛较较高；数据查询、数据报表等需求旺盛，且数据研发团队人员不足；基于自然语言的数据分析查询，让一线业务人员“一句话”轻松获取数据洞察数据集成全新改版新增实时同步数据源全量增量实时同步一体化DataWorks数据集

6、成实时同步能力升级向导式任务配置任务配置更简易网络连通诊断工具读数据源：PolarDB-X（DRDS）、OceanBase、PostgresSQL写数据源：MySQL、Oracle、AnalyticDB for MySQL、PolarDBfor MySQL、DataHub支持Kerberos认证支持MySQL的分库分表数据同步支持kafka大规模分布式数据同步支持15分钟级自动Merge支持动态分区自动分发数据数据作业迁云工具与服务阿里云EMR数据开发调度Azkaban作业搬站上云DataWorksDataWorks地域1地域2跨环境、跨账号、跨地域、跨云作业迁移、克隆部署大数据迁云专家服务架

7、构评估与设计迁云最佳实践迁云实施指导开源引擎作业搬站上云多环境作业发布跨账号跨地域作业迁移服务商成果快速克隆部署DataWorks全新推出“迁移助手”开源调度引擎的作业搬站上云，DataWorks作业跨云迁移和快速克隆部署，同时提供迁云专家服务扩展程序（Extensions）扩展点（Extension Points）DataWorks 开放平台生态伙伴 SaaS行业数仓建模行业数据治理搬站分销商对接系统集成效能提升联合解决方案数据安全行业业务场景DataWorks开放平台核心能力OpenAPI：已开放200+核心API，覆盖元数据、数据集成、数据开发调度、数据治理、数据服务等场景：批量操作、自

8、动化操作、搬站、成果复制进展：公共云企业版及混合云均已商业化输出OpenMessage：开放DataWorks中的事件消息，用户可通过订阅消息实现对DataWorks中处理过程的对接场景：自定义DataWorks监督大屏进展：公共云公测中扩展点与扩展程序：通过提供扩展点（流程卡点，即Hook）和回调API，支持用户开发扩展程序（插件），实现对DW中操作流程的自定义处理和检查场景：自定义任务变更/表变更等检查、自定义审批流、成本控制、精细化数据治理进展：计划9月发布公测Open APIOpen Message订阅消息订阅消息回调API调用APIDataWorks 数据开发与治理平台DataWor

9、ks开放平台全新升级构建以OpenAPI、OpenMessage、Extension Points&Extensions为一体的全方位开放平台隐私安全计算能力帮助企业（组织）间构建安全、合规、高效的数据分享渠道，实现数据价值释放。公共云&专有云Pubic cloud x private cloud全栈安全体系保护数据坚如磐石从底层（数据中心/网络/供电）至交互界面（权限管理/隐私保护）超20项安全能里满足监管合规基于核心数仓安全能力构建隐私计算预置丰富算法覆盖各类隐私计算场景预置多种安全计算方式：隐私求交PSI、PrivateID、匿踪查询、联邦学习等预置久经阿里集团沉淀算法（LRDeepFM

10、等常用联邦学习算法）相关能力已通过信通院测评提供安全算法定制扩展框架数据分享可追溯、数据可用不可得久经沉淀、满足测评的产品能力云原生数仓架构实现性能无限扩展超大规模分布式、存算分离的云原生架构内置MPC/FL/TEE技术提供高可靠/高性能隐私计算能力基础算力在10-30s内完成百万条隐私数据求交（带宽达150Mbps）支持通过横向伸缩,弹性扩展计算力自研飞天架构赋能隐私计算场景面向开发设计重新定义安全计算使用模式隐私计算任务与日常数据生产调度任务无缝衔接轻松支持日常联合营销、联合训练等综合场景融合业界领先的数据开发平台核心能力Demo流程：1、查看A、B企业的原始数据集2、企业A、B创建合作关

11、系3、企业A、B将原始数据集共享至合作关系中4、企业B创建并配置PSI求交任务，显示求交结果5、企业B至数据查询界面验证产出求交数据隐私安全计算能力帮助企业（组织）间构建安全、合规、高效的数据分享渠道，实现数据价值释放。DataWorks 一站式大数据开发治理平台数据服务数据治理数据建模全域数据集成数据分析开放平台数据开发数据资产数据稳定性智能查询数据资产门户智能建模数据治理自动化存储计算健康分离线/实时/交互式/AI四合一开发脏数据监控计算存储引擎MaxCompute10万台集群智能数仓湖仓一体E-MapReduceHologres实时计算Flink版机器学习PAI资源优化扫描智能基线管理E

12、lasticsearch零代码生成API函数计算服务编排数据共享交换电子表格透视分析仪表盘NotebookOpenAPIOpenDataOpenMessagePlug-in逆向建模数仓规划数据标准数据指标模型评估原创建模语言日千万级周期任务调度智能编程助手可视化任务编排支持50+种数据源日3万亿+记录同步百万级表实时同步整库一键迁移增量同步数据转换传输速率与并发控制单Topic弹性最高256000Records/s百万核集群云原生数据湖亿级数据亚秒级查询50亿条消息/秒业界最大的中文多模态预训练AI模型监控告警事件管理智能运维诊断比开源内核性能提升7倍数据地图10+引擎元数据发现表/字段级血缘30+种表基础信息上下游影响分析数据质量37种质量规则模板弹性规则调度引擎动态阈值智能规则推荐数据安全31种敏感数据自动识别数据水印溯源数据访问审计数据分级与脱敏智能进化阿里巴巴12年数据平台建设积累THANKS