1、腾讯欧拉数据治理平台的思考与实践虎兴龙 腾讯欧拉数据治理技术负责人|腾讯欧拉平台简介腾讯PCG数据治理平台|PCG产品BG外产品腾讯欧拉平台是腾讯PCG(PCG平台与内容事业群)自2019年推动数据治理开始启动建设，目前已在腾讯内部广泛使用的数据治理解决方案腾讯欧拉平台基于DataOps理念，结合腾讯数据治理方法论，提供一站式数据产、管、治、用全生命周期的大数据能力，以提升数据治理水平，沉淀企业安全可靠、使用便捷、质量可信的数据资产。主要包含5大核心能力：数据发现：通过数据市场、数据洞察、服务市场为用户提供方便的找数据、用数据体验；资产工场：一站式建模、发布、测试、管理、服务化体验；指标平台：

2、打造统一指标平台，建设指标生态，指标治理平台化 治理引擎：以资产健康分牵引，提供成本、质量、安全等治理能力 大同埋点：平台帮助业务实现一站式埋点设计、开发、联调测试、发布审核、质量监控体验；01平台建设思路平台建设思路Data-fabric02统一指标统一指标tMetric此部分内容作为文字排版占位显示（建议使用主题字体）03数据开发与治理数据开发与治理此部分内容作为文字排版占位显示（建议使用主题字体）04数据地图与服务数据地图与服务此部分内容作为文字排版占位显示（建议使用主题字体）目录目录CONTENT|平台建设思路请替换文字内容，点击添加相关标题文字01|数据治理的终态实现数据工业化生产和

3、应用|实现数据工业化高效的业务流程定制高效的业务流程定制或者固化的业务流程固化的业务流程高效的数据模型管理高效的数据模型管理或者固化的数据模型固化的数据模型统一的存算系统统一的存算系统或者单一数据库单一数据库数据治理的终态实现数据工业化生产和应用|SAPCRM物料管理供应商管理BIBWMES数据中台画像内容渠道BI平台实验平台活动中台等例如生产执行系统MES：通过SAP定义业务流程、工序等，MES执行业务流程和工序，并把数据反馈给SAP，SAP的BW模块通过数仓建模的手段组织数据，供BI系统配置报表分析数据互联网的生产执行系统就是TAB 以及各种业务中台,如活动中台、push中台、推荐系统等工

4、业制造的信息系统互联网的数据系统欧拉数据资产工场规范化的数仓建模与开发平台|A Virtual data layer is one virtual place to go for all your data.It combines all of a companys diverse,distributed data sources,whether on-premises or in the cloud,and enables centralized access to data anytime,anywhere.Data-driven organizations deploy a virtua

5、l data layer to access,combine,and provision all of its enterprise data to meet business requirements.Master data represents data about the business entitiesthat provide context for business transactions.The most commonly found categories of master data are parties(individuals and organisations,and

6、their roles,such as customers,suppliers,employees),products,financial structures(such as ledgers and cost centres)and locational concepts.one-Modelone-Entityone-Service数据治理，平台+专项推进，我们需要一个目标|维度指标规范表命名规范性注释规范性依赖规范层域规范质量监控保障覆盖DQC保障覆盖基线保障覆盖DQC达标产出稳定性回刷稳定性DDL稳定性安全表安全等级设置字段安全等级设置敏感字段加密审批流程合规性读写权限设置合规责任人符合

7、规范成本计算成本存储成本OLAP成本应用热度下游依赖数互动推荐值共享热度应用贡献度资产健康分资产化率埋点健康分数仓健康分指标健康分(认证)欧拉治理平台规范化数据建模、运维数据治理工具箱治理专项基于资产分项修复治理资产分运营欧拉数据资产平台治理专项+平台能力互相牵引驱动,落地腾讯数据治理最佳实践|中台融合资产IDMappinguniID:统一资产实体uniModel:统一数据模型uniService:统一数据服务欧拉欧拉(OLA)(OLA)：腾讯数据资产平台腾讯数据资产平台提升数据治理平台化能力提升数据治理平台化能力,提升数据治理效率提升数据治理效率，打造打造 uniDatauniData数据体

8、系数据体系，沉淀腾讯数据资产沉淀腾讯数据资产价值价值主张主张平台化：埋点设计 数仓建模 指标建模统一埋点模型大同统一湖仓模型资产工场统一指标模型指标平台统一数据地图数据发现统一数据服务API CLOUD治理专项治理专项数据规范与标准资产健康分资产健康分(资产化评价与运营体系)+平台工具平台工具(生产即治理的平台工具)，提升规范化资产率新闻治理新闻治理浏览器治理浏览器治理成本治理成本治理质量治理质量治理指标治理指标治理元数据总库：全链路统一元数据能力元数据总库：全链路统一元数据能力(埋点埋点-数仓数仓-指标指标-报表报表)QQQQ治理治理视频治理视频治理数据治理落地的驱动逻辑|资产化率提升、数据

9、EPC提升、成本降低、数据更安全资产化率的标准(先暗后明)：质量标准、加工流程标准、元信息标准推力拉力业务配合意愿提升，治理落地结果被认可定义资产化标准定义数据EPC标准定义数据安全标准围绕欧拉平台落地标准和产品逻辑设计标准全面公开推、拉标准执行老板要结果平台能背书(认证)资产共享、贡献的激励湖仓开发效率、成本控制的需要安全管理的需求治理公信力资产化要求成本要求安全管理要求管理开发数据地图存量治理规范化开发资产工场保障新加工的数据是资产化的高质量的数据资产地图数据管理保障已有数据是能往新的标准上迁移、能适应变化的申请应用查找安全规范成本质量应用统一数据服务规划开发发布服务化维护统一数据模型质量

10、、安全管理资产化标准资产化标准欧拉数据治理融合解决方案|沉淀安全可信的数据资产数据生产数据应用业务系统终端埋点数据接口线下数据.欧拉数据治理与融合数据集成与开发数据接出与服务敏捷分析数据展示业务系统开发应用数据规划主题规划、业务过程规划模型设计数仓模型、指标模型管理维护基线与调度、质量与安全、成本管理元数据总库技术元数据、业务元数据数据画像数据标签体系、数据特征统一元数据资产分&资产化率：资产治理评价体系应用接出数据发现数据地图、数据市场、数据洞察指标平台指标API、指标元数据API数据服务元数据服务、指标服务、数据API规范开发资产治理治理大盘成本看板、资产概览、治理效果治理方案治理项挖掘、

11、治理项推送、治理任务分配治理执行成本治理、规范治理、安全治理、质量治理元数据服务上报OpenApi、查询OpenApi统一元数据是治理的基础|用CMDB的思想来管理数据资产（例如指标、数据表、报表、埋点）的状态，例如这些资产在特定的时间点是否存在，以及各资产之间的关系。CMDB也可以用在影响分析、根因分析以及变更管理。数据生产逻辑基础描述权限、审计价值、成本质量、监控内容、访问API业务过程上下游依赖统一元数据上报OpenApi欧拉数据治理引擎成本治理元数据OpenApi安全治理规范治理查询搜索血缘TDBankTDBank统一元数据处理数据开发与治理数据开发与治理请替换文字内容，点击添加相关标

12、题文字02|欧拉数据资产工场规范化的数仓建模与开发平台实现开发即治理|ODSDIMDWDDWSADS为什么数仓表会乱：缺乏规范和模型1.三张ADS表的加工逻辑不统一，导致总“曝光次数”对不齐2.从ODS-ADS,所有的表物化存储，数据冗余、字段冗余非常严重，导致数仓存储成本高，物化导致数据回溯产生大量不一致3.ADS、DWS表之间的依赖错综复杂，同层依赖，甚至有下层依赖上层的情况4.同样的表结构在不同的业务域、主题域重复建设解决方案：打造基于业务视角、数据视角的规范化数据建模平台1.通过规范化维度建模、可视化建模等能力2.通过逻辑表来减少大量冗余物化，逻辑变更更容易做回溯，只有在需要查询加速的

13、时候做物化存储3.通过规范化建模平台，严格限制上层只能依赖下层、维度层，一个表只能在一个主题下4.基于指标平台统一指标口径，半自助式配置生产DWS、ADS表这张表应该放在“用户主题”还是“渠道主题下”?这张表修改了加工逻辑，前后数据不一致，为什么不可以是一张逻辑表？数据怎么做版本管理？需要通过规范的数据建模提升数据质量|数据建模是进行数据组织、映射的过程，通常通过一系列简易符号、视图、代码、文本等表达数据关系、流向。数据质量保障维护、开发效率提升快速识别和定位数据问题便于数据协作和理解降低安全风险规范与标准物理模型逻辑模型概念模型定义数据的范畴、业务域、主题等业务含义和规则常用分层分域的思路组

14、织数据，例如常用树形结构表达定义定义建模方法建模方法定义数据、实体逻辑关系和流向，无须关注底层引擎基于具体引擎定义数据的具体实现常用E-R模型、星型模型，利用SQL或者可视化方法表达在逻辑模型的基础上翻译为具体引擎可执行的SQL、workflow或代码统一模型的方法数据资产评价、认证体系牵引业务治理统一模型的好处需要通过dataops理念提升数据生产维护效率|业务流程设计数据模型设计标准定义管理流批一体湖仓一体数据建模即时调试流程编排测试流水线测试报告预发试运行发布管理基线保障资源管理作业诊断环境隔离多环境管理元数据治理评价问题发现治理推进效果分析作业监控数据监控智能监控数据地图、目录数据服务

15、指标服务服务编排数据特征画像需求流程协作通知项目管理数据生产应用生产流程编排业务流程编排欧拉一站式建模开发、测试发布、质量运维、版本管理能力|规划设计规范约束开发建模测试CR应用接出12346发布运维5数据建模测试发布质量运维版本管理业务架构物理表逻辑表分区版本代码版本维度关联模型SQL代码(joingroupby)作业调度平台线上数仓基于二级分区的版本控制基于计算逻辑的版本控制测试数仓线上数仓读写正式发布测试联调物理表测试线上物理表F(x)线上逻辑表逻辑表测试Scheme映射测试F（x）发布数据监控作业监控数据作业基于版本命名用户告警告警处理后台作业平台作业重试强制成功超时暂停下游重跑消息对

16、话操作US作业接口Everything is Code支持历史版本代码、任务、模型对比Everything can be reviewed提交发布管理链路运维能力提升开发规范配置数仓规范配置治理平台化1235467欧拉一站式建模开发、测试发布、质量运维、版本管理能力|欧拉-治理引擎：成本、资产现状看得清，治理大盘-治理方案-行动-效果能闭环参考标杆:dataphin-资产治理,dataworks-数据治理,DATABLAU|欧拉-治理引擎：成本、资产现状看得清，治理大盘-治理方案-行动-效果能闭环|统一指标统一指标tMetric请替换文字内容，点击添加相关标题文字03|数据仓库原始数据转换后数

17、据ETL工具报表平台Metriclogic分析平台Metriclogic实验平台Metriclogic数据仓库原始数据转换后数据ETL工具报表平台分析平台实验平台Metriclogic现状建模生产随意：系统多、需求多，对于新指标生产、历史指标变更缺少系统化管理流程统计口径不一：没有统一维护指标口径的地方，相似的指标谁也无法说清楚差异访问层级错乱：MySQL、DWS、DWD、接口等访问方式千奇百怪，缺少统一收口数据信心缺失：使用者对于指标缺乏基本的信心，可信数据分辨难度以及成本较高指标系统标准化指标建模：提供标准化、规范化的指标生产流程统一指标口径：收敛指标口径，统一管理建立认证机制：通过有效的

18、认证机制提升指标的权威性和可信度统一指标出口：提供openapi对接周边生态，确保出口一致指标生产应用现状欧拉统一指标|1.链接数据源3.维度设定、指标定义4.物化、计算MySQLHiveIcebergSnowflakeDatabricks表APIScheme文件导入在线文档链接在线表格2.数据建模Dim_useruseridgenderageDim_channelchannelidnametype事实表useridEventcodeTimechanneluseridgenderagechannelidnametypeEventcodetime1.可视化建模2.SQL作业3.手工视图可以是逻辑

19、表或者物理表男Gender编码1女21.1.指标结果物化指标结果物化CubeCube年龄段gender大龄大龄PV10-20男1010-20女1310-20null23null男10原子指标Page_PVCount(ifeventcode=pageview)维度1:gender维度2:age派生指标大龄PVCount(ifeventcode=pageview)维度1:年龄段、gender口径可用维度统计周期Age102.2.基于原子指标自助创建基于原子指标自助创建DWSDWS宽表宽表agegender大龄大龄PV指标指标2指标指标312男101112女132313男234513女1063可以是

20、ODS、DWD、DWS，甚至是ADS表TAB5.生态、应用AdHoc统计特征指标APIdatatalk业务数据门户指标结果API指标MetaAPI|欧拉tMetric的建模流程数据地图与服务数据地图与服务请替换文字内容，点击添加相关标题文字04|字段名字段名中文中文名名标准维标准维度度useridaAgesex性别GenderEvent_code事件名Event_time事件时间维度实维度实体体英文名英文名用户user渠道channel维度名维度名英文名英文名关联字关联字典典年龄age性别gender性别字典维度值维度值code男1女0维度字典指标名指标名指标指标维度维度口径口径DAU年龄、性

21、别Count（ifevent_code=visit）维度信息表维度实体表数仓事实表指标信息表元数据索引库全文关键词检索基于血缘关系的搜索排序基于维度值的索引能力欧拉数据查找能力基础欧拉统一数据资产地图|欧拉 API Cloud 服务流程构建API全流程自助生产工具，帮助开发者定制化数据快速调用数据服务，实现一站式开发与运维API Cloud普通API 沟通成本：涉及人力3人（数据1人+服务开发1人+资源管理1人）生产流程：开发耗时10-17天欧拉API Cloud 实现API生产服务化，0代码、可视化配置方式创建API 沟通成本：涉及人力1人（数据1人）成产流程：耗时1天开发效率高 开发投入低 技术门槛低反复沟通 耗时排期开发业务API生产数仓业务API生产数据标准化数据A数据Bvenus/us聚合运算调度管理手动预估耗时T+1预估耗时5-10天资源申请提单部署手动预估耗时T+1手动服务(trpc)网关核心服务开发/调试=5天存储资源redisBDB慢！用户配置API Cloud自动生产数据标准化数仓数据A数据BSpark数据处理调度管理自动存储资源腾讯云redisBladeKV自动服务(trpc)网关核心服务自动预估耗时T+1腾讯云API购买5分钟API信息配置（耗时预估5分钟）数据配置数据导入周期配置资源申请快，易上手欧拉统一数据服务非常感谢您的观看|