1、腾讯数据治理技术实践赵磊 腾讯 腾讯元数据系统负责人|01数据治理简介02数据治理管理体系03数据治理技术实践目录CONTENT|01背景介绍初步认识什么是数据治理，为什么要做数据治理，以及如何做数据治理什么是数据治理|DAMA数据管理知识体系指南l 数据治理是对数据资产管理数据资产管理行使权力和控制的活动集合活动集合（规划、监控和执行）。l 数据治理职能指导其他数据管理职能如何执行，数据治理是数据治理是在高层次上执行数据数据管理管理。数据治理的目的|数据可用性数据质量数据安全数据治理的困难|01 数据多样化，缺少统一标准02 多种类型异构数据源并存03 计算逻辑理解不一致，结果统计有偏差04

2、 数据链路较长，层次复杂，问题定位困难05 生命周期管理难度高，数据成本压力大06 数据分散，没有形成完整的管理体系07 数据安全与合规保障的问题越发突出08 数据价值的评估较为困难，ROI无法度量数据治理的方法|发现治理的对象执行治理的过程优化数据管理流程知治管通过技术手段将组织内各类存储介质中的数据资产元数据进行统一的采集存储按照统一的标准结合技术手段对数据资产进行规范化处理优化数据使用流程，约束数据使用方法，提升增量数据的质量。数据治理的过程|1.现状盘点2.数仓建设3.质量检测4.持续改进l 成立治理组织l 梳理内容链条l 确定治理目标l 评审关键指标l 数据上报治理l 重构数据模型l

3、 数据测试验收l 提炼数据质量规则l 定制评价标准l 质量检测和告警配置l 输出质量报告l 建立数据地图l 分析血缘关系l 持续监测数据质量l 优化数据使用流程|02腾讯数据治理体系简介介绍腾讯内部数据治理体系建设思路和策略腾讯数据治理-组织管理体系|数据治理OTeam标准规范协同平台协同社区运营建立企业级的数据治理标淮和测评体系开箱即用的一站式数据治理工具平台营造活跃、开放的数据治理社区生态组建公司级的数据治理协同共建组织通用解决方案。统筹大数据领域开源协同工作腾讯数据治理业务框架|数据治理平台全域元数据服务元数据采集元数据存储元数据仓库数据血缘生命周期底层存储数据治理标准数据治理测评资产创

4、建数仓建模数据开发数据发布数据运维资产评估分类分级资产评分资产质量成本账单资产运营数据地图血缘分析资产市场责任归属资产管控权限管控流程管控审计流水大数据RDBMSNOSQLKV技术元数据业务元数据数据分类分级安全管理要求数据安全管理要求数据共享管理规范数据价值管理规范数据标准管理规发元数据管理规范数据安全管理能力成熟度评测元数据管理成熟度评测加密脱敏腾讯数据治理体系-元数据管理|如何采怎么存引导治腾讯数据治理体系-数据资产管理|生命周期数据清理价值分析确定归属区分优质资产，减少垃圾数据通过业务属性和数据访问行为两个维度04影响分析判断自动化数据清理数据恢复保护03智能化生命周期推荐人工调整审批

5、02元数据记录归属信息、数据文件最近数据访问账号01腾讯数据治理测评体系-元数据管理成熟度|元数据管理成熟度五级评测标准定义腾讯数据治理-数据安全治理|数据分类分级1数据使用管控2安全审计3数据资产梳理分类、分级定义安全等级识别识别结果标记权限、账号隔离申请流程管控静态动态加密数据使用控制安全事件告警访问记录下载记录安全报告腾讯数据治理测评体系-安全管理能力成熟度|腾讯数据安全管理能力成熟度评估五级模型数据分类分级数据访问控制数据资产保护用户身份管理和认证数据权限管理数据操作审计数据采集安全数据传输安全数据存储安全数据使用安全数据共享安全数据销毁安全安全管理能力成熟度评测覆盖数据全生命周期，包

6、含12个管理能力域，86个控制项。腾讯数据治理测评体系-安全管理能力成熟度|完整的制度、流程。工具、方法4级（标杆级）3级（稳健级）2级（基础级）1级（初始级）5级（卓越级）具备动态改进体系和智能化设备设施,积极输出能力并在业界有较大影响力。数据安全治理工作可度量、可验证,第三方认可度高。系统化，规范化的制度、流程、工具、方法简单的制度、流程腾讯数据安全管理能力成熟度评估五级模型|03数据治理技术实践介绍元数据管理、数据数据血缘相关技术实践统一元数据技术架构|统一元数据-微服务划分|统一元数据-数据采集|dispatcher实时采集consumerlineageDDLAuditloghbase

7、eshermesGraphdb增量过滤pulsar元数据删除判断Guid generatorData bus定时采集storage重复判断定时增量、全量实时 Jdbc query Jdbc metaApi 自定义 拉取 Hook Listener coprocessor binloghive元数据采集有多少种方式？统一元数据-血缘采集分析|视图/物化视图 TEMPORARY临时表 WITH AS子查询 CACHE AS子查询 JOIN中间结果 UNION中间表 LATERAL VIEWSql解析能力统一元数据-血缘数据存储|tblAtblBtblCtblDtaskAtblAtblBtblCtb

8、lDtaskAId:taskAtaskAId:taskAcreate table db.tblBtblBas select a.id,a.name from db.tblAtblAas a;taskAcreate table db.tbltblD Das select a.id,a.name from db.tblblC Cas b;tblAtblBcreate table db.tblB as select a.id,a.name from db.tblA as a;taskBtaskAtaskB任务信息保存一份，血缘关系错乱表作为点，任务作为边，任务信息覆盖表、任务均作为点GraphDB表作为点、任务做边非常感谢您的观看|