1、WeData数据治理介绍及内部实践释放数据潜能 驱动业务增长腾讯云大数据平台产品中心fairyxwang2022081.数据治理挑战2.腾讯内部数据治理实践3.WeData数据治理平台能力目录数据治理挑战01数据治理挑战数据信息分散数据质量差维护困难元数据不全无法审计和度量l需要有业务接口人维护补全业务信息l数据多样化，缺少统一标准l数据有问题，总是事后才知道l不知该由谁去维护预防l业务系统不清晰l数据资产不明晰业务挑战l上游是一张空表，或者无效字段，总靠人肉来判别l修改一张表，不清楚带来哪些影响管理挑战l用数据的人这么多，如何保障公司数据访问是可靠安全的l数据成本是什么样技术挑战管理挑战业务

2、挑战管理挑战技术挑战业务挑战5数据治理“马斯洛的需求层次”数字化不同阶段，数据治理关注的核心需求不同成本安全可用质量时效数据产出及时性数据有保障，准确、完整、有效数据易查找、好理解、可复用数据安全、敏感数据识别、合规保证数据存储、使用的成本优化和控制腾讯内部数据治理实践027腾讯内部业务现状CDG企业发展事业群IEG互动娱乐事业群CSIG云与智慧产业事业群PCG平台与内容事业群S职能系统WXG微信事业群TEG技术工程事业群数百产品线数千“数据分析师”集成处理洞察治理融合分享数万业务线EB级存储量目标一致性8腾讯数据治理三阶段数据资产化全面数据汇聚统一数据资产业务决策辅助降本增效成本洞察成分分析

3、责任到人业务治理平台化方法论沉淀治理工具化效果可量化基于腾讯统一的数据平台体系，打通系统间数据孤岛，建立统一的数据资产，为辅助业务决策提供高质量的数据保障业务规模日益增长，同时也带来巨大的成本负担，成本治理迫在眉睫将治理方法论通过平台进行实现，治理流程工具化，提升治理效率，推动深度治理9腾讯内部实践：腾讯新闻数据资产化背景与目标过程：数据模型重构成果腾讯新闻数据治理项目目标是通过对腾讯新闻业务数据的规划、生产、加工、应用等进行全链路改造与升级，在提升新闻数据的准确性、覆盖度和实时性的同时，打造科学的数据应用体系。将数据质量体系在新闻整个业务推进落地，为敏捷分析与科学实验决策等奠定了基础缺少统一

4、数据规范：各业务数据埋点规范、上报规范、数仓规范、指标规范各异。数据质量难以保障：业务数据仓库庞大，总离线表数超过xx万，缺乏数据分层及数据模型，数据复用度仅15，存在大量年久失修的数据埋点设计-数仓建模-指标建模统一埋点模型升级数仓模型构建指标模型链路治理完成数据生产链路的规范化建设，从埋点到数仓到指标等，梳理完成了适合新闻的管理流程，并在大改版过程中快速应用数仓治理完成250个模型设计或重构，52个维表的设计以及 270个应用表的开发。在数据资产完整性和分层规范 达到95%、复用度达到73%以上，跨层引用占比小于 5%10腾讯内部实践：PCG数据成本治理资源用量资源单价PCG大数据成本平台

5、化治理成本度量策略挖掘治理任务优化执行范围：1.数据采集平台2.数据生成平台3.数据分析平台4.数据应用平台成果：在月成本同比增加30%+的情况下，业务单位用户/内容消费的大数据成本下降，业务大数据成本绝对值下降至少10%强化大数据成本治理理论，沉淀方法论、流程和平台能力优化思路：降低业务不合理使用优化思路：提升数据平台效能流程优化策略优化架构优化性能优化11腾讯内部实践：治理平台化推动业务治理落地背景与目标过程：构建一站式数据治理平台大数据环境下，海量数据给业务带来了巨大价值，同时也带来巨大的成本及负担。业务团队大数据成本盘点困难、治理执行门槛成本双高、治理效果不能有效量化，都是业务在推进资

6、产治理的痛点现状概览资产明细治理方案治理执行洞察全域数仓及大数据成本，呈现最真实的业务资产情况全方位治理项洞察，基于资产分规范，对当前业务的待治理项进行明细展示平台内置治理方案结合业务定制化治理方案一站式治理执行，针对洞察出的治理项进行治理动作资产价值评分体系构建：规范、安全、质量、成本、应用WeData 数据治理平台能力0313腾讯内部大数据能力的对外商业化输出-WeData公有云EMRCDWDLC私有云TBDS数据湖TBDS MPPRDBTDSQL.敏捷数据生产场景化解决方案管理体系用户管理审批管理多租户管理项目管理数据源管理多环境管理平台开放WeData数据开发治理平台金融政务/公安零售

7、/传媒/教育制造/能源文旅/地产/交通电商游戏行业应用数据引擎数据汇聚数据仓库数据湖数据中台数据建模（DataModel）数据集成（DataInLong）数据开发（DataStudio）数据服务（DataService）统一元数据（MetaData）统一安全（SecurityCenter）统一调度（US）基础数据支撑服务DataOps生产流程需求规划开发发布运维数据质量（DQ）数据安全（DS）元数据资产（UDP）资产治理规范安全质量成本应用工具实践高效数据治理WeData数据治理服务14【DataStudio】数据管理编排空间运维中心2.数据敏捷开发与运维（ETL加工处理）离线/实时同步【数据

8、集成】批量迁移（含迁移运维）1.数据汇聚【数据质量】规则模版质量概览事前 质量监控、事中生产阻断、事后质量分析质量监控运维管理质量报告【数据安全】权限策略数据脱敏事前 访问控制事中脱敏加密、事后访问审计权限审计数据密级访问审计数据流通存储数据生产加工中间数据1中间数据2中间数据3结果数据主数据提炼原始数据规范项【资产治理】数仓规划模型设计【数据建模】1.数仓定义2.规范标准逻辑模型关系模型数据管理指标、维度行业模版全链路工具保障全生命周期数据治理模型物化标准生产API管理【数据服务】API生产3.数据应用治方案理落地执行数据资产化、价值化基于腾讯内部实践经验的治理标准体系开发空间安全质量成本应

9、用数据发现数据管理【元数据资产】元数据采集库表管理业务分类数据地图数据目录数据血缘生产变更数据温度采集、管理、检索、应用1.数据资产化、规范化 2.成本治理 4.数据应用 以数据应用价值为导向：从数仓规划、数据标准的管理落地，到质量、安全在生产流程的贯穿，达成数据资产化管理与高效治理WeData数据治理-规范工具规范质量安全可用资产治理16WeData数据治理-质量工具规范质量安全可用治理质量监控配置1.规则模版定义4.定期数据质量分析质量规则模版2.基于元数据配置数据质量监控增加数据质量规则集3.质量问题跟踪处理ETL流程监控离线周期检测质量报告：数据质量考核评价质量概览：质量核心指标日常关

10、注质量任务运维规则校验器DQ业务层DQ WebDQ样本采集引擎基础体系统一元数据多租户管理数据源管理统一调度异常检测固定值平均值离散波动方差波动持续波动规则模板引擎完整性准确性一致性唯一性有效性及时性告警邮件短信企微语音弱规则缓冲队列强规则采集队列规则管理计算规则翻译器判断规则执行器告警规则执行器可视化配置数据监控规则模板运维管理全维度规则丰富模板132质量报告4测试运行事中检测事后检测53种官方模板自定义规则模板字段级表级综合质量分维度质量分表质量分明细17WeData数据治理-安全工具规范质量安全可用成本脱敏策略基于数据分类分级的安全能力脱敏算法分类分级定义数据识别规则识别任务和打标数据脱

11、敏1、敏感数据识别嵌入水印数据水印数据溯源风险识别：访问、导出、操作3、安全审计风险告警审计日志：访问、导出、授权、鉴权脱敏任务静态脱敏查询场景动态脱敏集成场景数据安全属性展示敏感数据分布与检索2、隐私保护能力WeData数据治理-元数据资产管理工具规范质量安全可用治理元数据管理流程元数据采集1血缘影响分析2元数据应用3元数据运营维护4 数据源配置 元数据采集任务配置 库表元数据采集 ETL调度元数据采集 业务元数据采集 元数据检索 系统、表与字段血缘关系分析 系统、表与字段影响分析关系分析 业务元数据分析 元数据采集监控 元数据采集问题处理 系统日常运维监控 数据资产展示 数据字典管理 业务

12、指标管理 数据质量检查 变更影响评估 统一元数据（MetaData）统一安全（SecurityCenter）统一调度（US）基础能力支撑服务数据发现数据管理数据地图元数据服务 采集任务管理 采集实例运维 数据归属 库表管理 业务元数据管理 统计大盘 数据目录 血缘解析、数据温度、生产变更 数据订阅 元数据API 血缘API 数据统计API 元数据查询API 以数据应用为目的元数据资产工具19WeData数据治理-治理实践落地规范质量安全可用治理企业级治理标准一站式资产治理工具企业级测评体系规范体系元数据规范数据质量规范数据安全规范数据共享规范数据应用规范测评体系元数据成熟度数据质量成熟度数据安全成熟度资产管理成熟度数据应用成熟度资产生产数仓建模数据开发数据发布数据运维资产评估数据定级资产分资产认证成本账单资产运营数据地图血缘分析资产市场责任归属全域元数据调度元数据技术元数据业务元数据血缘元数据大数据平台