5.快手元数据平台化建设及应用场景-薛言.pdf

编号：29756

PDF 26页 5.24MB 下载积分：VIP专享

下载报告请您先登录！

5.快手元数据平台化建设及应用场景-薛言.pdf

1、快元数据平台化建设及应场景薛-数据平台架构师我介绍薛数据平台架构师前负责元数据系统建设及应加快3年，负责过数据同步、报表平台录 01 02 03 04 应场景建设过程及现状未来规划背景介绍 01 02 03 04 应场景建设过程及现状未来规划背景介绍对的问题什么是元数据背景介绍：什么是元数据元数据元数据是关于数据的组织、数据域及其关系的信息，简之，元数据就是关于数据的数据。数据表Hive表、Clickhouse表、Druid数据源、Kafka Topic 产任务离线调度任务、数据同步任务、实时计算任务关联关系Hive表与Hive库、指标维度与绑定

2、数据表的关系缘关系数据与数据、任务与任务的上下游关系要计算的指标可以依赖哪些数据，某个数据的径是什么？怎样找到需要的数据如何梳理出上下游关系准确效的梳理出数据间或是任务间的上下游关系，并识别出关键产链路？数据治理靠什么来驱动资源治理、规范治理等靠什么来驱动？如何衡量治理的效果？对海量的数据资产，如何确认归属、进分级分类、维护数据径、保护隐私数据不被泄漏？海量数据资产该如何管理背景介绍：对的问题 01 02 03 04 应场景建设过程及现状未来规划背景介绍如何抽象和管理当前系统架构元数据系统发展内容：Hive相关、KafkaTopic、Druid 平台

3、能：元数据管理、搜索、离线缘服务能：简单查询API 存储：MySql、Redis、ES 内容：Hive相关能：简单查询API 存储：Mysql 早期发展期内容：Hive相关、指标维度、离线调度任务、画像标签平台能：搜索、实时缘、分类检索、案例分享、资产管理服务能：简单查询、定义查询、离线元数据仓库存储：Mysql、Redis、ES、图引擎现状建设过程及现状：元数据系统发展建设过程及现状：如何抽象和管理某种元数据的个实例，有唯标识，包含组属性 u 实体构成实体的基本单位，可以是简单类型，也可以是复杂类型，由属性名、值类型及属性值构成 u 属性两个实体间的关联关系，可以是物理关系，也可以是逻辑关系，由关系名和两个端点的唯标识构成 u 关系三段式，由公司域、资产域、唯ID构成 u 全局唯标识-URN 建设过程及现状：如何抽象和管理引擎或平台提供的基本信息，般直

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（5.快手元数据平台化建设及应用场景-薛言.pdf）为本站（X-iao）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。