1、数仓 Onedata 体系建设方法论演讲人：邓成聪2023 讲师介绍 邓成聪，2000年毕业于武大大学，层服务于IBM，埃森哲，百度和华为，邓成聪是前百度大数据资深产品设计师、华为AI平台高端产品专家，一手孵化了华为ModelArts(获得斯坦福大学及全球智博会双料冠军)，曾代表华为参与编写中国人工智能平台标准。邓成聪也是TOGAF注册企业架构师（95分，全球历史最高分）。邓成聪在数据建模领域有20年经验，曾获百度总裁特别奖、华为总裁奖。方法论体系数据建模流程工艺实践案例心得总结方法论体系大白话3分钟讲明白什么是数据仓库东北海南新疆云南卸货区原料区半成品区成品区铺面东北海南新疆云南土豆粉大米面

2、粉玉米粉菜米线馒头面条点餐种子自助餐卖面粉大米卖包子土豆水稻小麦玉米运输大白话3分钟讲明白什么是数据仓库海南云南卸货区原料区半成品区成品区铺面海南云南点餐种子自助餐卖面粉大米卖包子土豆水稻小麦玉米运输核心系统信用卡系统基金系统中间业务财务系统HR系统核心信用卡中间业务传输抽取ODS基础数据区客户产品位置交易会计客户汇总产品汇总交易汇总资产汇总渠道汇总汇总区应用数据客户分析产品分析风险分析财务分析固定报表灵活查询/多维分析驾驶舱对外供数数据挖掘/机器学习抽取/采集清洗+转换聚合+汇总汇总展现东北新疆东北新疆土豆粉大米面粉玉米粉菜米线馒头面条数据仓库方法论采购人事销售库存生产财务.EDWODS市场

3、分析集市财务分析集市产品分析集市.展现应用展现应用KPI数据挖掘多维分析灵活查询固定报表企企业业门门户户CIF体系架构体系架构数据整合体系数据整合体系BI应用应用在数据仓库领域的方法论，有两派理论，分别由Bill Inmon及Ralph Kimball所倡导；在Bill Inmon新的方法论体系中，融合了两派方法论，提出了CIF（Corporate Information Factory）的体系架构，很多企业的数据仓库及BI架构，都遵循了这种架构理论。目前在大型企业，成熟的数据仓库解决方案中，也最终走向了CIF的体系架构。数据模型的地位 在数据仓库中，数据模型的地位就像发动机一样重要。数据模型

4、的稳定性、可获展性、数据模型易用性等，是评价建模水平的关键标准。建模中需要有相应的策略去指导。Onedata体系 Onedata 概念最初是由阿里巴巴提出 OneData的核心，本质是数据在数据仓库里面，全局完整、含义一致、避免重复建设。Onedata的理念与Bill inmon的理念，企业架构的思想理念其实是一致的，可以说殊途同归！Onedata 建设的从业务架构设计到模型设计，从数据研发到数据服务，做到数据可管理、可追溯、可规避重复建设。即数据只建设一次。OneData又主要抽象成三个部分，分别是：OneID、OneModel、OneService。第一部分：OneModel 致力于实现数

5、据的标准与统一；第二部分：OneID 致力于实现实体的统一，让数据融通而非以孤岛存在，为精准的用户画像提供基础；第三部分：OneService 致力于实现数据服务统一，让数据复用而非复制。数仓模型企业架构与数据仓库的关系在企业架构的数据架构中，企业级数据模型会落地在数据仓库中，也是数仓的参考模型模型设计工艺流程Onedata数据模型设计思路设计思路设计思路数据模型设计原则数据模型设计策略数据模型设计步骤数据模型设计理念数据模型设计规范数据模型设计阶段划分数据模型设计产出物设计依据业务架构业务架构行业最佳行业最佳实践实践企业数据企业数据源结构源结构企业的应企业的应用需求用需求模型层次划分设计目标

6、设计模式数据仓库数据模型设计流程8个过程个过程过程可定义过程可定义迭代开发迭代开发参与角色参与角色业务分析师（BA）模型设计师DBAETL工程师需求分析数据源分析现有模型满足度及差异分析逻辑模型设计逻辑模型物理化模型实施模型验证及调优概念模型设计Entry最佳实践案例一：百度展示广告EDW建设百度EDW建设，数据模型的设计出发点，来自于企业架构中的业务架构，也就是业务信息案例一：百度展示广告EDW建设百度EDW建设，在业务信息的梳理中，对标IAB的信息模型，提炼关键的业务对象案例一：百度展示广告EDW的主题域划分 按照数据仓库设计的流程，我们划分了10主题域，梳理了关键数据实体。案例二：华为数

7、据底座案例三：银行数据仓库模型设计IBM数据仓库模型在银行业，在银行业，IBM BDM 9大主题域包括：当事人（相关方）、产品、协议、事件、地址大主题域包括：当事人（相关方）、产品、协议、事件、地址位置、分类及渠道、条件、资源项、业务方向。位置、分类及渠道、条件、资源项、业务方向。Teradata数据仓库模型数据仓库模型在银行业，在银行业，Teradata FS-LDM 10大主题域包括：当事人、产品、协议、事件、区域、大主题域包括：当事人、产品、协议、事件、区域、渠道、行销活动、资产、财务、内部机构。渠道、行销活动、资产、财务、内部机构。心得总结心得总结 顶层设计：Onedata 体系建设，需要顶层设计，从业务架构推导出数据模型。数据分层：数据仓库中，需要不同的分层，来保证数据模型稳定性、可扩展性和可用性，以便数据模型适应业务场景的变化。规范性：数据模型的设计规范性、数据标准化（命名、值域等）、服务接口感谢您的观看演讲人：邓成聪独立顾问