1、 企业数据治理最佳实践 Scott Gidley与Nancy Rausch，SAS 白皮书白皮书 SAS白皮书 目录 概述概述 .1 数据治理数据治理 应用场景和挑战应用场景和挑战 .1 协作协作成功的关键成功的关键 .3 全面管理企业基准数据全面管理企业基准数据 .7 结语结语 .12 建议阅读资料建议阅读资料 .13 联系信息联系信息 .13 更多信息更多信息 .13 企业数据治理最佳实践 1 概述 近年来，在企业必须遵守行业或政府规定，降低成本提高利润水平，利用数据驱动的措施增加收入的情况下，数据治理概念和机制显得愈发重要。因此，企业高层往往要求建立数据治理卓越中心(COE)，其中包括相

2、关的人员配备(业务经理、数据管理员、信息技术开发人员等)、完善的业务流程和技术，这些都需要从企业层面来治理数据 数据治理COE的目标可能有所不同。很多情况下，其目标是更好地管理企业数据资产，从而更快更好地制定业务决策。或者，也可以是遵守监管规定，如萨班斯-奥克斯利法案(Sarbanes-Oxley)、HIPAA法案或Solvency II，或者只是改进企业层面数据管理的效率和操作。尽管数据治理计划的目标通常容易定义和理解，但企业却很难实施计划。由于无法与技术提供者协作或分享业务要求，企业内部基准数据缺少管控，以及难以衡量这些计划是否成功，往往造成无法在企业层面提供持续支持和保证。本文通过实际业

3、务案例探讨企业当前实施数据治理计划面临的挑战。重点介绍有助于解决其中许多难题的SAS技术。数据治理应用场景和挑战 零售业提供了了解数据治理最佳实践非常好的应用场景。更好地整合新数据或更新数据，从而展开更具战略意义的实时营销活动，是零售企业实施数据治理计划的共同驱动因素。很多情况下，零售商由于并购往往需要合并积分卡计划、品牌和销售区域。如无法有效地实施这些改变，将难以实现企业并购的长远价值。本文介绍一家虚构的区域零售体育用品连锁店(以现实环境中的客户场景为基础)，名为D&G体育用品公司。D&G计划收购一家区域性高尔夫设备用品零售商，将业务规模由美国中西部扩展到东部沿海。作为收购计划的一部分，D&

4、G决定实施数据治理方案：通过改进搜索和社交媒体整合来改善客户体验。提高新数据源纳入供应和销售链的效率。建立企业级数据所有权和管理方案，提高区域连锁店分析能力。SAS白皮书 2 作为数据治理计划的一部分，D&G组建了由首席信息官(CIO)主管的数据治理COE团队，成员包括业务线经理(高尔夫、野营、运动等业务)，分析和商业智能副总裁，信息技术总监，以及辖区各门店业务经理代表。COE团队首要任务是调研团队成员，确定可作为数据治理计划要求基础的现有问题有哪些。COE团队成员提出的主要问题如下：零售终端(POS)控制面板功能强大，但数据质量仍然是软肋。数据变更沟通(层级结构和修正)处理不一致，不能快速高

5、效部署。公司需要标准方法检测、评估、修复和沟通多种类型数据质量问题。能够轻松整合新的数据源。需要解决跨品牌和跨业务领域数据所有权问题。新的策略和营销活动需要新的干净可靠的数据源，如高尔夫培训中心。传统上，上述的每个问题由具体业务线，或公司使用的特定应用来管理。例如，数据质量管理可能已经配置在客户关系管理 (CRM)系统中，但并未一致地应用到整个企业资源规划、数字营销或会计系统中。此外，由于企业各个部门可能有各自单独的要求，因此确定数据所有权和治理规则十分复杂。大部分IT和业务高管将企业数据治理原则视为成功的关键，然而就规模而言，超出单个部门全面实施数据治理的企业几乎没有。数据治理计划往往在各个

6、部门之间 (或仅由IT组织)展开，而不是以部门协同的方式落实，导致计划的范围和效果有限。因此，企业现在需要技术解决方案遵循如下条件：支持业务部门与IT之间更好地协作。管理企业内部基准数据。支持连续测量和监控企业数据治理计划的效果。企业数据治理最佳实践 3 协作成功的关键 尽管数据治理计划通常由跨职能团队组成，其成员来自企业内部不同组织，但有几个关键角色是任何数据治理计划的重要组成部分。这些角色包括：业务数据业务数据管理员管理员是某一业务领域所有数据问题的主要接触人，负责其业务领域的数据质量和使用。这个角色的职责是：定义业务领域数据质量的指标和阈值。确保符合业务领域治理策略和流程。确定业务领域需

7、要收集的业务元数据。监督业务领域相应业务数据的使用。制定数据更新和新数据源的数据审核指导原则。与数据架构师一起定义数据关系。数据架构师数据架构师根据业务和数据要求定义、建模、设计和维护数据。这个角色的职责是：定义源数据抽取标准。提供数据建模专业知识。创建、维护和支持数据建模和命名标准的执行。维护基准数据架构。数据质量主管数据质量主管确保数据符合业务需求，并维护流程和自动进行必要的数据修正。这个角色的职责是：执行根因和源数据误差分析。执行生产数据质量监控和数据修复。设计数据质量改进项目。提出数据质量阈值极限变更值。进行定期数据质量检查，针对不符合既定标准的数据建立数据质量改进项目。任何成功的数据

8、治理计划有可能增加其他关键人员，但他们的作用一般包括在上述内容中 尽管他们可能来自不同的业务领域。由于数据治理需要大量用户和团队共同执行计划，因此各团队成员之间的协作是实现全面成功的关键。为满足这种要求，许多企业使用内部维基、数据建模工具，或各种办公和文档管理产品支持成员之间交换信息。SAS白皮书 4 虽然这些工具和产品具有良好的起点，但方向性不强。它们往往难以随着团队信息需求的增长进行管理。每个用户真正需要的是能够创建信息，并以基于数据治理最佳实践定制的方式彼此分享信息。例如，业务数据管理员希望用商务术语来定义业务术语、要求和其他细节。数据架构师要查看业务数据管理员提供的信息，了理并执行实际

9、数据所需的规则。建立重复使用的规则，保存元数据对数据架构师有利，因为这样可以制定并在多个物理数据库之间使用相似的规则。同时，有助于关联和影响分析，如果未来需要进行变更，可以明确哪些物理系统和下游报表需要更新。最后，数据质量主管需要查看业务术语，以及数据架构师建立的规则，以便能够了解如何解释并解决出现的数据质量问题。图1显示每种角色中的用户为成功执行数据治理计划需要创建和了解的信息类型。图 1:主要数据治理用户之间的协作活动 业务数据网络(BDN)是一种基于Web的数据治理应用，专门用来支持企业数据治理计划，满足从事上述工作角色定义的用户需求。它为收集、记录和共享业务、运营和技术信息提供协作环境

10、。BDN支持业务用户、数据架构师和业务数据管理员进行协作。业务用户可使用BDN，按业务术语定义和记录信息；业务数据管理员可利用业务术语保证数据一致性；数据架构师可利用作业和规则管控数据。企业数据治理最佳实践 5 BDN还支持用户定义业务术语库及其相关属性和关系。业务术语包括关键信息，如：名称和描述。源系统。负责人(IT和业务)。相关流程(数据质量服务、数据工作流和应用)。图2举例说明D&G体育用品公司如何利用BDN设计、管理和部署数据治理实践。D&G可以创建CUSTOMER(客户)、SUPPLIER(供应商)、ACCOUNT(帐户)等术语，以及其他描述使用数据管理业务的信息。图 2:业务数据网

11、络可用来设计、保存和部署治理实践 图3为表示顾客信息的术语示例。CUSTOMER术语包含例子，说明术语“客户”可以在BDN中如何表达。它含有的信息包括建立完整客户记录的要求、保存客户信息等数据模型的文件指针、描述客户记录内容的规则、含有客户数据的物理源系统、利用客户信息的相关术语，以及这个术语对整个系统和其他细节的重要性。SAS白皮书 6 图 3:业务数据网络中显示的CUSTOMER术语 相关对象如保存客户信息的物理表和源系统、销售报表、分析、模型和其他相关客户数据可与术语链接。Notes(注释注释)和和Contacts(联系人联系人)选项卡支持术语负责人与数据使用人之间的协作。术语变更或更新

12、通知通过电子邮件发送给所有感兴趣的相关方。History(历史历史)选项卡支持并显示CUSTOMER术语完整的版本和变更记录。图4所示为其中的部分功能。.图 4:业务数据网络保存的其他相关信息 业务数据网络的内容可由各种来源中导入。导入格式为XML，客户端预置了一些范例。企业数据治理最佳实践 7 全面管理企业基准数据 大部分数据治理计划要求企业全面管理基准数据。对于D&G体育用品公司来说，由于最近完成收购，这种要求是十分重要的。被收购企业的客户、销售和人力资源数据必须迅速整合到现有系统中。提供一致视图了解适用于积分方案的客户、销售业务的销售区域、销售层级结构的变化，是通过收购增加营业收入的关键

13、。集中管理这种通用数据，为各业务线提供接口输入、更新、向业务系统发布这种整合数据，是任何数据治理方案的重要组成部分。这样可以更加快速地整合新的数据源，在整个企业形成统一的通信发布机制。Reference Data Manager(基准数据管理器)是一种作为SAS Data Management(SAS数据管理)套件组件提供的、基于Web的管理客户端软件。它可以帮助您集中管理、配置和发布企业内部的基准数据。这一软件可管理列表、查找表和层级结构，并且可将基准数据发布到关系数据库表、平面文件、XML文档及其他格式文件。这个组件与企业数据网络紧密集成，因此，SALES TERRITORY(销售区域)等

14、业务术语可与 Reference Data Manager中管理的层级结构关联(参见下面图5)。图 5:Reference Data Manager可集中管理、配置和发布企业内部的基准数据 SAS白皮书 8 数据治理监控、修复和关联 ，企业难以确定方案的整体价值和持续效果，是数据治理一直存在的难点之一。某些情况下，这是由于无法掌握关键绩效指标(KPI，也称维度)造成的，这些指标可对方案的成功进行总体测评。更常见的是，制定了用于测评成功的KPI但无法访问，在显示数据治理方案管理的数据总体质量状态的控制面板中无法方便地查看。BDN集成监控和控制面板功能，支持业务数据管理员监控数据治理方案相关的KP

15、I。控制面板可以定制，有助于利用质量问题状态以及发展趋势的直观描述识别并修复数据问题。控制面板还可用来向下钻取，获取特定KPI维度更详细的信息，如准确性和完整性。维度和阈值支持全面用户配置。通过持续综合监控，可以更好地对潜在错误做出响应，更加快速地解决问题。您可以深入查看特定问题的记录。图6为控制面板示例。图 6:可挖掘特定问题记录进行综合监控的高度可视化控制面板 企业数据治理最佳实践 9 如图7所示，采用数据监控器，问题记录中的具体数据错误可在控制面板中进行探查。图 7:作为综合数据监控的一部分，控制面板可以挖掘具体错误的细节 从D&G体育用品公司的情况看，数据治理方案的重点之一，是提高输入

16、POS控制面板的信息质量。理想的方法是为关键项目专家提供通用一致的应用，评估、修复和解决数据质量问题，不仅是POS控制面板，而且包括其他业务系统。SAS Data Management包括专门帮助关键项目专家解决数据质量问题的数据修复功能。无效数据记录(或记录集)可通过编程排入修复队列。一旦进入队列，修复界面支持相应工作流程。出现需要引起注意的情况时，系统发出通知。修复界面支持报警和通知、状态跟踪、过滤和工作流队列管理。图8为修复队列界面样例。SAS白皮书 10 图 8:数据修复通知主题专家解决管理工作流中的数据质量问题 修复队列中可以查看各项记录(或记录集)的状态。您可以了解出现的数据问题，

17、查看 各项记录，将问题分配给其他人处理，排定优先解决的问题和修复的数据。所有这些活动基于管理员管控的个人权限进行管理。您可以通知其他人协作完成任务。分配给个人活动的概览窗口描述修复队列中活动的最新状态，如图9所示。企业数据治理最佳实践 11 图 9:个人用户可查看修复队列中所有活动的概览 数据治理另一个关键功能是审计跟踪整个企业的业务和技术元数据数据治理另一个关键功能是审计跟踪整个企业的业务和技术元数据谱系谱系。这对于受到 严格监管的行业是十分重要的，审计师必须能够跟踪整个数据生命周期，包括决策者和拥有数据所有权的主题专家。从D&G体育用品公司的情况看，确定输入企业数据仓库的数据对积分卡计划业

18、务分析，决定服务方案产生怎样的影响是非常重要的。业务数据网络还包括用以评估数据元素之间相互关系的谱系和影响分析。它显示D&G企业所有组件的组合状况。谱系给出数据之间的依赖关系、相关项、项目的相关物理对象、源系统、项目生成的报表、以及其他第三方对象描述关系，如Excel 电子表格或文件。图 10为样例界面。SAS白皮书 12 图 10:数据谱系和影响分析可探查评估相关信息的影响 结语 数据治理将数据质量、数据管理、数据规则管理、业务流程管理和风险管理整合成一种方法论，帮助管理整个企业的重要数据资产。SAS提供全套解决方案，确保快速实施有效的数据治理计划。本文介绍了几个关键考虑因素，以及最佳实践。

19、综合数据治理涉及业务数据网络、基准数据管理、数据联合、质量和主数据管理。利用单一集成式可配置软件平台满足所有这些关键因素的要求，可降低总体持有成本，为企业快速创造价值。SAS Data Management 提供完整的功能，帮助IT组织真正实现数据治理。企业数据治理最佳实践 13 建议阅读资料 SAS Enterprise Data Management&Integration Discussion Forum.可在以下网站获取 Malcolm Alexander.2013.“Best Practices in SAS Data Management for Big Data.”Proceed

20、ings of the SAS Global Forum 2013 Conference.Cary,NC:SAS Institute Inc.可在以下网站获取 Malcolm Alexander.2013.“Whats New in SAS Data Management.”Proceedings of the SAS Global Forum 2013 Conference.Cary,NC:SAS Institute Inc.可在以下网站获取 Pat Herbert.2011.“Innovations in Data Management:Introduction to DataFlux D

21、ata Management Platform.”Proceedings of the SAS Global Forum 2011 Conference.Cary,NC:SAS Institute Inc.可在以下网站获取 Data Management,the Third Leg of the Data Management Stool:a.k.a.the DataFlux qMDM Solution.”Proceedings of the SAS Global Forum 2011 Conference.Cary,NC:SAS Institute Inc.可在以下网站获取 Ames,and

22、 Wilbram Hazejager.2012.“Whats New in SAS Data Management.”Proceedings of the SAS Global Forum 2012 Conference.Cary,NC:SAS Institute Inc.可在以下网站获取 Tim Stearn.2011.“Best Practices in Data Integration:Advanced Data Management.”Proceedings of the SAS Global Forum 2011 Conference.Cary,NC:SAS Institute In

23、c.可 在 以 下 网 站 获 取 我们重视并鼓励您提出意见和问题。请与作者联系：Scott Gidley SAS Institute Inc.办公电话：919-677-8000 Scott.G Nancy Rausch SAS Institute Inc.办公电话：919-677-8000 Nancy.R 更多信息 阅读SAS数据治理解决方案 更多信息: SAS是数据分析领域的领导者。通过提供创新的分析、商业智能和数据管理软件与服务，SAS帮助全球超过80,000家用户更好、更快地进行决策。自1976年以来，SAS一直向全球客户提供知的力量（THE POWER TO KNOW）。赛仕软件赛仕软件（北京北京）有限有限公司公司 400 818 1081 SAS 和所有其他 SAS 公司的产品和服务名称是 SAS 软件有限公司在美国和其他国家的注册商标或商标。表示美国注册商标。其他品牌和产品名称是相关公司的商标。2013 年 SAS 公司版权所有。保留所有权利。106538_S109655_0913