《8-2 顺丰数据治理实践.pdf》由会员分享,可在线阅读,更多相关《8-2 顺丰数据治理实践.pdf(22页珍藏版)》请在三个皮匠报告上搜索。
1、来自顺丰科技的企业来自顺丰科技的企业数据治理实践数据治理实践王敏君 顺丰科技 数据治理专家|一、顺丰数据治理总体介绍一、顺丰数据治理总体介绍1.1.体系建设演进路线体系建设演进路线2.2.顺丰数据治理框架顺丰数据治理框架3.3.数据治理各领域能力介绍数据治理各领域能力介绍二、顺丰数据治理实践分享1.数据治理工作的关键要素2.顺丰主数据治理分享目录目录|顺丰数据治理体系演进路线顺丰数据治理体系演进路线3顺丰数据治顺丰数据治理体系建设理体系建设演进路线演进路线业务需求驱动,各领域能业务需求驱动,各领域能力分散建设力分散建设支持业务分析、经营决策、支持业务分析、经营决策、逐步完善数据治理能力建设逐步
2、完善数据治理能力建设领领域域能能力力建建设设组组织织建建设设平平台台建建设设科技侧成立相应的数据治理团队,负责数据治理体系能力建设数据市场:顺丰集团数据资产线上化管理,端到端全流程可视化,业务及科技用户可快速查询订阅相关资产信息主数据管理:各业务领域主数据治理及标准落地数据质量管理:数据产生-数据消费的端到端质量监控数据安全:数据分类分级管理未搭建数据治理组织,数仓人员兼顾数据治理相关工作元数据管理平台主数据服务平台数据质量管理平台20202020之前之前-20212022 2022 及以后及以后 以高效支持经营决策、业务运营提以高效支持经营决策、业务运营提效为目标,
3、构建数据治理体系,端效为目标,构建数据治理体系,端到端闭环治理数据问题到端闭环治理数据问题数据治理体系建设目标数据治理体系建设目标构建长治久安的数据治理体系,构建长治久安的数据治理体系,实现数据安全便捷共享整合整合&沉淀公司沉淀公司的公共数据的公共数据资资产产,支撑业务+科技的数据资产查询、使用、跟踪及管理快速响应、敏捷支持业务、前快速响应、敏捷支持业务、前台研发的数据需求台研发的数据需求数据标准:整合元数据、主数据、指标数据的标准及落地管理主数据管理:各业务领域主数据在各个系统中实现OneID打通,实现主数据的黄金记录管理数据安全:数据分类分级管理数据市场(包含指标数据管理)主数据管理平台数
4、据质量管理+数据标准管理元数据管理:实现元数据采集、元数据解析、血缘分析、影响分析等能力建设主数据管理:主数据统一服务管理数据质量管理:数据质量问题台账管理、质量规则配置与监控数据安全:数据分类分级管理数据市场主数据管理平台数据质量管理平台成立集团层面的业务+科技的数据治理委员会,统筹运作数据治理体系建设|顺丰数据治理整体框架顺丰数据治理整体框架治理治理核心核心数据生产管理数据消费管理数据架构管理治理治理领域领域数据安全管理数据标准管理治理治理组织组织指指引引支支撑撑 数据是公司的战略资产数据是公司的战略资产政策政策规范规范公司数据治理总纲主数据管理规范指标口径管理规范数据安全管理政策数据质量
5、管理元数据管理平台平台工具工具数据治理委员会治理工作组业务数据Owner业务科技Owner主数据管理平台元数据管理平台数据质量管理工具数据市场主数据管理交易数据管理指标数据管理平台方4顺丰数据治理实践:政策规范发布顺丰数据治理实践:政策规范发布5顺丰集团数据治理总纲顺丰集团数据治理总纲顺丰集团主数据管理规范顺丰集团主数据管理规范客户主数据管理办法客户主数据管理办法客户主数据属性标准制客户主数据属性标准制定定用户用户客户信息录入人客户信息录入人员员客渠中心科技人客渠中心科技人员员CRMCRM人员人员客户财务信息客户财务信息客户服务信息客户服务信息客户客户XXXX信息信息数据分析人员数据分析人员主
6、数据管理人员主数据管理人员管理目的管理目的管理组织管理组织管理属性标准管理属性标准质量管理标准质量管理标准客户主数据维护流程客户主数据维护流程客户主数据安全管理客户主数据安全管理主数据管理规范主数据管理规范数据安全管理制度数据安全管理制度数据质量管理要求数据质量管理要求数据标准管理办法数据标准管理办法指标口径管理规范指标口径管理规范客户主数据管理办法客户主数据管理办法供应商主数据管理供应商主数据管理办法办法人资主数据管理人资主数据管理办法办法财务主数据管理财务主数据管理办法办法用户主数据管理用户主数据管理办法办法XXXX主数据管理主数据管理办法办法客户基本属性客户基本属性客户联系人信息客户联系
7、人信息客户风控信息客户风控信息顺丰数据治理实践:治理组织建设顺丰数据治理实践:治理组织建设6数据治理委员会数据治理委员会主任、成员PMO办公室PMOPMO治理工作组治理工作组-业务侧业务侧各业务领域业务专家组成 推动本业务领域数据治理相关的制度、规范、流程、标准的建设,如业务领域主数据管理办法等。按照数据治理委员会的要求推动本业务领域数据治理工作,重点关注数据标准、数据质量、主数据管理等专题。跨业务领域、跨系统的数据治理需求收集与反馈治理工作组治理工作组-科技侧科技侧各科技研发中心技术专家组成 推动本领域系统落地数据治理规范与标准,如:主数据标准、数据质量要求、指标口径规范等。协助业务侧及数据
8、治理工作组开展本领域的数据治理工作。跨业务领域、跨系统的数据治理需求收集、反馈业务数据业务数据OwnerOwner业务部门数据相关人员组成 作为数据的业务责任方,负责数据的定义、分类、保护、使用以及授权。收集数据治理的业务需求和痛点,并推动解决。负责本业务领域的数据质量管理,设定本领域数据质量目标、制定数据质量标准及测评指标、持续度量和改进。业务科技业务科技OwnerOwner业务科技研发中心人员组成 负责本业务领域系统的建设,包括系统架构设计、系统功能开发、各类数据标准的实施等。协助业务数据Owner制定、修订数据治理相关标准与管理流程并实施落地。解决业务系统中的数据质量问题平台方平台方大数
9、据平台研发中心数据治理人员组成 制定顺丰数据治理相关政策规范并提报数据治理委员会评审及颁布。推动公司数据治理项目/工作的实施。负责日常数据治理工作的开展,包括数据治理产品/工具的研发、各领域数据质量问题的常态化处理、数据治理评价体系建设、数据治理文化宣贯与课程培训等。虚拟组织实体组织顺丰数据治理实践:主数据管理平台顺丰数据治理实践:主数据管理平台主数据集成生命周期管理主数据标准管理主数据线上化主数据服务平台定位统一纳管不同业务域主数据 采集工具同步框架同步配置数据规则转换清洗数据整合主数据管理统一标准来构建主数据体系标准管理数据维护模型管理版本及快照个性化主数据管理属性维护主数据服务统一的实时
10、查询与分发服务数据订阅数据分发数据查询数据审批服务管理服务监控安全管理敏感数据监控敏感数据分析数据追溯异常行为监控资产地图资产管理资产归档资产销毁稳定性安全性可靠性平台要求实时性系统管理系统登记系统日志系统权限数据台账7经过3年左右时间的主数据系统和服务能力的建设,目前已有100+主题纳入管理,划分2700+安全属性,服务下游400+系统,分发服务2400+万/天,查询服务5000万+/天。顺丰数据治理实践:数据质量管理平台顺丰数据治理实践:数据质量管理平台平台服务保平台服务保障障XX基础数据质量评估和监控数据中台模型数据质量评估和监控其它重点项目基础数据质量评估和监控数据质量管理规范数据质量
11、管理规范领域或项目数据质量管理办法各领域数据标准梳理及线上化管控各领域数据质量管理流程设计和优化数据质量平台数据质量平台日常数据质量评估和监控数据质量台账问题处理数据质量平台能力建设迭代优化KafkaHbaseEshive数据集数据质量平台数据探查基础规则数据元规则自定义规则数据元限定词值域表数据标准管理数据监控检测配置检测记录质量告警质量评估流程管理订阅管理问题台账质量报告质量专题数据质量应用XX数据质量保障XX数据标准线上管理XX数据质量基准评估XX数据质量基准评估基础工作平台建设除了常用的质量问题管理、问题分析、问题处理、规则管理、规则配置、监控告警管理、质量分析报告等功能外,顺丰的数据
12、质量管理平台与元数据的血缘分析、影响分析相结合,提供个人定制的质量专题。某业务领域的业务+科技负责人可以个性化定制整个数据加工链路上所关注的作业和表,形成个人质量专题看板实时监控。8顺丰数据治理实践:数据市场顺丰数据治理实践:数据市场9核心能力:整合各领域官方数据资产快速在线查数、取数数据合规共享、使用追溯数据市场数据市场战略能力:通过数据市场规范管理指标体系、公共模型、数据集市,降低用户数据理解成本,提升数据获取效率业务价值:业务价值:官方高质量数据资产共享平台安全等级标识分类清晰命名规范数据属主明确数据质量合规数据市场准入机制:确保上架数据的标准化,安全、质量数据市场准入机制:确保上架数据
13、的标准化,安全、质量指标数据指标数据科技和业务拉通认证的官方归属指标体系指标业务分类指标规范命名指标业务属主指标数据口径模型数据模型数据数据域、主题域、公共维度等模型表数据DWS主题域分类及模型表DWD数据域分类及模型表DIM通用&专业维度表报表数据报表数据面向业务分析场景的报表、取数模型业务官方报表面向分析场景的定制化指标模型表关键能力:在线自主找数、快速审批、范围授权关键能力:在线自主找数、快速审批、范围授权行级权限管控分类导航、搜索内容推荐差异化审批、自动审批判断数据市场整体架构顺丰数据治理实践:数据市场示例顺丰数据治理实践:数据市场示例10 模型表模型表 报表报表 指标指标展示指标编码
14、、名称及别名、是否考核、指标分类、技术/业务负责人、单位、指标口径、分析维度等关键信息列表页展示指标列表页展示指标/报表报表/模型表的基础关键信息,模型表的基础关键信息,便于用户快速定位到所需的数据便于用户快速定位到所需的数据展示名称、认证标识、标签、归属组织、技术/业务负责人、项目目录、报表字段及描述、使用次数/人数等信息展示名称、标签、数据主题、技术/业务负责人、数据更新时间、字段及描述、使用次数/人数等信息顺丰数据治理实践:数据安全顺丰数据治理实践:数据安全-数据分类分级管理规范制定与落标数据分类分级管理规范制定与落标2.1 2.1 个人数据个人数据1.1.分级定义分级定义分级、标识:分
15、级、标识:信息安全依据隐私保护策略开展2.2 2.2 业务数据业务数据分级、标识:分级、标识:数据Owner依据数据影响程度开展基本基本级别级别数据级别数据级别影响对象影响对象影响程度影响程度传达范围管理要求传达范围管理要求一般企业公开(C1)个人个人组织组织无危害可公开至企业外部的数据企业内部(C2)轻微危害员工全员可见或组织内部(职能/部门)可公开的数据企业机密(C3)一般危害员工按实际业务需要,经数据Owner授权后可访问的数据企业绝密(C4)严重危害仅限数据Owner明确范围的人员可接触,访问、共享、外发需经数据owner授权,范围变更流程需经信安评估重要C5国家安全、公共利益轻微危害
16、C6一般危害核心C7国家安全、公共利益严重危害安全级别 个人数据分级举例C4敏感个人数据个人身份信息、个人联系信息、个人位置信息C3商业联系个人数据企业客户联系人/关系人/法人职务、联系邮箱一般个人数据个人基础信息(姓名、生日、性别)、教育信息C2C1影响领域影响领域二级影响内容二级影响内容数据泄露、篡改、受到破坏影响程度评级标准数据泄露、篡改、受到破坏影响程度评级标准无无轻微轻微一般一般严重严重财务影响财务影响数据泄露后产生的经济损失数据泄露后产生的经济损失C1C2C3C4竞争对手获取数据后产生的价值竞争对手获取数据后产生的价值营运影响营运影响非正常营运中断天数非正常营运中断天数业务系统中断
17、业务系统中断核心员工流失率核心员工流失率声誉影响声誉影响群体性事件群体性事件贪污腐败贪污腐败舆情舆情升级降级因素考虑:升级降级因素考虑:1、聚合性考虑 大量数据聚合宜升级2、时效性考虑 敏感时期内数据宜升级;历史数据可考虑降1级处理3、脱敏性考虑 经有效脱敏后的数据,可降1-2级,但适情况处理目录目录12一、顺丰数据治理总体介绍1.体系建设演进路线2.顺丰数据治理框架3.数据治理各领域能力介绍二、顺丰数据治理实践分享二、顺丰数据治理实践分享1.1.数据治理工作的关键要素数据治理工作的关键要素2.2.顺丰主数据治理实践分享顺丰主数据治理实践分享|数据治理工作开展及推进的关键要素(公开信息研究提炼
18、)数据治理工作开展及推进的关键要素(公开信息研究提炼)13四大成四大成功要素功要素高层领导的支持高层领导的支持1 1运营组织(业务运营组织(业务+技术)技术)保障常态化治理保障常态化治理2 2考核与激励双结合考核与激励双结合3 3长短结合,分阶段实施长短结合,分阶段实施4 4 高层对数据治理工作持续关切各部门领导直接的共识对业务流程利益相关方的参与建立用数据说话的上海品茶业务和数据人员之间保持持续沟通各项治理任务保证主动变更和同步建立用数据说话的上海品茶完善考核体系,运营融入业务考核之中,量化考核指标坚持数据化思维,提供指导培训注:以上信息来自于美的、华为、阿里、腾讯数据治理专家访谈,并参考注
19、:以上信息来自于美的、华为、阿里、腾讯数据治理专家访谈,并参考华为数据治理之道华为数据治理之道,DAMADAMA数据管理知识体系指南数据管理知识体系指南等文献资料。等文献资料。高管高度重视数据治理,全力支持明确的愿景和计划统一的标准和科学的管理方法美的美的华为华为阿里巴巴阿里巴巴腾讯腾讯数据治理工作开展及推进的关键要素:组织领导机制数据治理工作开展及推进的关键要素:组织领导机制14“谁产生数据、谁为数据的谁产生数据、谁为数据的质量负责质量负责”“一把手工程一把手工程”数据确权数据确权业务业务&科技协同科技协同 数据确权:明确数据的责任数据确权:明确数据的责任主体主体 数据治理与企业战略绑定数据
20、治理与企业战略绑定 良好的沟通渠道与运作机制良好的沟通渠道与运作机制 高层领导的支持与深度参与高层领导的支持与深度参与 业务制定数据标准,业务方业务制定数据标准,业务方负责具体的业务定义、属性负责具体的业务定义、属性标准、取值等标准、取值等 科技方负责落地业务制定的科技方负责落地业务制定的数据标准,并提供标准管理数据标准,并提供标准管理及落地考核机制及落地考核机制 自上而下,从主题域自上而下,从主题域-业务对业务对象象-属性划分各条线所负责的属性划分各条线所负责的数据内容数据内容|数据治理工作开展及推进的关键要素:治理的方式与切入点数据治理工作开展及推进的关键要素:治理的方式与切入点15自下而
21、上,解决实际数据治理问题驱动自下而上,解决实际数据治理问题驱动自上而下,统筹规划数据治理体系建设自上而下,统筹规划数据治理体系建设业务使用数据时的质量问题数据无标准数据不准确数据治理领域协同数据标准管理元数据管理数据服务管理数据安全管理数据不完整问题处理问题录入与跟进问题分析问题处理问题解决闭环主数据管理数据问题驱动的数据问题驱动的治理动作治理动作数据重复数据不及时规划咨询规划咨询持续改进持续改进产品产品数据治理规划规范制度组织流程数据中台主数据管理平台数据质量管理平台数据治理相关试点项目实施数据治理工具实施实施实施高效主数据服务提供及优化场景各BU数据质量持续提升场景支撑实现支撑实现定目标定
22、方案定办法定制化开发定标准/制度定方向顺丰主数据治理分享:主数据治理关键顺丰主数据治理分享:主数据治理关键4 4步骤步骤1.1.识别主数据识别主数据&明明确主数据的确主数据的OwnerOwner业务数据业务数据OwnerOwner(各业务部门)(各业务部门)主数据的业务责任方:负责数据的定义、分类、保护、使用以及授权;组织相关业务部门、科技部门制定、修订主数据的标准与管理流程;收集主数据的业务需求和痛点,并推动解决。业务科技业务科技OwnerOwner(各业务科技研(各业务科技研发中心)发中心)参与制定、修订主数据的标准与流程;负责主数据业务系统的建设,包括系统架构设计、系统功能开发、主数据标
23、准的实施等;解决业务系统中的主数据质量问题,例如数据空值、数据重复等。2.2.数据标准制定数据标准制定3.3.确定可信业务源系统确定可信业务源系统4.4.数据质量监控与提升数据质量监控与提升梳理各类主数据的属性梳理各类主数据的属性 客户主数据,梳理属性XXX个,纳入标准管理XX个;员工主数据,梳理属性XX个,初步确定纳入标准管理XX个;组织主数据,梳理属性XX个,纳入标准管理XX个。制定主数据属性标准制定主数据属性标准 客户主数据中的企业类型:国有企业、私营企业、联营企业、外商投资企业等;员工主数据中的员工类别:正式、试用;组织主数据中的组织定位:经营型组织、战略型组织、服务型组织、其它等。确
24、定可信的主数据管理业务确定可信的主数据管理业务系统并落地属性标准系统并落地属性标准 客户主数据:业务系统是CDM;合同主数据:业务系统是CMDM;供应商主数据:业务系统是SRM。业务源系统业务源系统 落地标准:已制定的属性标准编码、取值配置表的更新;信息录入管控:必填项的前端录入页面的强管控;数据服务提供:数据更新、标准变更后及时通知下游。中台中台-数据质量管理平台数据质量管理平台 根据制定的属性标准配置质量监控基线;异常数据及时预警并触发问题处理工单;出具数据质量健康度评估报告。16顺丰主数据治理分享:主数据的识别视角顺丰主数据治理分享:主数据的识别视角17从业务视角、管控视角和技术视角业务
25、视角、管控视角和技术视角三个视角分析,穷尽和识别出公司所使用的主数据技术视角技术视角 管控视角管控视角业务视角业务视角WhatWhatHowHowWhoWho给客户提供什么产品/服务客户是谁供应商是谁有哪些合作伙伴有什么物料有什么资产如何提供产品/服务I Information nformation F Frame rame W Workork参与方协议条件产品位置分类经营方针事件资源产品参与方资源其它分类人的人的管控管控财的财的管控管控物的物的管控管控 有哪些组织 有哪些人员 有哪些合作伙伴 有哪些成本中心 有哪些会计科目 有哪些价格组 提供哪些产品 需要哪些物料 需要哪些设备和资产顺丰物流
26、领域业务价值链顺丰物流领域业务价值链辅助辅助活动活动基本基本活动活动收件分拣运输派件售后服务整体活动:组织机构、财务、法律事务、市场营销、企业、上海品茶人力资源管理:招聘与培训、绩效管理、薪酬制度等IT管理:管理创新、快递业务开发、信息化建设等采购管理:物资采购、招投标管理、存储管理等利润利润顺丰商业服务价值链顺丰商业服务价值链辅助活辅助活动动基本活基本活动动商品开发和计划采购及供应链管理分销配送与仓储门店及渠道运营营销和客户管理整体活动:组织机构、财务、法律事务、市场营销、企业、上海品茶人力资源管理:招聘与培训、绩效管理、薪酬制度等IT管理:管理创新、快递业务开发、信息化建设等采购管理:物资
27、采购、招投标管理、存储管理等利润利润顺丰其它业务价值链顺丰其它业务价值链顺丰主数据治理分享:主数据的管理范围顺丰主数据治理分享:主数据的管理范围18其它类主数据其它类主数据业务类主数据业务类主数据管理类主数据管理类主数据伙伴类主数据伙伴类主数据主数据识别主数据识别七大特性、三个视角按照顺丰主数据分类框架对现有的主数据进行梳理与识别客户供应商员工利润中心成本中心会计科目银行账户固定资产公司账套组织:包括公司法人/非法人、部门、区域、网点等及其组织架构关系包装材料BOM原辅料产品/服务运力商品地址个人客户企业客户.统购供应商非统购供应商.项目系统软件资产:从资产主数据中单独抽出管理用户:包括内部用
28、户和外部用户顺丰主数据治理分享:各类主数据顺丰主数据治理分享:各类主数据OwnerOwner及职责分工及职责分工19主数据分类主数据分类业务数据业务数据OwnerOwner业务科技业务科技OwnerOwner员工.组织.供应商.物料.网点.B端客户.地址.用户.产品.主数据治理分工主数据治理分工各方职责各方职责业务数据业务数据OwnerOwner(各业务部门等)(各业务部门等)主数据的业务责任方:负责数据的定义、分类、保护、使用以及授权;组织相关业务部门、科技部门制定、修订主数据的标准与管理流程;收集主数据的业务需求和痛点,并推动解决。业务科技业务科技OwnerOwner(各条线业务科技研发中
29、心)(各条线业务科技研发中心)参与制定、修订主数据的标准与流程;负责主数据业务系统的建设,包括系统架构设计、系统功能开发、主数据标准的实施等;解决业务系统中的主数据质量问题,例如数据空值、数据重复等。平台方(大数据平台研发中心)平台方(大数据平台研发中心)参与制定、修订主数据的标准与流程;负责主数据业务系统的建设,包括系统架构设计、系统功能开发、主数据标准的实施等;解决业务系统中的主数据质量问题,例如数据空值、数据重复等。顺丰主数据治理分享:主数据的管控模式设计顺丰主数据治理分享:主数据的管控模式设计20数据合并(整合模式)注册发布(注册模式)共同控制(共存模式)集中管理(交易模式)创建分发注
30、册/整合 MDM平台IT系统给分析系统给应用系统 MDM 注册MDM 整合分析型MDM运营型MDMMDM类型MDM平台部署策略主要特点主要用途 采用事后更新机制,不能保证时效性 主数据仍然分散维护为报表、分析提供完整的参考数据 数据标准需要从源系统进行规范和改进提升 通过MDM平台可以减轻业务系统的负载 各个IT系统的数据存在差异化的需求 各个IT系统的数据存在共性标准,有协同价值 实现主数据集中创建和维护,数据的权威性有保障以实时服务形式支持各类业务活动1 12 2顺丰主数据治理分享:主数据的管理成熟度评估顺丰主数据治理分享:主数据的管理成熟度评估21依据主数据管理成熟度评估模型MD3M(M
31、aster Data Management Maturity Model),从数据标准、数据质量、数据安全、数据流向以及数据确权(管理组织)等5个关键领域的工作进行主数据的管理成熟度打分,进行各业务领域的主数据管理排名及晾晒。数据标准管理数据标准管理主数据标准制定主数据标准制定主数据标准管理主数据标准管理主数据标准查询主数据标准查询主数据标准引用主数据标准引用数据质量管理数据质量管理数据质量规则配置数据质量规则配置数据质量评估数据质量评估业务影响分析业务影响分析数据质量改进数据质量改进数据安全数据安全数据安全分级数据安全分级数据隐私保护数据隐私保护数据流向数据流向数据流向管理数据流向管理数据确权数据确权业务数据业务数据OwnerOwner业务科技业务科技OwnerOwner主数据消费方主数据消费方平台方平台方主数据管理矩阵主数据管理矩阵非常感谢您的观看|