《6-4 百信银行数据治理实践.pdf》由会员分享,可在线阅读,更多相关《6-4 百信银行数据治理实践.pdf(24页珍藏版)》请在三个皮匠报告上搜索。
1、数据治理实践任增涛 百信银行 数据治理架构师01数据治理概览03数据治理组织架构04数据治理落地目录 CONTENT02数据治理痛点01数据治理概览负责保监会要求各保险机构落实数据报送职责,建立数据报送和质量管理责任机制,加强数据源头管理银保监会 首次将数据治理与监管评级挂钩,标志着数据治理在我国银行业全 面实践时代的到来人民银行 规划指出要加强金融科技审慎,建立健全监管基本规则体系,增 强金融监管的专业性、统一性和 穿透性 监管首次针对数据治理开出罚单,中小银行因数据治理问题被监管开 出罚单,意味着金融机构数据治理 越来越受到监管的重视银保监会 要求各金融机构开展为期一年监 管数据质量专项治
2、理工作,开展 自评自查,并向监管机构提交自 查报告 8家银行合计遭罚1770万元,本 次处罚可以视为指引 中要求 的 “不满足要求的金融机构可依 法采取监管措施及实施行政处罚”的实际执行银保监会 指出部分保险公司在数据报送中存 在数据报送不及时、不完整、不准 确,数据整改不积极、效率低等问 题,要求各保险机构及时整改,完 善数据报送监控和数据质量检查机银保监会 要求21家全国性银行明确牵头部门,完成管理及运用情况调研,并做好数 据准备银保监会 规范要求各人身保险公司于2021年 1月15日前按要求完成2017-2020 年全量标准化监管数据报送,并对 报送数据一致性、真实性、及时性银保监会 要
3、求各金融机构应当加强数据治理,完成检查分析系统所需数据整理、报送等工作,保证相关数据的全面、真实、准确、规范和及时 银行业金融机构应当建立组织架构健全、职责 边界清晰的数据治理架构银行业金融机构应当制定全面科学有效的数据 管理制度、确立数据质量管理目标并建立质量 控制机制、建立数据质量监控体系和数据质量 考核评价体系、建立数据治理问责机制、建立 数据治理自我评估机制、建立数据质量整改制 度 02数据治理痛点范围大数据治理涉及数据范围广,主要包括业务主题基础数据、指标数据、特征数据、标签数据领域广涉及含数据标准、数据质量、数据安全、主数据、数据生命周期、数据资产等领域部门多需全行各部门协同配合,
4、各管理部门、各业务部门及各科技部门 2020毕马威企业咨询 (中国)有限公司 中国外商独资企业,是与瑞士实体 毕马威国际合作组织(“毕马威国际”)相关联的独立成员所网络中的成员。版权所有,不得转载。中国印刷。24数据标准落地难由于业务系统的频繁变动和新系统的上线,如果要在流程中进行人工审批,需要大量的人力物力,往往处于疲于奔命的状态数据质量整改难推动数据质量问题整改经常被诟病是否有价值,尤其是在解决业务主题基础数据质量问题过程中尤为突出数据安全管控难数据安全经常受到强势业务部门的挑战,通常以影响业绩为由对管理部门施压,造成安全原则难坚守组 织、流 程、制 度推 动、落 地、工 具组织,流程制度
5、、管理、绩效考核方案非常健全组织不能推动、流程制度不能落地、工具不健全03数据治理组织架构数据管理执行层是集 团数据管理日常工作 的执行机构,由全体 成员共同组成。负责 参与、配合数据管理 的管理工作,根据管 理要求,制定数据标 准、数据管理等内容,评审数据管理结果,执行数据管理要求。数据需求数据质量推动本业务条线的数据管理 相关工作数据架构依据数据管理整体目标制定 业务标准归类汇总问题并发送相关执 行部门进行数据管理发现数据管理问题数据标准完善涉及数据管理的业务需 求确定数据问题的原因数据管理归口管理部门数据管理委员会董事会业务部门违反数据安全法或监管制度,管理部门受到强势业务部门的挑战,通
6、常需要有更高层组织进行审议数据安全01数据标准前置管控以牺牲开发效率为代价,需要向更高层组织讲请价值,获取管理力度。数据标准03数据质量推动业务系统数据质量问题整改,难以体现价值,业务和科技部门配合度低,需借助强需求向上争取管理力度0204数据治理落地一、基础数据标准二、指标数据标准1.如何制定适合企业发展的数据标准?2.数据标准检查工作量大,如果确保落地?3.动辄几十万字段,有没有必要全部按照标准执行?1.指标是否有必要全部管理?2.是否有必要对数据仓库进行管理?3.如何确保指标质量?数据标准企业业务数据特性行业规范名称编码类型枚举值是否个人金融信息等级金融信息等级是否加密质量规则是否行级其
7、他发现符合标准项的字段分类模型服务特征模型服务基于自然语言的治理引擎表一字段数据标准项cust_id客户名称idnumber身份证号bankcard银行卡号表二字段数据标准项customer_id客户名称id_number身份证号card银行卡号数据标准项发现涉及标准项字段打通字段和标准项的关系业务系统建表SQL提交AI模型判断元数据涉及的标准项对标准项进行逐一校验通过方可上线生成问题跟踪单拒绝不能上线基于生成数据进行模型训练在实际业务场景中,经常出现同一指标口径不一致,在实际业务场景中,经常出现同一指标口径不一致,同一指标内容不一致同一指标内容不一致、指标产出延迟、指标准确性指标产出延迟、指
8、标准确性差等一系列问题,造成管理者、运营分析人员对指差等一系列问题,造成管理者、运营分析人员对指标可信度质疑。标可信度质疑。每张报表的每个指标保存在不同结果表中,即同每张报表的每个指标保存在不同结果表中,即同一指标为满足不同场景,需要开发多次,浪费开一指标为满足不同场景,需要开发多次,浪费开发资源的同时,也增大了管理难度。发资源的同时,也增大了管理难度。指标开发周期往往不能满足业务需要,如在报表指标开发周期往往不能满足业务需要,如在报表中增加一个指标或维度,往往需要完成一个完整中增加一个指标或维度,往往需要完成一个完整的需求开发流程,很难支持企业快速决策的需求开发流程,很难支持企业快速决策指标
9、往往分布于数据仓库、数据集市、报表平台指标往往分布于数据仓库、数据集市、报表平台等多个系统中,很难保证同一指标在多个系统等多个系统中,很难保证同一指标在多个系统中的一致和准确中的一致和准确 指标平台集成了【指标管理】、【维度管理】、【模型管理】、【OLAP分析】、【固化报表】等功能对数仓中的表进行建模管理,依托模型进行【指标】、【维度】创建,统一口径和名称,将多元的表存储和设计抽象为模块化的字段管理,通过对字段级别的管理和加工,赋能上层应用用户自由拖拽【指标】、【维度】即可完成即席查询1.新需求:加工新指标即可2.更改指标:同步更新模型中所有对应字段无论是加工效率亦或是维护成本均大幅度提升,应用层的报表、看板、归因分析、移动端数据口径绝对统一,保障用户数据的一致性指标平台推动机制问题分析责任到人质量监测绩效考核质量提升成立专项工作小组,跟踪相关问题整改归口管理部门对问题进行分析整理确认相关问题牵头部门,责任到人,归口管理部门强配合提供数据质量问题监测手段制定绩效考核方案数据质量体系,产生价值定期服务发现自动识别新增数据库自动识别新增表、字段增量数据运营存量数据运营定期DB扫描自动识别数据量动态变化自动识别表、字段动态变化情况数据存储3级以上数据必须加密不应留存4级以上 数据访问红线管控敏感数据管控表权限管控字段权限管控敏感数据权限管控 数据共享非常感谢您的观看