1、CONTENT 01企业数据治理的现状与问题02华矩科技数据治理平台构想0304华矩数据治理应用场景04关于华矩华矩数据治理核心技术企业拥有的巨量数据都是一个沉睡的金矿数据的价值则如冰山，您所知道的只是显露的一角大数据的冰山与金山数据变资产的过程交易运营数据客户数据地址数据用户画像场景分析精准数据关联数据人工智能 凭证 追索 决策 流量经济 粉丝经济 点击收费 精准营销 跨界销售 按效果付费 反哺产品设计 事实 完整 正确 内部数据 海量存储 海量处理 流量导流 数据颗粒度分解 数据结构化处理 内部数据 数据分析 数据质量 快精准 企业间数据 预测 算法 大数据处理能力 内部与外部数据数据1.

2、0数据2.0数据3.0对的数据不代表真相错的数据一定不能反映真相大数据时代，正确的，高质量的数据能让你无限接近真相数据与真相的关系大环境对数据治理提出了更高的要求中国银行业金融机构数据治理指引（征求意见稿）欧盟通用数据保护条例(GDPR)美国2018年加州消费者隐私法案(CCPA)联邦2018年7月18日联邦贸易委员会(FTC)发布了在众议院能源和贸易小组委员会的作证文本。根据证词，消费者隐私和数据安全将继续成为FTC的执法优先事项。目前数据应用项目非常多，但真正取得预期效果的项目少之又少，而且开发过程困难重重，其中的一个重要原因就是数据质量问题导致许多预期需求无法实现。如果没有数据治理，再多

3、的业务和技术投入都是徒劳的，因为很经典的一句话：Garbage in Garbage out。数据治理是保证数据质量的必需手段，从全球范围来看，加强数据治理提升数据质量已成为企业提升管理能力的重要任务。全球的大数据发展都对数据治理提出了更高的要求数据治理成企业当前大数据发展的核心策略“数据治理正迅速发展成一种企业核心策略！”如今，企业对于全面数据治理的需求从未如此强烈。监管机构希望企业能更加清晰地了解数据，对它进行有效的管控；企业管理层希望理清数据资产，降低数据应用的复杂性，对企业进行更高效的管理；企业每名员工都认识到数据的重要性，更多地采用数据驱动的方式来开展工作。传统数据治理的弊端管理范围

4、窄业务难结合缺乏应用场景技术不完善 只关注数据本身“传统的数据治理的主要问题是关注于数据本身，而没有首先关注业务价值，数据只有创造业务价值对于企业而言才有意义。”数据架构师业务分析师IT经理数据管家项目执行者“业务部门常常抱怨我们的信息架构不能满足业务需求。”“我们常常需要花费数十天来寻找所需的数据。”“我们规定的数据规则常常跟业务部门理解的不一致，”“因为缺乏有效沟通，项目常常超出预算。”“是否存在数据风险？我能否审计信息来源？”企业各部门面临困境技术维度数据工具链复杂数据质量难提升敏感数据易泄露业务维度数据难使用数据难查找数据难共享管理维度 缺乏服务化 未整合数据需求 缺乏合理解决方案当下

5、企业的数据治理普遍难以满足数字化时代要求Metadata management 元数据管理Master data management 主数据管理Data quality 数据质量Data profiling 数据剖析Data analysis 数据分析Data integration 数据集成Data glossary 数据术语Database management system 数据库管理系统Reporting 数据报告可视化Other 其他72%62%58%55%41%39%38%23%20%3%注：权威数据管理研究机构TDWI对数百家国际企业的调研结果。红色标注部分是华矩数据治理解决方

6、案所覆盖的范围数据治理关键技术重要性华矩科技数据治理平台通过建立企业级的数据治理体系，将分散、多样化的数据规则化、标准化，通过元数据管理、数据质量探查、清洗到数据集成及监控等手段进行数据管控，形成完善的数据治理体系，持续运行，提升、挖掘数据的应用价值。华矩数据治理平台数据治理引擎数据剖析数据业务规则库数据质量诊断数据优化数据质量监管E元数据管理元数据管理数据存储数据存储A数据数据ETLB数据标签交换与共享L数据可视化分析KIECD数据质量管理数据质量管理FH数据集成数据集成J华矩数据治理技术服务可见的数据问题可疑的数据问题易受控制的风险易处理的业务规则清晰的期望值业务用户参与程度高不易受控制的

7、风险难以知晓的业务规则低于预期的期望值业务用户参与程度低数据治理核心：数据质量管理了解数据数据本质设计信息业务信息了解数据业务规则数据标准数据标准何为反映真相的优质数据数据质量技术指标非重复记录一致性完整性相关性有效性及时性所需的数据都同时存在吗？是否存在多个记录表现同一个实体的现象？当需要数据时是否可以及时拿到？所有系统的数据都是一致的吗？有没有数据重复？所有数据值都在对应的字段里吗？不同数据源之间的数据存在关联吗？数据质量管理数据探查数据标准化修改及验证地址最优记录建议数据整合数据元素化数据匹配数据剖析：全面洞悉您的数据通过剖析企业特定数据集，挖掘元数据以获取统计信息，从而帮助企业全面了解

8、数据，并确定这些数据可用性的过程。帮您认识企业数据：数据内容及背景分析数据结构及路径分析数据成分及业务规则合规分析数据间关系及相关资源匹配识别数据转化机制建立数据有效性及准确性规则校验数据间依赖性功能业务用户界面自动化监测进程源系统或快照监控多角色协作环境 改善(清洗及标准化数据）与主数据标准比较逆向工程创建元数据图形显示模式分析数据依赖分析Soundex分析Metaphone分析关键完整性分析物理键分析关联分析 字段类型最大/最小记录长度 数据格式空记录数高级剖析价值层次 占位符格式范围 频率基本剖析SQL脚本和手工编码的剖析数据质量管理技术概述AttributeRowEntityProje

9、ctABREBRProcessData StructureBusiness Rule&ProcessEBR=Entity Business RuleABR=Attribute Business Rule数据质量管理技术概述字段行记录库实体数据质量项目字段及字段间规则数据库及表间架构规则业务处理规则数据结构业务规则&处理流程数据质量管理技术概述出生年月身份证号码订单记录客户属性记录订单数据库客户数据库目标客户画像项目生日与身份证字段间规则订单记录与客户基本属性表间关系快销品精准营销目标客户数据结构业务规则&处理流程数据治理基础：元数据管理数据源头在哪里?数据应用是什么?数据质量如何?数据要流去哪

10、里?数据会发生什么变化?什么文档会使用它?反向血缘分析前向血缘分析元数据管理常见应用场景 管理层 销售和市场部 风控和合规部 信息化部 定位业务到技术的体现(比如敏感词所在位置及上下文的关联关系)圈定范围（应用代码、DB、数仓、外部数据等）影响度分析评估 传统的技术变更管理 DEVOPS迭代需求定位评估调整 技术主导业务主导行业合规 银行卡位数升级 业务流程一致性 数据的合规使用(如PII,GDPR等)关键数据库系统升级 对报告中数据的来源的质疑 外部数据合规 数据质量的提升 数据资产目录及安全等级 传统系统转型(如系统降级)与数据相关的公关危机元数据管理工具-ASG EDI商业智能化集团 2

11、018 年度最佳企业奖2018 数据治理最佳解决方案2018 知识管理方面 100 家最有作为的企业 2018连续11届获奖者2018 Gartner 元数据解决方案魔力象限领导者史蒂夫奖2018国际商业奖本年度最佳创先技术公司商业智能化集团 2018 云计算集成商 Stratus 奖得主ASG EDI产品功能连接业务和技术术语标准全面的核心元数据库易于访问超过220个技术接口全景数据链条视图可视化数据流转元数据产品优势 支持完整的数据血缘获取功能,至少应支持如下技术才能实现:-主流BI-主流数仓及大数据-主流数据库-主流ETL-主流数据流动技术,如源代码/脚本语言/DB存储进程/排程工具/数

12、据同步/拷贝工具 数据血缘分析（支持ETL、库表、多维分析、指标、业务报表，在单一窗口内建立数据流动统一视图）支持在数据流动图的任意数据点位进行前后和后向的数据血缘追溯 影响分析,支持在各个层面进行影响度分析,完整理解数据表更的影响 对于关键的DB-ETL-DW过程,需要首先实现数据/转换过程的互查询追溯过程 支持业务元数据与技术元数据通过自动和手动建立关联(如指标对应字段)支持用户订阅元数据及转换过程。当该元数据发/过程发生变更时可以通过多种方式通知用户，并提供变更影响报告 数据流动图需要能够展示数据质量结果，用于数据质量问题溯源 系统需要具有良好的开放性，数据血缘查询及结果可直接嵌入到客户

13、现有服务管理portal系统中数据源数据血缘与数据标准结合元数据管理与数据质量无缝结合开放性华矩数据治理方案应用场景精准营销优化医保-疾病编码匹配SAP-BOM一物多码清洗ECIF客户数据管理金融报告数据管理GDPR合规自助服务商业智能优化客户投诉率居高不下，亟需提升客户满意度及通过客户关怀、客户精准画像提升二次销售。一物多码、一码多物、无效编码、错误编码等现象。阻碍SAP正常运营由于潜在客户数据来源渠道多，经常出现地址不全、重复申请等问题，使得数据信息混乱、数据有效性低，浪费营销成本实际诊断的病种数据与国际ICD-10的标准数据不匹配，导致医保理赔等相关工作无法推行企业数据不合规将面临高额的

14、罚款，但自身难以有效彻查数据典型的客户数据管理过程Interact相互影响客户数据管理过程 分析诊断清洗整合改进 识别错误、重复信息 识别跨多个源数据的链接 识别改进机会 定义增加机会 评估成本与价值 不断改正错误，删除重复值 不断地创建与维护独特的客户数据链接ID 通过不断添加优质的数据为客户提供更全面的视野 不断提供准确数据、综合客户数据以改善分析能力并实现双赢源系统外部数据信用公共记录市场销售服务账单海运提取获取客户的变动信息OrdersMovesPaymentsAcquisitionsServicesMarriagesBankruptciesDeathsOffersDivorcesTe

15、rminationsBirthsPromotionsCrimeClaimsRetirementsGradsCollections订单搬家支付兼并服务结婚破产死亡出价离婚结束出售升职犯罪索赔退休毕业收集CUSTOMERCUSTOMERCONTACTINFOCONTACTINFOACCOUNTSACCOUNTSCAMPAIGNSCAMPAIGNSMODELSCORESMODELSCORESCONTACTHISTORYCONTACTHISTORYAPPLICATIONINFOAPPLICATIONINFOAPPENDEDDEMOGRAPHICDATAAPPENDEDDEMOGRAPHICDATAPR

16、ODUCTSPRODUCTSCARPARBehaviorValueContextetcBehaviorValueContextetcCUSTOMERCUSTOMERCONTACTINFOCONTACTINFOACCOUNTSACCOUNTSCAMPAIGNSCAMPAIGNSMODELSCORESMODELSCORESCONTACTHISTORYCONTACTHISTORYAPPLICATIONINFOAPPLICATIONINFOAPPENDEDDEMOGRAPHICAPPENDEDDEMOGRAPHICPRODUCTSPRODUCTSCUSTOMER客户CONTACTINFO联系方式ACC

17、OUNTS账号CAMPAIGNS活动MODELSCORES模型的分数CONTACTHISTORY联系历史APPLICATIONINFO应用信息APPENDEDDEMOGRAPHIC附加数据PRODUCTS产品CARPAR行为价值环境etc行为价值环境etc以客户为中心的数据模型客户分析纪录ABCDE 客户360度画像设计 数据源选择 元数据管理 主数据管理 ODS/data mark 建设 ETL 数据剖析 建立业务规则 数据质量诊断 建立客户统一视图 自动化处理的调试和部署 建模 数据分析 结果输出 应用 反馈客户数据管理过程中的常见问题Interact相互影响客户数据管理过程 分析诊断清洗

18、整合改进 识别错误、重复信息 识别跨多个源数据的链接 识别改进机会 定义增加机会 评估成本与价值 不断改正错误，删除重复值 不断地创建与维护独特的客户数据链接ID 通过不断添加优质的数据为客户提供更全面的视野 不断提供准确数据、综合客户数据以改善分析能力并实现双赢源系统外部数据信用公共记录市场销售服务账单海运提取获取客户的变动信息OrdersMovesPaymentsAcquisitionsServicesMarriagesBankruptciesDeathsOffersDivorcesTerminationsBirthsPromotionsCrimeClaimsRetirementsGrad

19、sCollections订单搬家支付兼并服务结婚破产死亡出价离婚结束出售升职犯罪索赔退休毕业收集CUSTOMERCUSTOMERCONTACTINFOCONTACTINFOACCOUNTSACCOUNTSCAMPAIGNSCAMPAIGNSMODELSCORESMODELSCORESCONTACTHISTORYCONTACTHISTORYAPPLICATIONINFOAPPLICATIONINFOAPPENDEDDEMOGRAPHICDATAAPPENDEDDEMOGRAPHICDATAPRODUCTSPRODUCTSCARPARBehaviorValueContextetcBehaviorV

20、alueContextetcCUSTOMERCUSTOMERCONTACTINFOCONTACTINFOACCOUNTSACCOUNTSCAMPAIGNSCAMPAIGNSMODELSCORESMODELSCORESCONTACTHISTORYCONTACTHISTORYAPPLICATIONINFOAPPLICATIONINFOAPPENDEDDEMOGRAPHICAPPENDEDDEMOGRAPHICPRODUCTSPRODUCTSCUSTOMER客户CONTACTINFO联系方式ACCOUNTS账号CAMPAIGNS活动MODELSCORES模型的分数CONTACTHISTORY联系历史

21、APPLICATIONINFO应用信息APPENDEDDEMOGRAPHIC附加数据PRODUCTS产品CARPAR行为价值环境etc行为价值环境etc以客户为中心的数据模型客户分析纪录ABCDE 各家客户数据纬度有限，无法靠自家数据形成丰满的360度客户画像 历史及异构数据原因，直接导致元数据管、主数据管理困难。数据质量差 ETL不堪重负 无法发现核心处理规则 IT与业务人员无法有效互动 工作量巨大无法胜任 无法形成精准的统一视图”半吊子“工程 没有高质量数据输出，无法调试建立更优模型 分析报告误差率高，但无法判断是数据质量问题还是模型问题 应用 反馈客户数据管理挑战的应对策略Interac

22、t相互影响客户数据管理过程 分析诊断清洗整合改进 识别错误、重复信息 识别跨多个源数据的链接 识别改进机会 定义增加机会 评估成本与价值 不断改正错误，删除重复值 不断地创建与维护独特的客户数据链接ID 通过不断添加优质的数据为客户提供更全面的视野 不断提供准确数据、综合客户数据以改善分析能力并实现双赢源系统外部数据信用公共记录市场销售服务账单海运提取获取客户的变动信息OrdersMovesPaymentsAcquisitionsServicesMarriagesBankruptciesDeathsOffersDivorcesTerminationsBirthsPromotionsCrimeC

23、laimsRetirementsGradsCollections订单搬家支付兼并服务结婚破产死亡出价离婚结束出售升职犯罪索赔退休毕业收集CUSTOMERCUSTOMERCONTACTINFOCONTACTINFOACCOUNTSACCOUNTSCAMPAIGNSCAMPAIGNSMODELSCORESMODELSCORESCONTACTHISTORYCONTACTHISTORYAPPLICATIONINFOAPPLICATIONINFOAPPENDEDDEMOGRAPHICDATAAPPENDEDDEMOGRAPHICDATAPRODUCTSPRODUCTSCARPARBehaviorValu

24、eContextetcBehaviorValueContextetcCUSTOMERCUSTOMERCONTACTINFOCONTACTINFOACCOUNTSACCOUNTSCAMPAIGNSCAMPAIGNSMODELSCORESMODELSCORESCONTACTHISTORYCONTACTHISTORYAPPLICATIONINFOAPPLICATIONINFOAPPENDEDDEMOGRAPHICAPPENDEDDEMOGRAPHICPRODUCTSPRODUCTSCUSTOMER客户CONTACTINFO联系方式ACCOUNTS账号CAMPAIGNS活动MODELSCORES模型的

25、分数CONTACTHISTORY联系历史APPLICATIONINFO应用信息APPENDEDDEMOGRAPHIC附加数据PRODUCTS产品CARPAR行为价值环境etc行为价值环境etc以客户为中心的数据模型客户分析纪录ABCDE华矩科技数享汇 华矩科技-数据集成 ASG元数据管理 华矩科技数据扩张存储 华矩科技平台智能监控 华矩科技数据质量管理 华矩科技智能报表管理系统 应用 反馈华矩智慧金融风控模型异构数据历史数据跨界数据第三方数据第三方数据第三方数据数据标签共享平台数据诊所数据优化数据质量管理风控算法结果输出A结果输出B结果输出C校验反馈华矩智慧金融风控模型异构数据历史数据跨界数据

26、第三方数据第三方数据第三方数据数据标签共享平台数据诊所数据优化数据质量管理风控算法结果输出A结果输出B结果输出C校验反馈 大数据 多维度 跨界 标签丰满度 快速实时数据整合 样本精准 数据质量高 控放自如的样本选择 可持续优化 校验及判断算法优化方向（样本采集数据质量算法）快速验证反馈 算法自学习及调整 自动调节华矩智慧金融风控模型决定大数据风控效果的几个元素标签丰满度数据处理/反馈/调整效率数据质量数据量 数据采集时间 大数据处理速度（如ETL）风控算法速度 反馈系统运行速度L华矩科技简介 广州市华矩商业信息科技有限公司成立于2003年，是国内领先的数据软件基础平台与数据服务解决方案提供商，

27、公司拥有多项软件自主著作权及自主研发软件产品，是Syncsort、ASG、Stratus、IR等国际领先厂商的商业合作伙伴及服务提供商。华矩公司作为首批入选广州市工业和信息化委员会大数据及人工智能专家团成员，致力于数据软件产品研发、软硬件产品销售与服务。华矩公司客户遍及制造业、能源、金融、医疗、零售、交通、政府机构各领域，拥有国家电网、中广核、华星光电、创维集团、广电运通、迈瑞医疗、香港中行、贵州银行、vivo、Tenda等行业客户大型数据项目服务经验。华矩公司总部设在广州，在香港、北京、上海、深圳等地设有分支机构，为各行业用户及合作伙伴提供专业的数据产品和技术服务。华矩数据治理产品数据ETL与集成平台数据质量管理平台元数据管理平台数据采集系统数据质量剖析与评估平台SAAS数据质量管理平台HJ-DQMHJ-MetaDMSHJ-DClinicHJ-DQPHJ-DASHJ-ETL