《亚马逊云科技&软通动力:制造业数据治理白皮书(2022版)(42页).pdf》由会员分享,可在线阅读,更多相关《亚马逊云科技&软通动力:制造业数据治理白皮书(2022版)(42页).pdf(42页珍藏版)》请在三个皮匠报告上搜索。
1、关于软通动力软通动力信息技术(集团)股份有限公司(以下简称“软通动力”)是中国领先的软件与信息技术服务商,致力于成为具有全球影响力的数字技术服务领导企业,企业数字化转型可信赖合作伙伴。2005 年,公司成立于北京,坚持扎根中国,服务全球市场。目前,在全球 40 余个城市设有近百个分支机构和超过 20 个全球交付中心,员工 90000 余人。秉承用数字技术提升客户价值的使命,软通动力长期提供软件与数字技术服务和数字化运营服务,其中软件与数字技术服务包括咨询与解决方案、数字技术服务和通用技术服务;凭借深厚的行业积累,公司在 10 余个重要行业服务超过 1000 家国内外客户,其中超过 200 家客
2、户为世界 500 强或中国 500 强企业。关于亚马逊云科技亚马逊云科技(Amazon Web Services)是全球云计算的开创者和引领者,超过 15 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务,涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体,以及应用开发、部署与管理等方面;基础设施遍及 26 个地理区域的 84 个可用区,并计划新建 8 个区域和 24 个可用区。全球数百万客户,从初创公司、中小企业,到大型
3、企业和政府机构都信赖亚马逊云科技,通过亚马逊云科技的服务强化其基础设施,提高敏捷性,降低成本,加快创新,提升竞争力,实现业务成长和成功。1制造业数据治理白皮书本白皮书由软通动力信息技术(集团)股份有限公司和 Amazon Web Services,Inc.或其关联方(“亚马逊云科技”)共同撰写,双方就各自撰写的内容分别、独立享有相关知识产权。其中软通动力负责第一章、第二章和第三章 1、3 部分,单独享有该部分的知识产权;其余部分由软通动力和亚马逊云科技共同研讨撰写,共同享有该部分的知识产权。关于软通动力部分的声明:本白皮书中所含内容乃一般性信息,任何软通动力信息技术(集团)股份有限公司、其全球
4、成员所网络或它们的关联机构并不因此构成提供任何专业建议或服务。在作出任何可能影响您的财务或业务的决策或采取任何相关行动前,您应咨询合格的专业顾问。我们并未对本白皮书所含信息的准确性或完整性作出任何(明示或暗示)陈述、保证或承诺。软通动力信息技术(集团)股份有限公司、其成员所、关联机构、员工或代理方均不对任何方因使用本通讯而直接或间接导致的任何损失或损害承担责任。软通动力信息技术(集团)股份有限公司及其每一家成员所和它们的关联机构均为具有独立法律地位的法律实体,相互之间不因第三方而承担任何责任或约束对方。软通动力信息技术(集团)股份有限公司及其每一家成员所和它们的关联机构仅对自身行为及遗漏承担责
5、任,而对相互的行为及遗漏不承担任何法律责任。软通动力信息技术(集团)股份有限公司并不向客户提供服务。请参阅 https:/ DataGo 和亚马逊云科技原生架构的数据治理平台助力制造业企业数据治理、制造业关键场景专项数据治理和软通动力与亚马逊云科技助力其他行业的数据治理的案例。软通动力与亚马逊云科技在封面页所示日期的有关服务产品及实践,该等信息可能变化且我们不会另行通知。客户对于本部分的信息以及软通动力及亚马逊云科技的产品或服务应自己做出独立的判断,该等内容都是“依现状”提供,不包含任何明示或者暗示的保证。本部分内容并没有创设来自软通动力、亚马逊云科技或其各自的关联方、提供方或许可方的任何保证
6、、陈述、合同性承诺、条件或者担保。本部分内容不是软通动力、亚马逊云科技和其各自的客户之间任何协议的组成部分,也不构成对任何协议的修改。2声明声明声明制造业是国民经济的主体,是立国之本、兴国之器、强国之基。伴随科学技术的发展,在云计算、人工智能、机器学习、区块链、物联网等新兴技术的推动下,正全面改变着制造业企业的生产制造与运输方式,推进制造业企业数字化转型和数据治理将会为制造业企业创造巨大价值。而这一切的核心关键是制造业企业数据治理框架的形成、数据治理平台的建设和企业数据资产的管理。数据资产作为人类最新最有活力的资产形式将成为企业最核心竞争力的来源。时下,制造业企业如何形成企业数据治理框架、搭建
7、数据治理平台和实现数据资产管理已成为制造业企业当下共同面临的巨大难题。虽受经济形势影响,制造企业发展放慢了步伐,但数字化转型和推行数据治理已成为制造企业发展的必然趋势。不少著名大型制造业企业已注意到这一点并已经着手开始数字化转型和推进企业数据治理,这无疑是一个明智和有规划的决定。对于制造业企业的数字化转型和数据治理的推进是制造业实现智能制造的必经之路,制造业企业实现数字化转型和推进数据治理应充分理解国家和各级政府部门出于对国家发展、国家安全、社会稳定和公众利益的考虑而构建的法律体系和指导办法,积极响应政策要求,推进制造业企业早日实现数字化转型和完成企业数据治理。本白皮书旨在为制造业企业数字化转
8、型和数据治理提供建议,解读相应的法律法规,分析面临的问题和挑战,并提出应对策略以建立相应管理体系和构建数据治理平台,助力制造业企业数字化转型和数据治理。3前言前言前言制造业数据治理白皮书一、制造业发展背景及趋势1.经济增速下行形势下制造业艰难转型2.国家对数字化转型战略的政策导向3.国内制造业复苏势头强劲4.新晋生产要素数据治理助力制造业转型升级二、制造业面临数据问题和挑战1.数据多源异构让数据集成共享存在壁垒2.数据质量难以满足企业需要、可信度低3.企业数据文化建设薄弱、数据驱动意识缺位4.让数据可视、可控、可用及可信是当务之急三、制造类企业平台级数据治理建议1.国家层面的数据治理导向2.平
9、台化的集中式数据治理3.推进数据进行资产化管理和应用四、制造业关键场景专项治理1.在企业统一数字底座上的制造业供应链控制塔项目建设2.大数据和人工智能引领下的计划协同五、数据治理案例1.高科技行业数据治理案例2.装备制造业数据治理案例3.医疗行业数据治理案例4.零售及快消品行业数据治理案例前言03050507397314目录目录前言前言目录前言中国制造业体量领跑全球。对于中国而言,制造业称得上是“立国之本”。中国经济能够在短短几十年时间内实现腾飞,坐上世界第二大经济体的位置,制造业可以说是功不可没。现如今,中国制造的商品出口到世
10、界各地,更是得到了“世界工厂”的称号。改革开放四十年以来,中国制造业有了显著的发展,无论制造业总量还是制造业技术水平都有很大的提高。据工信部统计,中国工业拥有41个大类、207个中类、666个小类,是全世界唯一拥有联合国产业分类中所列全部工业门类的国家。在 500 种主要工业产品中,有40%以上产品的产量居世界第一。光伏、新能源汽车、家电、智能手机、消费级无人机等重点产业跻身世界前列,通信设备、工程机械、高铁等一大批高端品牌走向世界。中国制造业正努力摆脱“大而不强”的困境。比如管理方面上我国只有少数大型企业局部采用了计算机辅助管理,多数小型企业仍处于经验管理阶段;设计方面上我国采用 CAD/C
11、AM 技术的比例较低;自动化技术方面上我国尚处在单机自动化,刚性自动化阶段,柔性制造单元和系统仅在少数企业使用。中国制造业在劳动生产率、产品质量表 1-1 2019 年各国制造强国发展指数和利润率等方面都处于较低水平。据2019中国制造强国发展指数报告显示,2018年中国制造业劳动生产率 28974.93 美元/人,仅为美国 19.3%、日本 30.2%和德国27.8%;在产品质量上,美国制造的产品平均合格率为 99.99932%,而中国的合格率为 98.76%;中国企业平均利润尚未达到全球平均水平,总利润与平均利润分别相当于美国的 60和 56,且中美高端制造业的投资资本回报率(ROIC)近
12、乎为 1:2。2021 年 12 月份,规模以上工业增加值同比增长 4.3%,环比增长 0.42%。制造业采购经理指数为 50.3%,比上月上升 0.2 个百分点。2021 年,全国工业产能利用率为77.5%,比上年提高 3.0 个百分点,欧美国家基本可达到 80%90%。机械制造业从产品研发、技术装备和加工能力等方面都取得了很大的进步,但具有独立自主知识产权的品牌产品却不多。与工业发达国家相比,仍然存在一个阶段性的整体上的差距。据2019 中国制造强国发展指数报告显示,2019 年世界各国制造强国发展指数情况如表 1-1 2019 年各国制造强国发展指数所示:一、制造业发展背景及趋势阵列第一
13、阵列第二阵列第三阵列第四阵列国家美国德国日本中国韩国法国英国印度巴西指数值168.71125.65117.16110.8473.9570.0763.0343.5028.691.经济增速下行形势下制造业艰难转型5制造业数据治理白皮书表 1-2 制造强国评价指标体系数据来源:2019 中国制造强国发展指数报告数据来源:2019 中国制造强国发展指数报告据2019 中国制造强国发展指数报告显示,2019 年中国制造强国评价指标体系如表 1-2 制造强国评价指标体系所示:一级指标二级指标指标权重权重排名具体指标权重权重排名规模发展0.1954制造业增加值0.12871制造业出口占全球出口总额比重0.0
14、6649质量效益0.29311质量指数0.043111一国制造业拥有世界知名品牌数0.09932制造业增加值率0.035613制造业全员劳动生产率0.08993销售利润率0.025214结构优化0.28052高技术产品贸易竞争优势指数0.06897基础产业增加值占全球比重0.08354全球 500 强中本国制造业企业营业收入占比0.06868装备制造业增加值占制造业增加值比重0.051010标志性产业的产业集中度0.008518持续发展0.23133单位制造业增加值的全球发明专利授权量0.08215制造业研发投入强度0.039712制造业研发人员占从业人员比重0.013215单位制造业增加值能
15、耗0.07486工业固体废物综合利用率0.011616信息化发展指数(IDI 指数)0.0099176国家重点推动企业数字化转型和数据。国家发布十四五规划,以工业互联网为基点,强调工业互联网建设是新一代信息技术和实体经济深度融合。2019 年以来中国数字经济行业最新政策汇总一览表如下图 1-3 中国数字经济行业最新政策汇总一览表所示:2.国家对数字化转型战略的政策导向中国数字经济产业新政策汇总一览表发布时间政策名称主要内容2022 年 1 月“十四五”数字经济发展规划提出,建设高速泛在、天地一体、云网融合、智能敏捷、绿色低碳、安全可控的智能化综合性数字信息基础说施。有序推进骨干网扩容,协同推进
16、千兆光纤络和 5G 网络础设施建设,推动 5G 商用署和规模应用,前瞻布局第六代移动通(6G)网络技术储备,加大 6G 技术研发支持力度,积极参与推进 6G 国际标准化工作。到 2025 年,数字经济核心产业加值占国内生产总值比重达 10%,数据要素市场体系初步建立,产业数字化转型迈上新台阶,数字产业化水平显提升,数字化公共服务更加普惠均等,数字经济理体系更加完善。2021 年 11 月“十四五”大数据产业发展规划提出,“十四五“时期,大数据产业发展要以推动高质量发展为主题,以供给侧结构性改革为主线,以释放数据要素价值为导向,围绕夯实产业发展基础,着力推动数据资源高质量、技术新高水平、基础设施
17、高效能,围绕构建高效产业链,着力提升产业供给能力和行业赋能效应,统筹发展和安全,培育自主可控和开放合作的产业生态,打造数字经济发展新优势。到 2025 年,我国大产业测算规模突破 3 万亿元,创新力强、附加值高、自主可控的现代化大数据产业体系基本形成。2021 年 10 月物联新型基础建设三年行动计划(2021-2023 年)明确到 2023 年底,在国内主要城市初步建成物联新型基础设施,物联连接数突破 20 亿,为物联,数字化产业蓬勃兴起和全面发展赋能。7制造业数据治理白皮书中国数字经济产业新政策汇总一览表2021 年 9 月中共中央国务院关于完整准全面贯彻新发展理念做好碳达峰中和工作的意见
18、2030 年前碳达峰行动方案“碳达峰”、“碳中和”的“1+N”政策体系的顶层设计出炉,为实现碳达峰碳中和的目标壁画了行动路线图,进一步推动行业、企业共同建设工业互联网,往数智制造方向转变。2021 年 5 月常见类型移动联网应用程序必要个人信息范围规定规定明确了 39 种常见类型 App 的必要个人信息范围,其中13 类 App 无须个人信息,即可使用基本功能服务。2021 年 3 月中华人民共和国国民经济和社会发展第十四个五年规划和 2035 年远景目标纲要迎接数字时代,激活数据要素潜能推进网络强国建设,加快建设数字经济、数字社会、数字政府,以数字化转型整体驱动生产方式、生活方式和治理方式变
19、革。充分发挥海量数据和丰富应用场景优势,促进数字技术和实体经济深度融合,赋能传统产业转型升级,催生新产业新业态新模式,壮大经济发展引擎。2021 年 1 月工业互联网创新发展行动计划(2021-2023年)指出,2021-2023 年是我国工业互联网的快速成长时期,并提出工业互联网创新发展目标,其中包括新型基础设施进一步完善、融合应用成效进一步彰显、技术创新能力进一步提升、产业发展生态进一步健全和安全保障能力进一步增强。着力解决工业互联网发展中的深层次难点、痛点问题,推动产业数字化,带动数字产业化。2020 年 7 月关于支持新业态新模式发发展,激活消费市场带动扩大就业的意见培育产业平台化发展
20、生态、加快传统企业数字化转型步伐,打造跨越物理边界的“虚拟”产业园和产业集群,发展基于新技术的“无人经济”。2020 年 4 月关于构建更加完的要素市场化配置体制机制的意见培育数字经济新产业、新业态和新模式,支持构建农业、工业、交通、教育、安防城市管理、公共资源交易等领域规范化数据开发利用的场景。2020 年 4 月关于推进”上云用数赋智“行动大力培育数字经济新业态,深入推进企业数字化转型,打造数据供应链,以数据流引领物资流人才流、技术流、资金流,形成产业链上下游和跨行业融合的数字化生态体系,构建设备数字化-生产线数字化-车间数字化-工厂数字化-企业数字化-产业链数字化-数字化生态的典型范式。
21、主要方向为筑基础,夯实数字化转型技术支撑,搭平台,构建多层联动的产业互联网平台,促转型,加快企业”上云用数赋智“,建生态,建立跨界融合的数字化生态,兴业态,拓展经济发展新空间,强服务,加大数字化转型支撑保障。8中国数字经济产业新政策汇总一览表2020 年 3 月工业和信息化部办公厅关于推动工业互联网加快发展的通知在加快新型基础设施建设方面,提出改造工业互联网内外网络,增强完善工业互联网标识体系、提升工业互联网平台核心能力、建设工业互联网大数据中心,加快工业互联网发展步伐。2020 年 3 月中小企业数字化赋能专项行动方案发展数字经济新模式新业态,扶持疫情控期间涌现的在线办公、在线教育、远程医疗
22、、无人配送、新零售等新模式新业态加快发展,培育壮大共享制造、个性化定制等服务型制造新业态,深挖工业数据价值,探索企业制造能力交易、工业知识交易等新模式,鼓励发展算法产业和数据产业,培育一批中小学数字化服务商,打造开源 App 开发者社区和中小企业开放开平台,搭建中小企业资源库和需求池,发展众包、众创、云共享、云租赁等模式。在中国际中小企业国际博览会,中国(四川)中小微企业云服务大会、中国数字经济高端峰会等会议期间,举办中小企业数字化赋能高端论坛,促进理论研究与实践交流。2019 年 10 月国家数字经济创新发展试验区实施方案各试验区要坚持新发展理念,坚持推动高质量发展,坚持以深化供给侧结构性改
23、革为主线,结合各自优势和结构转型特点,在数字经济流通机制、新型生产关系、要素资源配置、产业集聚发展模式等方面开展大胆探索,充分释放新动能。2019 年 9 月禁止垄断协议暂行规定禁止用滥用市场支配地位行为暂行规定制止滥用行政权力排除、限制竞争行为暂行规定在技术细节上,一是明确了市场份额认定的指标范围,二是规了认定具市场支配地位的特殊考虑因素三是规定了以低于成品价格销售商品的特殊情形,对涉及互联网等新型经济业态中的免费模式,应当综合考虑经营者提供的免费商品以及相关收费商品等情况。2019 年 8 月关于促进平台经济规范健康发展的指导意见首次从国家层面发展平台经济做出的全方位部署,提出要依法查处互
24、联网领域滥用市场支配地位限制交易、不正当竞争等违法行为,重点强调严禁平台单边签订排他性服务提供合同,针对互联网领域价格违法行为特点制定监管措施等要求。信息来源:中商情报网()9表 1-3 中国数字经济行业最新政策汇总一览表制造业数据治理白皮书近年国内制造业复苏势头迅猛,制造企业纷纷谋求转型升级。根据国家统计局发布的数据显示,2020 年 12 月份,中国制造业采购经理指数(PMI)、非制造业商务活动指数和综合 PMI 产出指数分别为 51.9%、55.7%和 55.1%,均继续位于年内较高运行水平,连续 10 个月保持在荣枯线以上。2021 年我国制造业增加值在 GDP 中所占的比重达到了 2
25、7.4,相比于 2020 年时的数据,提升了 1.22。在我国庞大的制造业产值和 GDP 总量下,1.22的进步可谓十分可观,这也是自 2011 年以来,我国的制造业增加值在 GDP 中所占的比重第一次出现上升的情况。根据数据显示,去年我国的先进制造业(包括 5G 通信设备制造、医药制造、医疗设备制造等等)增加值的增速达到了惊人的 18.2,这也是我国制造业升级转型处于高速发展阶段的直接证明。全球经济环境的恶化让中国制造业企业意识到,长期处于产业链中下游,如“三来一补”等劳动密集型、低附加值的企业发展策略愈发难以为继。因此,国内掀起一波更加汹涌的制造业转型升级的变革浪潮!3.国内制造业复苏势头
26、强劲大数据技术日渐成熟推动制造业升级。2021 年通过的“中华人民共和国国民经济和社会发展第十四个五年规划和 2035 年远景目标纲要”(以下简称“十四五”规划)对于大数据的发展作出了重要部署。历经多年发展,大数据从一个新兴的技术产业,正在成为融入经济社会发展各领域的要素、资源、动力、观念。特别是我国提出“加快培育数据要素市场”后,大数据的发展迎来了全新的阶段。2021 年以来,全球各国大数据战略持续推进,聚焦数据价值释放,而国内围绕数据要素的各个方面正在加速布局和创新发展。政策方面,我国大数据战略进一步深化,激活数据要素潜能、加快数据要素市场化建设成为核心议题;法律方面,从基本法律、行业行政
27、法规到地方立法,我国数据法律体系架构初步搭建完成;技术方面,大数据技术体系以提升效率、赋能业务、加强安全、促进流通为目标加速向各领域扩散,已形成支撑数据要素发展的整套工具体系;管理方面,数据资产管理实践加速落地,并正在从提升数据资产质量向数据资产价值运营加速升级;流通方面,数据流通的基础制度与市场规则仍在起步探索阶段,但各界力量正在从新模式、新技术、新规则等多角度加速探索变革思路;安全方面,随着监管力度和企业意识的强化,数据安全治理初见成效,数据安全的体系化建设逐步提升。基于制造业现状及业内数据治理咨询趋势,预测制造业将会发生三大变革:一是工业互联网建设加速,打造中国特色的“互联网+制造”的政
28、、企、客、银、税及公共环境等万物互联的新业态。制造业数字化、智能化转型加速,越来越多制造企业认识到“机器”,特别是“智能机器”的重要性,会更加主动地应用工业互联网进行智能化和数字化变革,必将推动中国先进制造业等相关战略和任务的进一步落实。二是智能制造成为制造业企业追求的共同目标。部分医疗器械企业、服装企业、石化企业、汽车制造企业,甚至富士康等代工企业,根据特殊时期市场需要,转产防护服、口罩等医疗防护产品,充分体现了其柔性生产经营满足市场应急需求的灵活性和快速响应性等优势,也为其他制造企业起到示范作用。未来,制造企业生产经营将更加柔性。三是全球经济环境变化,让部分制造10企业更关注强大的内需市场
29、。全球经济环境变化,外需减少将会持续较长一段时间,而我国经济市场逐步恢复,复工复产全面推进,市场活力和潜力将被逐步激活,促使部分制造企业将外需市场转向内需市场。数据作为新型生产要素,是数字经济深化发展的核心引擎。2020 年 04 月 10 日,中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见(简称 意见)正式公布。意见分类提出了土地、劳动力、资本、技术、数据五个要素领域改革的方向,明确了完善要素市场化配置的具体举措。数据作为一种新型生产要素被写入文件,意见强调要加快培育数据要素市场,推进政府数据开放共享,提升社会数据资源价值,加强数据资源整合和安全保护。日前,国务院印发“十四五”
30、数字经济发展规划(以下简称规划),作出了“十四五时期”我国数字经济发展的重点部署的指导,充分发挥数据要素作用,成为规划重点任务之一。规划要求强化高质量数据要素供给,加快数据要素市场化流通,创新数据要素开发利用机制。数据治理是充分发挥企业数据价值的必经之路,是助力制造业转型升级的有力保障。数据作为生产要素,作为资产的重要性,而数据价值却因上述种种原因常常难以充分发挥,但依托数据治理手段,能解决释放数据价值过程中面临的诸多问题,以体系化的方式实现数据的可得、可用、好用,用较小的数据成本获得较大的数据收益,具体体现在以下六个方面:(一)掌握数据现状。数据治理对数据家当进行全面盘点,形成数据地图,为业
31、务应用和数据获取夯实基础。数据地图作为数据的全盘映射,帮助数据开发者和数据使用者了4.新晋生产要素数据治理助力制造业转型升级解数据,成为对数据资产管理进行有效监控的手段。(二)提升数据质量。数据治理通过建立一套切实可行的数据质量监控体系,设计数据质量稽核规则,加强从数据源头控制数据质量,形成覆盖数据全生命周期的数据质量管理,实现数据向优质资产的转变。(三)实现互联互通。数据治理通过制定统一的数据标准,建立数据共享制度,完善数据登记、数据申请、数据审批、数据传输、数据使用等数据共享相关流程规范,打破数据孤岛,实现数据高效共享。(四)提高获取效率。数据治理将大量前期的数据准备时间和交付项目的时间缩
32、短,提升数据的获取和服务效率,让数据随时快速有效就绪,缩短数据分析人员的数据准备时间,加快数据价值的释放过程。(五)保障安全合规。数据治理通过制定完善的数据安全策略、建立体系化的数据安全措施、执行数据安全审计,全方位进行安全管控,确保数据获取和使用合法合规,为数据价值的充分挖掘提供了安全可靠的环境。(六)持续释放价值。数据治理通过一个持续和动态的全生命周期管理过程,以持续释放数据价值为理念来实现数据资源管理工作。管理方面,建立一套符合数据驱动的组织管理制度流程和价值评估体系。技术方面,建设现代化数据平台,确保持续、健康地为数据资产管理提供服务。11制造业数据治理白皮书异构信息源导致制造企业形成
33、巨大而复杂的异构信息环境。由于历史原因或其它原因,大部分制造业企业已拥有多种业务系统,这些系统和数据已成为企业运转和发展不可缺少的组成部分,但这些数据库大都是被独立创建和管理的,在信息系统方面,企业内部各部门往往各自独立,彼此的信息和组织也不尽相同,以至于计算环境和信息系统平台都不一样,因此每个部门都可视为一个异构的信息源。这些异构信息源使得整个企业构成了异构信息的集成。大量异构数据制约制造业企业数据的传输和共享。随着制造业企业数字化的建设,制造业企业出现并收集存储了许多新的数据形式(文本、音频、图像、视频数据等),这些大量存在的异构数据,被分布保存在不同的存储环境或数据库中仅服务建设初期自身
34、的独立系统,制约了企业各部门间的数据传输和共享。传统的关系数据库之间的数据信息的交换采用文本文件作为中间媒介,但文本只能实现单张关系表间的简单信息交互。在信息系统中,需要交互的信息量是庞大而复杂的,这种简单的文本信息交换显然力不从心。如何将不同的数据库应用系统纳入到一个系统下,实现用户在各系统间的数据信息交换、共享和集成,就必须利用一种具有通用性、操作性良好的数据交换技术,使信息系统具有异构相容、集成现有信息的特点。因此如何将原有的各类成熟的数据库系统不加修饰的纳入到新的数据集成系统中,实现多个异构数据库间信息的共享和互操作已成为企业迫切需要解决的问题。制造业企业数据资产管理能力不足。调查显示
35、工业、制造业、能源行业、医疗行业、教育行业等传统行业仍处于初级阶段,数据资产管理的意识和动力不足,数据资产管理的资源投入仍集中于大数据平台建设,尚未组建相对专业化的数据资产管理团队,尝试性对核心业务开展数据标准化工作。根据数据管理能力成熟度评估模型标准(DCMM)评估结果显示,以上行业评估结果集中于第 2 级。金融行业、互联网行业、通信行业、零售行业等较早享受到了“数据红利”,持续推进业务线上化,数据资产管理重要性随之提升,逐步发展数据资产管理部门,加大技术创新与应用,开展数据分析和数据服务。DCMM 评估结果显示,以上行业评估结果集中于第 3 级或以上。传统的数据整合思路是建立组织的数据中心
36、,将数据从各个系统抽取过来进行集中,再统一提供数据服务。随着大数据与人工智能技术的应用普及,海量多源异构数据急剧增加,特别是非结构化数据的增加,传统大数据平台在面临多源异构数据处理时,面临数据采集处理能力不足、数据结构难以统一,数据运维困难等挑战,为洞察数据的价值带来了层层阻碍。因此,传统大数据中心已经无法适应现在的组织数据整合要求,需要考虑一种新的整合方式,基于服务的逻辑数据整合,而不是基于数据集中的物理整合。二、制造业面临数据问题和挑战1.数据多源异构让数据集成共享存在壁垒 12制造业产业链条长,多业态并存,形成“数据孤岛”,数据质量难以保证。非数字原生企业,特别是大中型的制造企业,往往有
37、着较长的业务链路,从研发到销售全产业链覆盖,在各个工艺流程中沉淀着大量的复杂数据。在信息化时代初期建立了很多相对独立的 IT 系统,典型的的特点是形成了“一类业务、一个 IT 系统、一个数据库”的烟囱式 IT 架构。其直接带来的问题就是“数据孤岛”。IT 系统中的数据语言不统一,不同 IT 系统之间的数据不贯通,同样的数据需要在不同的 IT 系统中重复录入,甚至在不同 IT 系统中的同一个数据不一致等。制造业企业数据战略,数据建设目标不明确,企业数据文化重视度不高。数据作为一种新的生产要素,在企业构筑竞争优势的过程中起着重要作用,企业应将数据作为一种战略资产进行管理。数据从业务中产生,在IT系
38、统中承载,要对数据进行有效治理,需要业务充分参与,IT 系统确保遵从,这是一个非常复杂的系统工程。一个企业想要做大做强,成为世界一流企业需要注重数据文化建设,明确企业数据战略,数据建设目树立正确的企业数据建设工作思路成为保障企业成功实现数据治理的根本。制造行业作为非数字原生企业,数字化转型的关键要素之一是在现实世界的基础上构建一个跨越孤立系统、承载业务的“数字孪生”的数字世界。通过在数字世界汇聚、联接与分析数据,进行描述、诊断和预测,最终指导2.数据质量难以满足企业需要、可信度低3.企业数据文化建设薄弱、数据驱动意识缺位4.让数据可视、可控、可用及可信是当务之急制造业企业数据环境复杂,历史包袱
39、重,缺乏数据认责,数据质量难以保障。非数字原生企业特别是制造业企业普遍有较长的历史,组织架构和人员配置都围绕着线下业务开展,大都经历过信息化过程。很多制造型企业随着不同阶段的发展需求,保留着各个版本的 ERP 软件和各种不同类型的数据库存储环境,导致数据来源多样,独立封装和存储的数据难以集中共享,也不敢随意改造或替换,IT 系统历史包袱沉重。数据没有管理责任人,各系统之间甚至同系统内的数据标准不统一。标,指明企业数据建设的方向。制造业企业没有完整的数据综合治理体系,缺乏数据驱动意识,数据管理责任制。只有构筑一套企业级的数据综合治理体系,才能确保关键数据资产有清晰的业务管理责任,IT 建设有稳定
40、的原则和依据,作业人员有规范的流程和指导;当面临争议时,有裁决机构和升级处理机制;治理过程所需的人才、组织、预算有充足的保障。业务改进。在实现策略上,企业需要构建以云为基础、以数据为驱动的新型 IT 架构。数字世界一方面要充分利用现有 IT 系统的存量数据资产,另一方面要构建一条从现实世界直接感知、采集、汇聚数据到数字世界的通道,不断驱动业务对象、过程与规则的数字化,让企业数据实现可视、可控、可用13制造业数据治理白皮书和可信企业数据建设工作的整体思路如图 2-1 所示:建立完善的企业数据建设框架是企业顺利完成数据治理的必要手段。针对企业数据治理整体思路解读形成企业数据建设工作框架,基于统一的
41、规则与平台,以业务数字化为前提,数据入湖为基础,通过数据主题联接并提供服务,支撑企业业务数字化运营。如下图 2-2 企业数据建设工作框架所示:图 2-1 数据建设工作整体思路现有 IT 系统分析联接汇聚描述诊断预测指导对象数字化过程数字化规则数字化感知采集汇聚业务数据业务结果数据现实世界:业务流图 2-2 企业数据建设工作框架数据消费数据源数据底座主题联接数据湖客户以业务流为中心联接明确数据责任人以业务对象为中心联接发布数据标准报告数据认证数据源智能标签定义数据密级制定数据质量方案注册元数据算法模型合作伙伴员工供应商消费者数据治理报告/自助分析实时可视数据分析平台五种数据中台联接方式物理入湖虚
42、拟入湖风控推演智能决策供应销售交付人力资源财务其他数据数据体系数据分类数据感知数据质量数据安全与隐私企业数据建设工作框架主要包含以下 6 个方面:1)数据源:业务数字化是数据工作的前提,通过业务对象、规则与过程数字化,不断提升数据质量,建立清洁、可靠的数据源。142)数据湖:基于“统筹推动、以用促建”的建设策略,严格按六项标准,通过物理与虚拟两种入湖方式,汇聚企业内部和外部的海量数据,形成清洁、完整、一致的数据湖。3)数据主题联接:通过五种数据联接方式,规划和需求双驱动,建立数据主题联接,并通过服务支撑数据消费。4)数据消费:对准数据消费场景,通过提供统一的数据分析平台,满足自助式数据消费需求
43、。5)数据治理:为保障各业务领域数据工作的有序开展,需建立统一的数据治理能力,如数据体系、数据分类、数据感知、数据质量、安全与隐私等。15制造业数据治理白皮书国家重点推动工业互联网建设和企业数据治理。2020 年 5 月工信部颁发关于工业大数据发展的指导意见,推动工业数据全面采集,加快工业设备互联互通,推动工业数据高质量汇聚,统筹建设国家工业大数据平台,推动工业数据开放共享,激发工业数据市场活力,深化数据应用,完善数据治理。2020 年 9 月国务院国资委办公厅下发关于加快推进国有企业数字化转型工作的通知,要求各国有企业加快集团数据治理体系建设,提出构建数据治理体系,“明确数据归口管理部门,加
44、强数据标准化、元数据和主数据管理工作”,“定期评估数据治理能力成熟度”。同时,“强化业务场景数据建模,深入挖掘数据价值,提升数据洞察能力”,提升数据服务水平。2022 年 4月 19 日,习近平总书记主持召开中央全面深化改革委员会第二十五次会议(以下简称“会议”),审议通过了关于加强数字政府建设的指导意见,强调要全面贯彻网络强国战略,把数字技术广泛应用于政府管理服务,推动政府数字化、智能化运行,为推进国家治理体系和治理能力现代化提供有力支撑。加强数字政府建设的关键在于抓出“数据治理”牛鼻子,综合运用好制度和技术工具,在保障数据安全的前提下,打通各级政府和各部门之间数据共享堵点,破除“数据孤岛”
45、顽疾。如图 3-1 为中央全面深化改革委员会第二十六次会议关于数据治理的重点内容。三、制造类企业平台级数据治理建议1.国家层面的数据治理导向图 3-1 中央全面深化改革委员会第二十六次会议内容根据国家的数据治理导向得出的启示:制造业企业当下应抓住机遇,积极推进企业智能制造和数据治理,实现转型升级。第一,制度与技术双轨并行。加强顶层设计,强化技术支撑,发挥制度与技术的高效融合,在保障数据安全前提下推进数据高效利用,提升数据治理有效性与安全性,推进制造业企业数字化转型和数据治理平台建设。16要把安全贯穿数据治理全过程守住安全底线明确监管红线加强重点领域执法司法把必须管住的坚决管到位要建立数据产权制
46、度推迸公共数据企业数据个人数据分类分级确权授权使用建立数据资源持有权数据加工使用权数据产品经营权等分置的产权运行机制健全数据要素权益保护制度数据基础制度建设事关国家发展和安全大局第二,强化创新引领。制造业转型升级的主要支撑因素是技术创新能力的提高,目前,我国智能制造处于初级发展阶段,须在关键短板装备、基础零部件、工业软件等关键环节和薄弱领域寻求突破,以技术创新支撑制造业向智能制造转型升级。第三,系统总结并复制推广智能制造示范项目经验模式。对智能制造发展规划(2016-2020 年)智能制造工程实施指南(2016-2020 年)进行系统评估,继续推进智能制造示范项目,坚持以应用促发展,进一步推进
47、示范应用,将形成的经验模式向同行业同类型企业复制推广。第四,发挥强大国内市场优势,强化市场拉动作用。打通国内巨大市场需求的恢复和增长链条,为制造业智能化转型和生产率的提高提供更多机会,为新技术、新产品发展创造更多商业化的应用场景。第五,加大政策引导和资金支持力度。进一步鼓励全国产业转型升级示范区出台和落实精准有效的政策举措,保障企业智能制造在人、财、物等要素的需求,推进制造企业进行系统化、智能化、数字化转型。软通动力以为企业数字化转型为重点构建了软通动力数据治理体系。数据作为一种新的生产要素,在企业构筑竞争优势的过程中起着重要作用,企业应将数据作为一种战略资产进行管理。软通动力作为中国领先的软
48、件与信息技术服务商,以用数字技术提2.平台化的集中式数据治理升客户价值为愿景,从为客户战略规划,业务运营,应用系统构建,为客户提供全面的端到端的咨询与实施服务的根本目标出发,并结合软通动力多年来积累的企业数据治理经验,构建了软通动力-数据治理框架。如图 3-2 所示为软通动力-数据治理框架:图 3-2 软通动力-数据治理框架 1 数据战略数据治理领域管理数据架构管理数据资产目录元模型管理质量目标管理安全目标主数据识别管理数据标准业务元数据控制数据质量数据安全策略主数据管理模式管理数据模型技术元数据度量数据质量数据安全分级主数据整合架构管理数据分布操作元数据改进数据问题改进数据问题管理元数据管理
49、主数据管理数据质量管理数据安全2 管理管理组织数据组织3 数据政策数据管理办法实施细则4 IT 支撑数据中台数据分析工具数据治理平台5 运作机制数据 Owner数据管理制度模型设计工具数据管控融入业务变革管理数据管控融入流程运营管理6 17制造业数据治理白皮书图 3-3 数据治理平台建设思路建设一个完美的数据治理平台是企业实现数字化转型和数据治理的必经之路。数据从业务中产生,在 IT 系统中落地,决定了企业数据治理工作必须充分融入到企业的数据治理平台建设中去。如下图 3-3 所示为数据治理平台建设思路:数据治理平台建设的七个关键步骤:(一)平台设计:企业数据治理平台设计要充分考虑企业数据架构,
50、包含但不限于需求分析、总体架构设计、数据规范定义、数据引入和数据指标设计等。在数据治理平台设计过程中还需充分考虑到平台界面设计、数据库设计、数据集成方案设计,向上承接企业数据战略的规划要求,向下要保证字段遵从数据标准的定义,库表和字段的设计满足企业数据架构的设计要求,从而达到数据治理融入到数据治理平台的目标。(二)数据采集:数据采集是企业数据治理平台建设的基础,主要指数据的收集和同步。数据同步包含同构/异构数据库同步、基于Log 的文件同步、实时数据同步、增量/批量数据同步和非结构数据同步等。(三)数据开发:数据开发是数据治理平台发挥作用的重要保障。数据开发主要包括数据分布、数据对比、数据脱敏
51、、数据重构和数据修改等。(四)数据管理:数据管理是数据治理平台发挥作用的有效措施。重要包含数据标准、数据质量、主数据、元数据以及数据的生命周期和数据安全的管理。其中数据标准是在企业范围内确保数据一致的关键,是企业需共同遵守的属性层数据含义及业务规则,是对某个数据的共同理解,这些理解一旦确定,就应作为企业层面的标准在企业内被共同遵守。(五)数据建模:数据建模是从数据的视角对企业的业务对象、业务过程和业务规则的模拟和抽象,根据业务需求抽取信息的主要平台设计数据采集数据开发数据管理数据应用数据建模平台运维物理模型定义表结构逻辑模型数据模型结构设计主外健设计反范式设计概念模型模型设计定义维度报告故障报
52、告月/日/周报安全管理用户权限角色划分数据安全持续改进及优化流程优化技术优化成本优化数据库优化监控管理系统级监控数据链路层监控数据应用企业图谱智能推荐精准营销数据展示数据可视化其他开源/商业报表工具数据质量数据校准需求标准通用数据标准行业数据标准主数据主数据模型主数据管理生命周期数据等级管理生命周期管理元数据维护数据字典业务描述技术定义数据安全加密管理访问权限管理数据开发数据分布数据对比数据脱敏数据重构和修改数据引入总体架构设计业务过程数据域架构选型数据指标设计指标处理设计指标生成方式频率需求分析收集数据来源分析数据质量业务现状评估架构选型数据规范定义数据域维度业务过程原指标规范定义数据同步同
53、构数据库同步异构数据库同步基于 Log 文件同步增量数据同步实时数据同步批量数据同步非结构化数据同步数据开发数据分布数据对比数据脱敏数据重构和修改18特征,反映业务信息之间的联系关系,是建设一套完美的数据治理平台的关键。数据建模主要包括概念模型、逻辑模型和物理模型的设计。(六)数据应用:数据应用是企业数据治理的成果展示,主要包含数据可视化、BI 报表展示、企业图谱、智能推荐和精准营销等。(七)平台运维:平台运维是保证数据治理平台正常运转的有效措施。主要包含监控管理、安全管理、报告和持续改进和优化等。其中持续改进和优化是建设一个完美的企业数据治理平台的必要保障,企业的数据治理平台建设不可能一蹴而
54、就,需要根据企业的发展和业务状况不断改进和修正,最终达到建设完美的企业数据治理平台的目标。数据治理平台需具备的关键功能:(一)数据源:数据同源是数据治理的核心,所以数据治理平台的数据源必须支持主流的数据库接入,开放式数据库连接驱动,保证企业所有系统的数据都可接入,实现对其进一步处理。(二)数据集成:企业的数据集成的价值体现在速度上、促进智能分析和促进管理水平提升等。一个完美的数据治理平台需要具有高效的数据库传输方式,可视化配置等功能。(三)数据开发:用编写代码的方式构建复杂的数据模型和不同类型的代码任务,降低代码开发的成本和门槛,轻松实现数据间的互联互通。(四)数据质量:数据质量的持续提升是数
55、据治理的核心目标。需要数据治理平台具备提升数据质量的能力,保障数据的安全,对数据质量进行实时监控,第一时间感知脏数据,并采用一定措施不断提升企业数据质量。(五)运维监控:数据治理平台需要具备提供各种任务操作与状态、告警等多方位的运维能力,提供图形化任务管理模式,任务依赖图逐级展示等功能。(六)数据地图:数据治理平台需要具备数据资产的元数据信息查看、数据明细信息、分区信息、血缘分析等功能,方便对数据进行检索分析等。(七)数据服务:需要支持数据云处理,支持通过可视化配置的向导模式,快速将关系型数据库生成 API,方便提供各种数据支持。软通动力与亚马逊云科技强强联手,建立了基于软通动力 DataGo
56、 和亚马逊云科技云原生架构的数据治理平台。随着企业数字化转型和数据治理的推进,大数据、云计算等技术的应用和普及,数据处理呈现出新的特征,业务变化快、数据来源多、系统耦合多和应用深度加深等。传统的大数据建设和开发周期已经不能满足业务的需要,需要一个更快的建设周期、更快的开发效率的平台。在这种境况下,软通动力自研 DataGo 平台协同亚马逊云科技共同建立一套数据治理平台。如图 3-4 所示为软通动力 DataGo 协同亚马逊云科技数据治理平台概念示意图:19制造业数据治理白皮书图 3-4 软通动力 DataGo 协同亚马逊云科技数据治理平台概念示意图数据应用数据服务数据接入数据源数据存储计算Am
57、azon RDS关系型数据库Amazon Redshift分析型数据库Amazon ES搜索服务业务系统离线计算实时计算离线产品业务系统关系数据库业务日记及第三数据源实时产品DataGo 研发平台数据分层规范与工具数据管理定制报表定制化数据应用数据输出数据输出数据输入数据输入Amazon EMRAmazon KinesisData AnalyticsAmazon KinesisData FirehoseAmazon KinesisData StreamsOracle.SQL ServerMySQLAmazon MSK数据 APILogtailSLSS3ADS-应用数据层DWS-公共汇总层DWD
58、-明细数据层ODS-操作数据层主题式数据服务元数据管理数据安全管理计算存储管理数据引入 规范建模通用研发 运维调度DataGo图 3-5 DataGo 数据治理平台产品架构图数据应用统一调度资产管理数据服务计算与储蓄平台EMRSparkHadoopHDFSS3.数据源MySQLPostgreSQLDB2HBaseHiveOracleSQLserver.数据集成全量同步增量同步实时同步数据地图BI 报表服务创建数据质量推荐系统API 网关数据血缘数据大屏服务授权跨引擎混合调度上下文参数传递调度流程逻辑控制跨云混合调度数据开发离线计算资源函数实时计算元数据用户画像API 调用数据权限即席查询.数据
59、治理平台DataGo数据安全DATAXDataX20DataGo 数据治理平台:DataGo 数据治理平台是依托软通动力多年的数据中台实施经验,自研的一款数据开发治理平台,为企业提供全生命周期的数据管理工具,助力企业轻松完成数据开发治理工作,降低数据开发和管理成本,提高数据开发效率,规范数据管理方法,提高数据质量。如图 3-5 所示为 DataGo 数据治理平台产品架构图:DataGo 数据治理平台的优势:基于计算源和底层资源,提供工作空间、数据源、数据集成、数据开发、数据质量、运维监控、数据地图、数据服务等。其中最主要的有三点:功能覆盖全面,性价比高;快速部署;轻耦合性。亚马逊云科技数据治理
60、体系:亚马逊云科技数据治理流程是通过获取流程数据,了解企业相关业务的流程、组织及技术能力,并从相关数据状态中获得更多业务洞察;结合业务实例,实时政策动态、架构等变化因素,有针对性地制定数据治理策略,构建以探索驱动定义的数据治理模式。具体如图 3-6 所示为亚马逊云科技数据治理服务示意图:亚马逊云科技的优势:易于使用,通过亚马逊云科技能够轻松地在数据湖与专用数据服务之间移动数据。例如,Amazon Glue 是一项无服务器数据集成服务,它简化了准备数据以进行分析、机器学习和应用程序开发的工作;更快的数据集成,亚马逊云科技能够在不同数据源之间查询数据,例如数据库、数据湖和数据仓库。例如,通过 Am
61、azon Athena 可以使用 SQL 来查询数据湖,而通过联合查询可以从关系数据库查询实时数据;便于移动,利用存储在不同系统中的数据,亚马逊云科技让您能够轻松地在自己的所有服务和数据存储之间移动数据:从内向外、从外向内,以及循环移动。21图 3-6 亚马逊云科技数据治理服务示意图On-premises or CloudGCR or Global RegionAmazonCloudWatchAmazon KinesisData StreamsAmazonGlue ETL jobAmazon Glue ETL jobData Go数据开发平台ORORAmazon Glue DataCatalo
62、gAmazonRDS for HiveMetaSoreFlink On Amazon EMRORORDataX open source数据服务接口API From Amazon EKSAmazon Kinesis Data Analytic Dashboard/appAmazonDynamoDBAmazonLambdaAmazon RedshiftAmazon AthenaAmazonEMR Hive jobAmazonEMR Hive jobAmazon KinesisData FirehoseAmazon RDSFor ODSAmazon S3ProcessedAmazon S3Consu
63、mptionAmazon GluecrawlersAmazonIAMData/filesUsers/analystsKinesisproducer/Flume/DataXreadreAmazon S3Raw dataDATAXSQL解析器Amazon EKSGrafannaDolphin SchedulerApacheRangerNginxServiceGatewayDATA-GO基于软通动力 DataGo 和亚马逊云科技云原生架构的数据治理平台核心优势明显,帮助企业快速实现数据治理上云。软通动力的数据治理服务以自研的数据治理平台 DataGo 为框架,基于亚马逊云科技云原生组件,可全方位满足
64、客户对数据标准、数据开发、数据血缘、数据集成并形成数据服务以及后续数据运维的需求。可以帮助客户实现对重点业务数据采集完备,粒度统一,指标统一,前后贯通,及时同步;灵活满足支持业务需求和分析需求,实现数据驱动业务;全销售渠道数据协助决策,仪表板数据自助分析平台,增强营销效率,帮助实现多场景营销活动等诉求。如图 3-7 为制造业数据治理白皮书图 3-7 DataGo 与亚马逊云科技数据治理平台架构示意图数据综合治理数据资产数据分析数据质量智能监控数据安全数据分享异构数据源管理元数据仓库元数据服务数据转换IOT 端采集智能数据开发智能集成开发环境交互式查询离线开发应用开发机器学习数据服务实时开发统一
65、任务调度跨引擎混合调度上下文参数传递调度流程逻辑控制跨云混合调度元数据采集与构建全域智能大数据平台DataGo统一元数据中心全域数据集成批量同步实时同步增量同步计算存储蓄引擎CDH/HadoopS3HDFSEMR大数据计算平台TrinoKinesis实时计算DBIOT22(一)计算存储引擎。计算存储引擎是存储数据的物理数据库。通过创建数据源的方式,将业务数据引入 DataGo 平台计算源EMR 的 hive 中进行构建数据中台。同时也可以将已构建完成的数据导入数据源。DataGo 基于亚马逊云科技丰富的云服务、提供了丰富的数据库类型接入,包括主流的关系型数据库以及分布式数据库,能将业务系统数据
66、对接到平台中,提供后续建模分析使用,数据源是数据建设的来源或基础。通过与 Amazon RDS 数据库产品以及 Amazon Redshift 产品对接,制造数据治理存储层能够非常好的满足各类不同数据 库 类 型,Amazon Relational Database Service(Amazon RDS)让您能够在云中轻松设置、操作和扩展关系数据库。它在自动执行耗时的管理任务(如硬件预置、数据库设置、修补和备份)的同时,可提供经济实用的可调容量。这使您能够腾出时间专注于应用程序,为它们提供所需的快速性DataGo 与亚马逊云科技数据治理平台架构示意图。能、高可用性、安全性和兼容性。Amazon
67、 RDS 在多种类型的数据库实例(针对内存、性能或 I/O 进行了优化的实例)上均可用,并提供六种常用的数据库引擎供您选择,包括 Amazon Aurora、PostgreSQL、MySQL、MariaDB、Oracle Database 和 SQL Server。借助 Amazon RDS 强大的性能、可靠性、可扩展性以及数据安全性,能够非常好的实现制造业对数据源的需求。Amazon Redshift 是一种完全托管的 PB 级云中数据仓库服务。能够使用 SQL 在数据仓库、运营数据库和数据湖间分析结构化和半结构化数据,从几百 GB 数据,扩展至 1 PB 或更多,支持制造数据治理平台通过运
68、营数据库、数据湖、数据仓库和数千个第三方数据集,对复杂的规模化数据进行实时和预测性分析,获得综合洞察。(二)全域数据集成。数据集成是基 于DataGo 构建的简单高效的数据同步平台,23致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。数据集成采用了 Amazon DMS 技术对繁多异构数据源提供稳定高速的迁移能力。将数据引入,通过数据集成任务,将所需的源数据同步至目标数据库。使用 Amazon Glue 完成对数据流的接收、处理和使用,Amazon Glue 是一项无服务器数据集成服务,它简化了发现、准备和合并数据以进行分析、机器学习和应用程序开发的工作。支撑制
69、造业应用系统中各种数据来源的发现和数据的提取,将之丰富、清理、标准化和合并,以及在数据库、数据仓库和数据湖中加载和组织数据。Datago 与 Amazon Glue 组件紧密结合,借助 Amazon Glue 强大的性能,实现对数据的收集。Amazon Kinesis 可让用户轻松收集、处理和分析实时流数据,以便及时获得见解并对新信息快速做出响应。Amazon Kinesis 提供多种核心功能,可以经济高效地处理任意规模的流数据,同时具有很高的灵活性,与 DataGo 组件集成可以获取 ERP 实时数据,工厂采集数据,供应链上报数据,也可以获取用于机器学习、分析和其他应用程序的 IoT 遥测数
70、据。(三)智能数据开发。数据开发是 DataGo的核心功能,支持数据开发和临时查询。通过编写 SQL 代码的方式构建复杂的数据模型、构建不同类型(周期/手动)的代码任务,点击“运行”对任务进行试跑,并查看任务的运行情况,还可以选中“select”语句,运行查看“结果”,且为任务配置调度周期和任务之间的依赖关系,完成后即可点击提交按钮将任务提交并发布,提交后即刻生成版本记录,方便开发者进行各个代码版本之间的代码对比,至此就便捷的完成 ETL开发流程。任务的周期调度类型支持分,时,日,周,月,年的粒度,最小支持到每 5 分钟的调度,还可为任务设置优先级等操作。此外临时查询是面向业务主题的数据查询,
71、屏蔽了物理模型中技术特性带来的影响,基于逻辑模型从业务视角出发对外提供查询服务。同时,数据开发模块对接了 DataGo的权限管理、运维和用户管理,致力于为您构建便捷、高效的数据开发平台。基于Redshift,Amazon Glue 能够在数据开发层面为 DataGo 提供强大的支撑,实现高效数据开发。(四)数据质量。数据质量是对数据模块构建计算任务过程中的数据和结果数据的正确性进行表级校验和字段级校验的功能,主要功能模块是数据校验和规则模板。数据校验:选择校验方式(表/字段)的目标表,选取规则模板(内置模板和负责模板)配置具体规则,其中内置模板中的表级规则有:表行数,固定值;字段规则有:唯一值
72、个数固定值,空值个数固定值,空值个数/总行数固定值,重复值个数固定值等;规则模板则是自定义通过 SQL 来创建模板规则;校验规则配置完成后可通过调度配置将数据校验任务和调度系统打通,通过调度系统触达数据质量的规则校验。还可设置质量告警功能,第一时间感知异常数据。(五)数据服务。数据服务旨在为企业搭建统一的数据服务总线,帮助企业统一管理对内对外的 API 服务。数据服务支持通过可视化配置的向导模式,快速将关系型数据库和 NoSQL 数据库的表生成 API。您无需具备编码能力,即可快速配置一个 API。API网关提供 API 托管服务,涵盖 API 发布、管理、运维的全生命周期管理。帮助您简单、快
73、速、低成本、低风险地实现微服务聚合、前后端分离、系统集成等功能和数据。数据服务采用 Serverless 架构,您只需要关注 API 本身的查询逻辑,无需关心运行环境等基础设施,数据服务会为您准备好计算资源,并支持弹性扩展,零运维成本。数据服务是基于 DataGo 建设数据中台的最后一步。数据服务作为统一的数据服务出口,制造业数据治理白皮书实现了数据的统一市场化管理,有效地降低数据开放门槛的同时,保障了数据开放的安全。使用 Amazon Opensearch、Amazon Quicksight 服务帮助 DataGo 的产品解决数据服务上的问题,实现快速搜索,整合的能力。(六)数据安全。同一个
74、 DataGo 工作空间可以添加多个用户,为保障数据安全工作空间为用户提供了用户及角色等身份,您可以针对不同用户的工作空间使用需求,授予其相应的功能权限角色。一个组织可以包含多个工作空间,每个工作空间的数据是隔离的。添加进组织的每个用户至少归属于一个工作空间,空间管理员拥有其所在空间的所有工作权限。基于对角色和用户的访问权限控制,对 hive 实现统一的,细粒度的数据访问权限控制,用户角度可以查看对数据有哪些权限,从数据角度,可查看哪种角色有何种权限。基于亚马逊云科技的安全技术架构,可以实现划分部门、产线、车间、仓号等不同自定义的行级别权限管理,用数据架构和业务场景的交互,实现数据全生命周期的
75、安全管理。24数据资产化管理的具体应用:(一)数据模型管理。是指在信息系统设计时,参考逻辑模型,使用标准化用语、单词等数据要素设计数据模型,并在信息系统建设和运行维护过程中,严格按照数据模型管理制度,审核和管理新建和存量的数据模型。(二)数据标准管理。数据标准管理的目标是通过制定和发布由数据利益相关方确认的数据标准,结合制度约束、过程管控、技术工具等手段,推动数据的标准化,进一步提升数据质量。(三)数据质量管理。是指运用相关技术来衡量、提高和确保数据质量的规划、实施与控制等一系列活动。衡量数据质量的指标体系包括完整性、规范性、一致性、准确性、唯一性、及时性等。25良好的数据资产管理是释放企业数
76、据要素价值、推动企业完成数据治理的前提与基础。随着数据的重要性日益显著,数据资产管理成为激发组织数据要素活力、加速数据价值释放的关键。数据资产(Data Asset)是指由组织(政府机构、企事业单位等)合法拥有或控制的数据资源,以电子或其他方式记录,例如文本、图像、语音、视频、网页、数据库、传感信号等结构化或非结构化数据,可进行计量或交易,能直接或间接带来经济效益和社会效益。在组织中,并非所有的数据都构成数据资产,数据资产是能够为组织产生价值的数据资源,数据资产的形成需要对数据资源进行主动管理并形成有效控制。建设企业级数据资产管理架构是企业数据发挥高效价值的有力保障。数据资产管理包含数据资源化
77、、数据资产化两个环节,将原始数据转变为数据资源、数据资产,逐步提高数据的价值密度,为数据要素化奠定基础。数据资产管理包括数据模型管理、数据标准管理、数据质量管理、主数据管理、数据安全管理、元数据管理、数据开发管理等活动职能。如图 3-8 所示为数据资产管理架构图:3.推进数据进行资产化管理和应用数据资产数据资产化数据资源数据资源化原始数据数据资产管理战略管理制度体系组织架构平台工具长效机制保障措施数据价值评估数据质量管理数据模型管理数据流通管理数据标准管理元数据管理数据运营管理主数据管理数据开发管理活动职能数据安全管理图 3-7 DataGo 与亚马逊云科技数据治理平台架构示意图制造业数据治理
78、白皮书(四)主数据管理。主数据管理是一系列规则、应用和技术,用以协调和管理与企业的核心业务实体相关的系统记录数据。(五)数据安全管理。是指在组织数据安全战略的指导下,为确保数据处于有效保护和合法利用的状态,多个部门协作实施的一系列活动集合。包括建立组织数据安全治理团队,制定数据安全相关制度规范,构建数据安全技术体系,建设数据安全人才梯队等。(六)元数据管理。元数据管理是数据资产管理的重要基础,是为获得高质量的、整合的元数据而进行的规划、实施与控制行为。26以生产企业的供应链管理为例,生产和经营从来就不是一个孤立的行为,在生产和管理中已经沉淀了一套数字资产,如何应用好这套数字资产,是需要上下游充
79、分合作互相支撑的过程。很多企业已经意识到,依靠传统的商业模式,在竞争与挤压式增长的市场环境中想要有所建树是非常艰难的。因此,出现了以企业产业基础为轴心形成的后端组合型小平台,以及价值链延展的大平台。所谓小平台,一方面是指链主企业自发的,不再局限于只做生产需求输出方,而是主动提供更多信息,链接上下游企业资源,展开采销协同,产销协同的合作模式,并从中获得效率收益。业务场景:突然的需求变化造成了缺货或货物积压;多级供应商,多级物流商,运输动向复杂;物料短缺造成客户订单延期等等。企业需要为供应链业务的全局管控提供信息集成、业务监测洞察到协同处理的端到端的数智化解决方案,实现供应链价值运营的实时、智能与
80、高效。需求分析:业务方面,供应链管理的核心工作是需求管理,生产管理和供应管理。完善数字化方案,就是让数字作为生产要素,指引企业如何运用数据,去辅助每个环节做正确的决策,让企业以较低成本来获取较大的收益,同时可以提高各级别人员的工作效率。技术方面,缺少高效数据集成,导致在供应链环节的繁多异构数据源不能高效存储;缺少数据接口,不能将数据引入,通过数据集成任务,将所需的源数据同步至目标数据库;目前数据没有上云,导致数据共享不够充分,数据价值低。考虑采用软通动力DataGo 协同亚马逊云科技共同搭建的数据治理平台来实该业务场景的实施,提高制造业企业供应链能效。解决方案:采用平台化的数据治理方案,使用软
81、通动力 DataGo 平台协同亚马逊云科技构建的供应链控制塔平台,使关键业务环节纵向打穿,在全业务流程管理中,建立一个一个相对独立的“透镜”切片,为这一个环节提供可视化、可分析、可协同、可决策的体系内循环优化。目前软通动力已经完成的小平台模块有 7 个功能模块。如图 4-1 所示为控制塔产品全景图:四、制造业关键场景专项治理1.在企业统一数字底座上的制造业供应链控制塔项目建设 27制造业数据治理白皮书图 4-1 控制塔产品全景图ETA 算法供应链监控引擎网络库存动线优化算法运输仿真协同优化算法仓网规划算法根因分析算法生产计划模拟评估及优化生产排程算法产能模拟评估及优化算法管理覆盖采购生产研发物
82、流仓储销售运营系统MESQMSOMSMROERPSRMWMSPDMTMSPLMBMSCRM行业拓展高科技电子制造业特种装备制造业金属轻冶制造业汽车制造业能源制造业快消&零售农村农业业务应用场景供应链业务运营管控 E2E 场景供应网络可视采购订单详情生产计划执行监控生产安全监控全局库存动态可视销售订单详情碳排放详情内部调拨履行监控采购订单供应监控生产订单详情生产健康度评估库存异常监控预警销售订单履约监控碳排放明细及KPI 可视内部调拨订单详情生产过程KPI 分析供应质量评价库存执行 IOT实时监控IOT 实时轨迹监控IOT 实时监控运输工具 IOT实时监控采购订单KPI 分析采购履历单发布与确认
83、生产订单履约监控环境检测评估全局库存KPI 可视销售订单KPI 分析排放源管理内部调拨履行KPI 分析生产安监可视及分析生产质量评价生产空间 IOT实时监控IOT 实时轨迹监控供应网络协同与 KPI 分析库存可视生产可视及分析完美订单可视碳排放管理质量管控内物流全局监控供应链控制可视驶舱KPI监测分析任务协同处理智能算法辅助决策业务中台供应链监控引擎模拟仿真引擎预警规则中心业务数据标准化供应商管理社区算法服务能力可视化能力(可视套件集成)工业物联生态波次机器人机械臀气体检测设备锅炉设施传送带设施手持设备分拣机系统定位系统冲压设施电解槽.AS/RS分拣线RF-RFID语音拣选电子标签系统电子秤门
84、禁系统人行道闸车行道闸温湿度设备监控设备货栈设备28针对于制造业供应链场景给出如下解决方案,如图 4-2 所示为供应链产品解决方案:关键技术供应链物流科技产品与解决方案AI 人工智能机器学习大数据分析云计算智能算法区块链.成本,效率,体验科技供应链平台:供应链控制塔|规划&预测平台数字化流程化供应链规则-产销协同算法平台|需求预测|网络优化|库存优化|运输优化|风险提示供应链计划-全程履约供应链执行-物流监控仓网规划商品规划采购计划销售计划排产计划库存计划入库计划物流采购订单处理配送履约图 4-2 供应链产品解决方案示意图物联网 loT5G自动驾驶机器人自动化智慧园区物流运营.供应链全链供应商
85、工厂 1供应商工厂 2供应商工厂 N供应商仓库 1品牌方工厂 1RDC 仓库 1RDC 仓库 2RDC 仓库 N前置仓1-N配送站1-N经销商1-NB 端客户 1-NC 端客户 1-N门店1-N服务网点 1-N品牌方工厂 2CDC 中心仓供应商仓库 2供应商仓库 N供应效率指标生产效率指标销售效率指标物流体验指标29制造业数据治理白皮书根据制造业供应链场景的解决方案给出供应链控制塔搭建的整体框架,如图 4-3 所示为供应链控制塔搭建整体框架:根据制造业供应链场景的整体框架给出供应链控制塔搭建技术架构,如图 4-4 所示为供应链控制塔搭建技术架构图:图 4-3 供应链控制塔搭建整体框架图 4-4
86、 供应链控制塔搭建技术架构图可视化驾驶舱业务中台数据源公司级可视化监控业务模型供应链监控引擎可视化能力(可视套件集成)SIS 系统MES 系统设备管理系统运输管控系统抬包车运输管理系统安全智慧管理系统企业数据中台视频服务系统数据接入车间级可视化监控算法模型预警规则中心设备级可视化监控事件模型运输车 GPS轨迹跟踪消息模型安全提配与告警管理任务协同公司慨話生产监测环保监测安全监测生产管控实时态势视频监控车间态势生产态势设备态势设备状态视频监控告警定位设备位置导览设备可视化设备基础信息设备实时运行状态车辆定位和状态车辆运行轨迹运单教据看板车辆监控设备告警查看告警统计分析告警与视频监控关联任务协同平
87、台层服务层React数据服务RESTFluAPI检索服务元数据服务计算层传输层存储层HiveSqoopHDFS 分布式存储/Hbase/S3JaveKafkaSparkFLumeFlinkDataXTEZ数据质量平台数据图谱EKSRangerDolphin SchedulerSpring BootSpring CLoud分层管理SPringSecurity30实现的功能:(一)使供应链整个环节的业务对象化、规则化、过程化和数字化,确保数据可控可管。通过梳理分析供应链的业务流程,落实到数字化平台建设中去,包括需求管理、生产管理和供应管理,完成供应链的全链建设,为供应链数据治理做准备。(二)打造实
88、时、准确、灵敏的采销数字平台,实现采销联动。帮助供应商快速熟悉产品,了解客户需求(PO、预测等),并根据供需关系建立合理的生产和库存控制策略,提高供应效率,节约成本。(三)实现供应链的需求管理,生产管理和供应管理三者协同,帮助企业增值。一个成功的采销项目,一定是从供应网络与需求预测匹配开始的。需求管理主要包括产品生命周期管理、订单与预测管理,因为它需要与销售、客户、生产、采购和供应商进行全面协调,这对数据要求是非常敏感的。需求算的再准,没有供应商及时灵活的交付,就没有生产的及时完成率,三者缺一不可,互相增强。运用好此供应链控制塔,也是提高市场反应能力的正确方法,最终帮助企业提高及时交付率和生产
89、灵活性,减少库存损失和资金占压,以销定产,降本增效,把握商机,为企业创造价值。2.大数据和人工智能引领下的计划协同良好的数据治理体系和数据治理平台会帮助让制造企业创造更大的价值,数据治理离不开大数据和人工智能的先进技术。大数据的发展为人工智能提供了海量的训练数据,为机器学习和深度学习的突破提供了重要支撑,而人工智能应用的发展又催生出更多数据资源,促进大数据产业进一步发展。制造业企业实现工业数字化转型离不开大数据与人工智能的引领和有效协同。业务场景:企业战略管理体系没有持续和规范运作,不能绑定战略、业务、资源和部门与个人绩效,从而实现上下对齐、左右协同、前后贯通、战略的延续性差、部分管理层缺乏方
90、向感;缺乏企业架构的顶层设计和管控,流程碎片化、信息孤岛化、应用烟囱化,部门协同不畅、数据共享和利用低敏、应用系统操作复杂;缺乏完善的数据管理体系,无法持续提升各类数据质量和保证数据使用的安全合规,支撑数字化转型差距较大;需求分析:业务方面,缺失完善的指标管理体系,企业管理层无法通过指标准确、实时、全面的了解公司经营状况,及时做出具有数据支撑的科学决策;信息安全策略不清晰,安全组织不完善,技术防护能力偏弱,安全管控未融入流程,保密文化建设缺失;企业目标需要实现“智能制造”、“智慧园区”和“智能运营中心”三大智能化主题建设及协同。技术方面,企业已建设相应领域 IT应用支撑业务运作,但是主航道核心
91、 IT 系统分散建设,大量工作体外进行,现有系统孤岛式存在,数据共享和集成较差;技术架构基本满足目前业务和信息化管理要求,但对未来支撑业务变革的前瞻性不足。解决方案:在理解客户发展战略、商业模式、业务发展态势的基础上,为客户构建数字战略;基于亚马逊云科技云架构相关组件,围绕 3 大智能化主题建设开展 6 大关键设计,包含数据资产化、安全体系化、应用服务化、31制造业数据治理白皮书业务智慧化、服务体验化、人文科技化,帮助企业数据治理快速上云;运用大数据和人工智能协同实现 6 大智能,即智能营销、智能研发、智能生产、智慧园区、智能管理、智能服务;通过大数据和人工智能等技术手段实现“智能制造”、“智
92、慧园区”和“智能运营中心”三大智能化主题建设及协同运作,不断为企业创造价值。具体数据治理方案架构如下图 4-5 企业数据治理顶层架构图所示:根据此场景的顶层架构设计给出其数据治理框架,如图 4-6 所示为大数据与人工智能协同下的制造业企业数据治理框架图:现状诊断智慧工厂蓝图设计IT 架构设计智能制造顶层设计智慧园区顶层设计信息安全设计实施路径设计规划方案建设落地方案设计 业务能力框架梳理(L1-L3)IT 现状调研与诊断,包括信息安 全 智 能 化 程度、智慧园区便捷度等、IT 基础设施现状 详细落地项目路径设计(包括时间周期人力资源、金额、里程碑节点、风险、应对措施等)项目技术规格书评审及建
93、议 根据路标进行实施创新业务能力地图及智能工厂蓝图新一代 IT 架构设计智能制造高阶方案设计智慧园区高阶方案设计集团/企业安全体系框架设计重点场景风险分析及安全加固设计项目管理项目监理启动&商务项目总结架构监管图 4-5 企业数据治理顶层架构图图 4-6 大数据与人工智能协同下的制造业企业数据治理框架智能营销智能研发智能生产智慧园区智能管理智能服务智能制造智慧园区智能运营中心数据展示与应用数据资产应用服务安全体系服务体验人文科技大数据与人工智能(算法、模型)客户管理数据萃取公共数据域支持能力基础数据支持能力渠道管理数据萃取营销管理数据萃取商品管理数据萃取交易管理数据萃取数据萃取中心数据资产管理
94、数据资产蓝图数据目录数据运营标准数据治理数据应用标准数据开发数仓架构设计数据引入数据运营数据开发数据提取数据中台能力支持大数据基础平台离线计算能力实时计算能力在线分析能力大数据平台技术支持能力32根据此场景的数据治理框架给出大数据与人工智能协同下的制造业企业数据治理平台搭建技术架构,如图 4-7 所示为制造业企业数据治理平台搭建技术架构图:实现的功能:(一)全球布局:通过 IT 技术平台全球布局,实现就近获取本地资源。(二)灵活敏捷:通过云上云下结合、数字平台支撑、数据入湖形成底座,来实现企业系统 微服务化、分层解耦、快速孵化的要求。(三)业务创新:通过自建数据湖的方式实现集团数据采、传、算、
95、用的能力,打造属于企 业自主独特的创新之路。(四)模式变革:将原有的集团总管控的模式,进行业务下沉和分解实现“集团业务”、“BU/工厂业务”等,按需适度管理。(五)计划协同:通过大数据和人工智能等技术手段实现“智能制造”、“智慧园区”和“智 能运营中心”三大智能化主题建设及协同运作,不断为企业创值增收。图 4-7 制造业企业数据治理平台搭建技术架构应用模型算法模型模型层HiveJavaTEZSparkFlink计算层HDFS 分布式存储/Hbase/S3存储层DB 数据处理框架文件处理框架日志处理框架图片处理框架DMS/Kinesis analystics-Flink采集层MySQLDB2Or
96、acleSQLserverPostgreSQLHBase数据源层.React数据服务检索服务元数据服务主数据服务数据地图服务服务层RESTFul API33制造业数据治理白皮书 项目背景:G 企业是一家提供综合设计、制造、供应链和产品管理服务的全球化制造解决方案供应商,在全球拥有 100 家厂区、20 多万名员工,在电子制造、医疗等多个行业中创造价值。自 2018 年开始,G 企业开始探索数据集中化平台化治理相关的工作。从基于数据分析工具的创新,到企业全局数据架构的思考,G 企业的数据治理工作取得了良好的业务成效,明确了可预期的未来方向。项目面临的挑战:G 公司业务体量较大,现有业务系统覆盖
97、ERP、产线侧生产系统、设备管理系统、质量系统、供应链、人力资源等,系统繁杂。历史的数据应用呈现出性能低下、对业务系统压力大、数据孤岛、开发周期长、工具栈重复建设、缺乏顶层设计等问题。作为一家制造企业,G 公司对成本的把控较严,在确认构建数据平台来赋能数字化转型的战略之后,初期数据平台的概念验证阶段仍然需要严格的 ROI 评估,在这一阶段对具体业务场景的遴选和方案规划成为了项目能否顺利推进的关键。目标场景需要满足:能较好地反应业务需求,选取对业务帮助大的场景;能验证数据平台方案的价值,相比于历史做法的优势;能体现跨部门、跨系统的协作;数据平台能体现较小的初期投资,整体成本基于业务体量呈线性关系
98、。解决方案:从G公司的行业属性及其自身业务特点出发,按照工业数据湖的理念进行顶层设计规划。该设计考虑到工业数据湖与上游业务系统及下游数据应用的关系,确保接口和整体架构的灵活度,对于工业数据湖本身的模块设计则通盘考虑到数据存储、处理、管理和安全治理的需求,确保整体架构的安全、可靠、性能、易运维性和成本可控等维度均满足企业需求。从工业数据湖的概念验证角度,选取了产线侧核心应用之一:WIP(Work In Progress)报表场景,采用云原生的工业数据湖架构,对之前的直接查询 MES 数据库的方案进行替换。新方案实现了混合数据源的数据集中收集、存储,采用事件触发的设计模式实现低成本的数据转换和 W
99、IP 指标计算,并将结果存入低成本的数据湖存储层,业务用户仍五、数据治理案例1.高科技行业数据治理案例34 项目成果及帮客户达到的收益:1)完成了工业数据湖底座的设计和构建,从战略到落地2)通过两个概念验证项目验证了工业数据湖对业务的价值,树立了典型,提升了各业务部门对工业数据湖的理解3)提升了企业数据团队的业务和技术储备,确定了数据应用新需求的支持模式通过数据湖的技术栈和流程标准化,降低了企业数据应用的总体拥有成本,提升了数据需求的响应速度,提升了企业对数据的治理水平和数据安全管控,并为将来实现机器学习类场景等更多创新应用打下了坚实基础。35机器分析OEE制造服务可视化资产供应链KPI 看板
100、生产效率经营EHS应用工业物联网连接数据注入事件处理数据平台资产模型工业数据湖时序数据数据连接器关系型数据库异常检测计算机视觉数据分析可视化看板告警API 和开发者工具人工智能云边缘计算离线模式本地决策在线升级安全工厂传统应用MESSAPSCMPLM.图 5-1 顶层设计架构然沿用熟悉的报表工具对数据进行查询和报表生成。对比历史实现,采用工业数据湖架构改造后的 WIP 报表业务将报表实时性从 12 小时提升到了 10 分钟,消除了数据分析应用对生产系统数据库的性能压力、减小停产风险,并通过额外数据源的引入丰富了 WIP 报表对更多工序的展现,使得产线团队能更准确更实时地了解爬坡期的生产状况并做
101、出相应的调整,对精益生产做出了贡献。制造业数据治理白皮书 项目背景:Z 股份有限公司是世界领先的装备制造商,旗下成员企业超过 200 家,业务覆盖全球100 多个国家和地区。企业组织架构分:集团,业务板块,企业三层;在 2020 年,Z 公司希望利用先进的云计算大数据能力构建能够支撑三层组织形态下的统一大数据湖架构,提升数据应用能力及水平,规范企业数据存储,开发和消费方式;满足成员企业对数据自主权限管控的需求,同时提升跨层级跨单位的数据共享及利用能力;降低大数据开发使用成本,提升数据开发效率。项目面临的挑战:旗下成员企业众多且 IT 技术能力不均衡,在技术方案选择上需要考虑易用性与功能完整性。
102、成员企业 IT 资产复杂,不同板块,不同企业业务形态多样,业务系统众多,架构差异大,加大了数据集成与开发的难度。成员企业希望能够拥有完全的数据主权,能够完全控制数据的分享及授权。集团希望能够了解全员企业的数据资产情况;为成员企业提供大数据湖建设最佳实践,赋能企业数据开发与应用;整合集团旗下所有数据,打通上下级单位,兄弟单位间的数据共享模式。解决方案:采用亚马逊云科技云平台能力设计整体统一数据平台架构,在此基础上依据业务板块及企业的需求建立数据子湖,保证数据隔离与安全。采用无服务器解决方案,利用 Glue,S3和 Redshift 数据仓库,构建数据湖。AmazonGlue无需运维的 Serve
103、rless 大数据开发工具。利用 Glue connetion 可视化配置,快捷连接企业数据库;通过爬网程序获取企业数据库的数据库表结构,为数据分析师提供统一的数据模型视图;自动构建企业数据 catalog,实现企业数据资产集中目录,可在不同成员企业间,总部与企业间共享数据目录;可视化编程,快速实现从数据源抽取数据入湖,以及数据 ETL作业;提供作业编排工具,实现任务的有序调度与重试;按作业任务执行时长计费,降低使用成本,降低技术人员入门门槛。AmazonS3 提供海量低成本的存储空间,用于构建数据湖的核心存储区域,采用不同的 S3 桶隔离不同阶段的数据,设计包括:landing,ODA,co
104、re,PUB,Archive 等数据隔离桶,保留数据加工过程数据版本,提供各阶段数据共享与挖掘的能力。2.装备制造业数据治理案例36AmazonRedshift采用 MPP 架构的云原生数据仓库 Redshift,为成员企业提供高效低成本的多维数据分析能力,通过SQL语句即可实现大数据量下的业务分析与查询,Redshift是分布式数仓架构,可以通过扩节点及升级节点类型的形式来提升数据存储空间及计算能力,可以伴随客户数仓的建设及使用时间以最匹配的性能和成本满足客户业务需求。AmazonResourceAccessManager各单位通过 Amazon RAM 进行数据目录,数据资产,网络资源等共
105、享及控制,实现数据及资源的可控分享。项目成果及帮客户达到的收益:企业级数据数据湖和数据仓库(EDW)依托 亚马逊云科技湖仓一体的天然优势,快速部署和实施企业级数仓,支持各类大数据应用场景 数据分析能力(BI)数据分析能力有赖于集团、板块和企业有清晰的指标定义和数据模型设计,依托高效的数仓工具来实现快速 BI 分析 数据深度挖掘(AI/ML)在业务数据模型和企业数仓的基础上,利用机器学习/人工智能模型对数据进行深度挖掘利用。帮助集团快速部署 AI/ML 能力集团数据中心业务板块 A业务板块 B业务板块 CAmazonTransit GatewayAWS TransitGateway业务板块 A
106、子湖VPC业务板块 B 子湖VPC业务板块 C 子湖VPC业务板块 D 子湖VPCPRD VPC集团生产数据湖集团非生产数据湖SDWAN集团数据湖DMZ应用SDWAN集团数据湖DMZ应用NONE PRD VPCSD-WAN一体化广域网安全账户MFA token 板块 C 用户MFA token 板块 A 用户MFA token 板块 D 用户MFA token 板块 B 用户Assume Role37图 5-2 数据平台架构图制造业数据治理白皮书 数据共享服务集团、板块和企业可以依托亚马逊云科技数据平台建立内部数据共享和流转机制,也可根据业务需求,对外提供数据输入和输出接口等服务 数据资产化
107、亚马逊云科技数据平台为集团、板块和企业提供统一的存储、清洗、管控,发布数据目录的服务 项目背景:A 控股股份有限公司成立于 2003 年 1 月,于 2009 年 9 月在香港上市。旗下包含 A1 股份有限公司、A2 股份有限公司两家 A 股上市公司,共有千余家分子公司。现已成为中国药品、医疗保健产品、医疗器械龙头分销商和零售商,及领先的供应链服务提供商。A 控股自2018 年开始尝试数据治理工作,从药品主数据入手,经过三年的时间取得了一定的效果。到目前为止数据治理的工作仍然是局部尝试,希望用系统性的开展数据治理。项目面临的挑战:总部数据治理组织依旧薄弱,总部组织虽然建立但是仍然处于较为基础的
108、阶段,只能完成基础管理,较为复杂的标准制定、管控流程、切换方案、分析应用等仍然依靠外部机构。主数据进入到攻坚阶段面临最大的器械主数据的挑战。业务主数据完成后,大量管理主数据清理工作尚未开展,管理主数据的开展与各管理条线间的职能分工尚未确定。元数据标准及落实工作需要开展,元数据的落实涉及到各个业务流程以及历史数据、考核标准等重要问题。解决方案:基于 A 控股股份有限公司数据治理现状及主交易流业务 IT 存在的主要问题,进行现状分析,盘点数据资产,规划数据管理组织人才,制定未来 A 控股股份公司 3-5 年数据治理工作规划。具体的数据治理规划如下图 5-3 A 控股股份有限公司数据治理规划示意图所
109、示:3.医疗行业数据治理案例38图 5-3 A 控股股份有限公司数据治理规划示意图输入服务内容输出1.数据管理项目路径规划(制定 XX数据治理项目群规划,对于未来五年的治理变革项目以及其顺序及目标制定计划)1.数据管理规定现诊断2.数据管理组织人力现状诊断及规划3.大交易流业务 IT 系统现状诊断1.数据管理规定规划(含指标拆解方法)2.指标数据管理试点(2 个指标拆解)3.大交易流业务 IT 系统改进要求(数据角度)培训赋能现状诊断治理规划路径规划数据管理现状诊断报告数据管理规划报告数据管理路径规划报告XX 业务战略业务 IT 系统现状软件包参考业界实践参考4.零售及快消品行业数据治理案例
110、项目背景:B 企业是全球零售食品服务业龙头,在中国及港澳市场拥有 2,200 多家餐厅,员工人数超过 100,000 名。作为全球第三大市场,每年该企业在中国服务超过 10 亿人次顾客,为他们提供优质的美味与服务。项目面临的挑战:该企业的供应链主数据目前分布在自身以及上下游合作伙伴的业务系统中,缺乏统一的体系化管理,已经成为了供应链效率提升的掣肘。为了能够解决当前主数据分散管理和维护,缺乏企业级统一视图的问题,并促进业务间融合,提升各业务应用间的信息共享和集成,启动了统一主数据管理工作。项目成果及帮客户达到的收益:1)盘点数据资产,识别痛点问题并提出改进要求。2)规划数据管理组织人才、数据管理
111、工作制度,通过数据工作开展储备人才3)聚焦大交易流为核心的现状问题和改进建议,制定数据治理工作规划4)基于大交易流数据治理实践,确保数据入湖前得到管控,A 控股股份有限公司数据中台 的建设及数据入湖奠定基础。39制造业数据治理白皮书图 5-4 B 企业数据治理规划示意图支撑数据管控整体框架遵循企业业务脉络管理支撑管理标准管什么谁来管怎么管组织技术平台制度流程与评估考核二、设计主数据管理体系一、主数据标准定义三、设计与构建主数据管控平台或主数据管理模块商业伙伴组织人员财务物资产品生产.定义涉及部门主数据管理标准业务及管理提升编码/描述存在问题属性/信息标准落地 完成对主数据管理标准(编码、属性字
112、段、使用频率、认责和使用情况)的落地管控落地对企业各业务应用的主数据需求和使用进行管理40 解决方案:从该企业供应链着手,覆盖从原材料采购、质量管理到门店销售所有供应链环节,识别所有主数据范畴和问题,统一规划主数据管理体系。定义主数据标准、流程、管理模式和和组织架构,搭建主数据管理平台。并完成主数据的标准化清洗。提升主数据质量和管理水平。具体的数据治理规划示意图如下图 5-4 企业数据治理规划示意图所示:项目成果及帮客户达到的收益:1)以供应链采购端的主数据为主线,在充分研究企业内部的数据分布和管理情况,结合行 业主数据管理的先进理念和成功案例,进行主数据管理的顶层规划和设计。2)在此基础上制定统一的数据规范和标准为驱动,规划构建出职责清晰、流程规范、模式 合理的管理体系,并完成主数据管理平台的搭建,从而实现对客户企业主数据环境的先 理而后治。3)为企业供应链的精益化管理和数字化转型奠定坚实基础。40致谢致谢致谢编写指导软通动力:杨念农 张颖 刘志亚亚马逊云科技:顾凡 岳岩 周玉林主编人员软通动力:崔继仁 孙晓强 王卓 丁宁亚马逊云科技:周宇 吴迦德 邵士毅 李萌 赵榕 蔡勃协助编辑软通动力:汪美荣亚马逊云科技:董小娜