上海品茶

华为云大数据中台架构分享(27页).pdf

编号:9193 PDF 27页 17.63MB 下载积分:VIP专享
下载报告请您先登录!

华为云大数据中台架构分享(27页).pdf

1、大数据中台架构分享 华为云 龙江 数据中台背景洞察 华为数据中台顶层设计 华为云数据中台解决方案DAYU 目录 业务场景:智慧工厂全球运营指挥中心 智慧工厂 智能供应链管理 第三方风控 | 全球供应量可视化 | 质量控制前置 | 智能供应链(订单、 仓储、物流) 质量管控 质量大数据(事后) | 质量预测模型(事前) C2M 动态供应链 | 柔性生产线 智能物流 智能仓储 | 智能装箱 | 物流可 视化追踪 | 智能清关 智能制造 资产管理 | AGV厂区物流 | 产线预防性维护 | 智能安全监控 | 工厂能耗管理 | 设备虚拟化 | 设计生产一体化 生产运营可视化 业务模块 数字化应用 数字

2、化运营数字化指标运营系统 质量管控 工序数据质量实时监控预警 E2E融合质量数据预警系统 数据可靠性分析 物联网数据 应用 数据资产管理 物流数据采集系统 IT产线数字化 生产安全数字化 制造能耗数据管理 云制造数据 分析 测试,仪表,诊断,维修数据/智能诊断, 装备维护,大数据云调度 制造数据 可视化 订单全流程可视 制造测试网络监控可视 质量管控数据可视 网络资源 规划 实时的路径 规划 作业 能力规划 工厂 DC 卡车运输 -防盗感应器 客户 三级运输 国际运输 运输 连接承运商和货主 预测性运输 按需送达 大数据分析 客户需求、风险、外部运力等信息及时感知,自动给出预 测性方案 智能化

3、 基于Geocode的 智能地址获取和校验 感知式存储 AS/RS WMS&TMS 拣料叉车 with RFID Sensors 智能眼镜验收捡料 RFID Scanner拣 料 国家仓 基于先进技术与工具,物流信息自动感知与采集,实物 流全程可视 数字化 承运商执行过程与结果 可视,绩效自动生成 智能化 基于云端的与内外部高 度集成的物流IT系统 实时的物流信息驱动精 准的资源计划管理 智能化 车辆追踪 与LSP管理 二次运输 自动线体 带感应器的 装车垛口 卸货 by Trailer Skate Dock 数字化的运输跟踪 连接连接 连接 连接 连 接 连 接 业务场景:智慧物流与智能仓储

4、数字化运营 企业越来越重视数字化运营,核心重点是数据管理、可视以及数据治理 超过60%计划或已经建立数据管理委员会 基础大数据产品逐步成 熟,数据安全、数据开 放以及主数据管理需求 旺盛。 大数据能力框架,数字资产管理作用将被关注 From 信通院、艾瑞咨询:预计到2020年,大数据软件市场规模将达 到268.2亿元,年复合增长率38.6%;大数据服务市场规模将达到 165.9亿元,年复合增长率41.4%。初步估算数据管理市场约43亿,核 心发展方向:数据资产管理、 数据可视化以及机器学习 From 中国信通院中国大数据发展调查报告2018 n 井喷增长的数字化业务需求 n 数据隐私和安全将对

5、业务发展带来 影响 n 数据贯穿企业内外分布在多个系统 n 人工智能将切实重塑商业模式 n 规模化、复杂的业务生态 新趋势及挑战 Gartner数据分析和数据管理演进模型 本地 领域级 企业级 大数据 逻辑 数据仓库 报告 商务分析,展板 数据科学,人工智能/机器学 习 自然语言处理 信息生态和价值化 使能 商业 成功 Wave 1 Wave 2 Wave 3 Wave 4 Wave 5 卓 越 数 据 管 理 增强分析和优化组合 (无处不在;自动化;算法集 市) 卓 越 数 据 分 析 基础分析 (描述性、诊断性分析) 高级分析 (预测性、规范性分 析) *来源Gartner CDO Cir

6、cle Workshop Leading Innovation Practices n内部数据 n外部开放数据 n社交数据 nIoT 数据 n个人数据 n 业界洞察Gartner:日益增长的数字化需求、复杂的业务生态系统、数据的分布式 存储趋势,驱动企业需要构建一个跨越孤立数据、简单、一致的数字化运营生态系统 目标: 从烟囱式多个平台向融合大数据平台,建立统一的数据采集与 整合大数据处理、计算及数据服务能力,降低大数据使用成本 通过集中各领域数据,方便创新,让数据产生更大价值 大中台、小前台,前台特种兵敏捷作战单元+中台航母舰群精 确制导炮火 统一数据平台(基础设施复用) 离线 分析 近线 分

7、析 实时 分析 内存 分析 现网烟囱数据IT系统 数据采集 运营 生产 数据采集数据采集 建模 挖掘 数据中台 统一数据资产中心 统一数据建模、分析与挖掘 统一数据服务 统一数据采集 销售 预测 建模 分析 客户 分析 建模 分析 销售客服生产 辅助 运营 系统 应用 系统 客服 应用 新业务 挑战: 1、独:烟囱系统,数据孤岛严重。重复开发、成本 浪费; 2、断:数据理解与数据价值链条的断层; 3、缺:缺标准、缺治理、缺数据; 4、难:知数据难、要数据难、懂数据难; 数字化运营,需要由传统的烟囱式IT系统向数据中台转型 生产数仓销售数仓 客服数仓 数据中台背景洞察 华为数据中台顶层设计 华为

8、云数据中台解决方案DAYU 目录 数据中台定义与愿景 定义:全域级可复用的数据资产中心与数据能力中心,提供清洁、透明、智慧的数据资产与高效、易用的数据能力, 使能业务数字化运营; 愿景:让数据成为如水和电一般的资源,随需获取,敏捷自助;让数据极大发挥价值,推动业务创新与变革; 业务对象、规则、过程数字化 数据联接 数据透明 数据采集/处理自动化、智能化 数据领域由企业扩展到生态伙伴 数据敏捷自助 安全共享(隐私、授权、权限等) 数据合规 算法模型(AI) 实现特性 数据实时可视 数据清洁 数字业务化 数据中台建设框架:1)以业务数字化为前提,数据入湖为基础,建设数 据资产中心;2)打造能高效承

9、载数据中台建设的数据运营平台能力中心 数据服务 CBCcloudscopeHRMS 数据 消费 数据 源 业务报告实时可视智能决策自助分析运营监控 批量/实时采集 数 据 资 产 中 心 数据能力 中心 CMDBEsee 客户基本信息 主数据 云服务信息 云服务发布 记录 事务数据 售卖记录 故障信息 营销活动 客服投诉 支付 客户财报 外部数据 行业信息 国家风险 财经信息 国家 基础数据 Region 业务日志 非结构化数据 流媒体 视频 文件 主题联接(数据模型、标签、图谱) 分摊智能运维模型 数据计算(规则、算法、模型 等) 销售收入预测模型员工主题 站点主题 合同主题 客户主题智能搜

10、索 文本挖掘 存货主题 领域知识 图谱 项目主题 云服务主题 维度 区域 产品 数 据 湖 完整、清洁的逻辑数据湖 统筹推动、以用促建,急用先行 为数据中台提供一站式“原材料” 汇聚各业务源系统数据,清洗/注册数据资产 业务对象、规则、过程数字化 对准需求,驱动业务数字化 数据采集/处理自动化 持续数据治理,提升数据质量 数字化运营数字化运维业务流效率提升 满足自助、智能的数据消费 识别多场景数据消费需求 构建数据消费快速响应机制 数据业务化,数据反哺业务,促进数字化运 营 中台消费场景 3 业务平台 中 台 核 心 资 产 数据质量 元数据管理 数据采集 数据服务 数据开发 数据可视化 数据

11、地图 数据共享 与安全 数字化研发 内部数据 外部数据 运营系统运维系统人员机房建设 CM 客服 社交媒体 数 据 服 务 数据清洗 资产配置 数 据 建 设 平 台 建 设 1 2 主题连接层,数据中台核心资产 建立“面向对象、面向主体、面向业务流” 的数据联接和标签 持续沉淀业务规则、算法、模型 建设公共数据服务,减少重复开发 数据中台建设两条主线: 数 据 建 设 数据产生数据提供数据整合、标识、联接、建模数据消费 业务数字化消费场景数据湖中台核心资产 数据湖源数据 指标数据 运营数 据 销售数 据 CBC cloudscope SCM 收入触 发 数据服务 数据实时可视 诊断预警 故障

12、数 据 FUXI 项目数 据 财务数 据 主题联接 发票信息 合同基本 信息 开票计划 业务 主题 收入触发回款核销 开票触发 计划 云服务运营大屏 技术保障全景 销售毛利成本中心 数据服务- 云服务建设全流程明细 数据服务-交付项目收入明 细 安全态势感知 故障智能预警 数据调优诊断 智能扩容推荐 研发效率大盘 数据可视与分析 运营指标运维指标 平 台 建 设 智能决策中心 大数据服务数据接入服务 MRSDLI Ccloud Table 数据呈现与决策 数据智能服务 OBS DWSES 云服务运营大屏 技术保障全景 销售毛利成本中心 安全态势感知 故障智能预警 数据调优诊断 智能扩容推荐 研

13、发效率大盘 智能决策中心 实时数据接入DIS 批量数据迁移CDM 数据库实时同步Dsync 日志数据采集log 数据运营平台DAYU 数据开发 数据开发/处理/ 调度运维 数据治理 元数据管理/数据地图/ 数据质量/业务指标数据标准 数据可视 大屏开发/ 发布预览 智能分析 自助BI/ 报表OLAP 数据服务 服务创建/ 发布服务市场 行动分析决策 数 据 消 费 描述 发生了什么 ? 诊断 为什么会发生 ? 自愈 系统自我控制解决问题。 预测 将会发生什么 ? 指导 要采取什么措施 ? 人工判断和采取措施 人工判断和采取措施 人工判断和采取措施 人工判断 和采取措施 数字化运营的不同层次数字

14、化运营的不同阶段 阶段一: 数据实时可视 数据展示实时可信 报告上线在线开会 支持数据层层下钻 阶段二: 诊断预警 阶段三: 智能决策 提前感知业务问 题 自动预警潜在风 险 智能分析问题根因 洞察趋势推荐方案 支持客观精准决策 中台数据消费解码:包含不同层次和阶段的数字化运营 数据消费的不同用户类型 业务人员数据科学家IT开发人员管理者 数据中台背景洞察 华为数据中台顶层设计 华为云数据中台解决方案DAYU 目录 数据运营平台DAYU,产品定位与价值 定位:提供给数据工作者(数据管理者、数据分析师、数据开发者)的一站式、高效易用的数据治理运营平台; 客户价值:帮助企业快速构建端到端的智能数据

15、系统,消除数据孤岛,统一数据标准,加快数据变现,促进数字化转型; 数据迁移 实时 接入 离线 迁移 第三 方 工具 敏捷可视能力自助分析能力全局治理能力高效探索能力快速开发能力 用户 数据消费 支撑 业务 主题/ 画像/ 指标 的访 问查 询检 索 数据开放 应用 分析 数据源 DAYU平台:一站式数据运营 数据开发 Pipeline开发、调度 数据可视化 大屏可视,BI视图 数据规范 数据模型,约束规则 数据质量 质量规则、质量报告 全域数据目录(元数据Catalog) 公有云数据湖 MRSDLIGESDWS 私有云数据湖 严管数据非严管数据 数据接入 实时 接入 离线 迁移 第三 方 工具

16、 数据流数据流 调度流调度流 命名:DAYU 像大禹治水一样帮助企业进 行数据治理与运营,最终让 数据变为企业创新的新能源, 助力企业新增长。 行业模板 行业模板+运营,一站式构建企业数据中台 智能数据湖运营平台DAYU 快速开发 全局治理共享开放数据可视 具有最优性价比的端到端 技术平台,支持用户数据 找得到,管得住 沉淀行业能力,快速构建 数据中台,助力用户数据 用得好 智能数据湖 存储计算 主题数据 模型 指标计算 Pipeline 行业数据 算子 行业应用 模型 数据规范设计,基于华为数据体系建设方法论沉淀而成 数据标准不统一数据业务断层 数据重复建设历史不可追溯 现状 目 标 数据标

17、准系统化、流程化 数据需求全链路打通 数据研发自动化、无码化 元数据中心 流程 引擎 数据需求管理 数据领域建模 指标定义& 数据模型 权限&安全 统一标准 指标定义 规范设计 数据构建方法论行业标准 指标内容 指标发布 下线 指标合集 输入:业务数据化需求 输出:标准化数据中台设计 一站式敏捷大数据开发治理,全流程可视 治理 资产服务 开发 使用SQL进行图片识别,快速 完成非结构化数据处理 create table cars_no(filePath string, result arraystruct) using ocr options ( path obs:/bucket1/wangf

18、ei/cars, ocrApiUrl /v1.0/ocr/plate-number, ocrEndpoint -north-, ocrRegion cn-north-1) Submit ID LogTimeNumberNumberColorColorLoacationFileFile 1 20180722 10:09:46 粤B 12345白 坂田五和大道 obs:/bucket1/wangf ei/cars/file002 2 20180722 10:09:46 粤B 67890黑 坂田五和大道 obs:/bucket1/wangf ei/cars/file002 实时机器学习、深度学习,增

19、强实时数据分析 能力 SQL中调用各种机器学习算法和深度学习框架, 降低AI能力使用门槛 AI能力与SQL融合,懂SQL就可以开发AI业务 可复用的行业模板,加速数据价值发现流程 行业数据标准行业主题数据模型 行业指标计算流程行业算子行业指标 业务对象中心(五大库):产品、客户、合同、站点/网络、员工 数 据 湖 数 据 主 题 ITR主题 HR主题行政主题 IT主题 CNBG销售 研发主题 供应主题采购主题 交付主题 RC经营主题 企业运营 消费者运营 运营(ITO/DSO) 流程域主题:经营、运营 区域数据平面 数据地图 业务实体(项目合同)经营(收入/成本) 合规(内控/账实) Data

20、 Lake:800+对象 7000+实体 100+万属性 供应数据 95%进底座 CNBG数据 50%进底座 GTS数据 60%进底座 产品数据 90%进底座 流程IT数据及其它 90%进底座 数据统一采集入湖 数据统一入湖,实现5大业务对象的数字化 案例:华为内部IT数据运营,助力华为“清洁数据的数字化运营蓝图” 推动数据入湖,实 现内、外数据的获 取 构建五大库,实现 五大关键业务对象 数字化,实现数据 同源,减少数据搬 家 重点建设大数据和 人工智能平台, “数据获取数字 化 智能化”三步 走 案例:智慧园区数据运营,助力企业降本增效 智能数据湖运营平台DAYU 人员主题库车辆主题库资产

21、主题库设备主题库 组织主题库时空主题库事件主题库资源主题库 园区主题库 批量数据集成实时数据集成 数据ETL可视化开发 任务调度管理权限管理 数据集成 数据标准数据质量 元数据管理指标监控 数据地图数据血缘 数据治理 园区智能运营中心IOC 公司管理数据业务子系统数据外部互联网数据数据来源 智能数据湖底座 构建园区8+个主题库 主题库含5000+属性 数据集成开发从15天缩短到 1天 数据应用开发效率提升50% 接入园区个数100+ 数据分析由T+1到实时 应用数据 14省国家电网:融合电力企业全域数据,助力企业业务优化和创新 智能数据湖 智能数据湖运营平台DAYU 原始数据 计量数据 设备数

22、据 负荷数据 能效数据 交易数据 发电数据 设备监控 负荷预测 电价预测 用电习惯 发电预测 节能建议 主题数据 人 机 厂 电线 综合能源服务 电力驾驶舱 用电预测 电力大数据典型场景 其他行业,基于华为云智能数据湖解决方案,在更多领域帮助客户实现数字 化转型 政府零售汽车 融合各领域数据,包括民生、 交通、气象、经济、工业、商 业、服务等,规范数据标准, 实现数据资产管理,全域数据 可视化 基于数据资产,对外提供数据 服务,包括一网通办、民生服 务、企业服务等应用场景 打通零售企业全域数据,包括 ERP、CRM、订单、会员、电 商、O2O等 基于全域数据支持企业经营决 策,如经营报表、客户画像、 个性化推荐、订单全链路追踪 等应用场景 融合内外部数据,包括生产制 造、用户声音、车辆状态等, 经过整合清洗、数据模型的建 立分析,可视化呈现分析结果 基于数据分析结果优化设计、 生产、经营 华为云智能数据运营平台价值 融合 全域数据打通,再无数据孤岛 效率 行业模板+全流程可视,快速构 建数据价值链条 变现 数据-资产-价值,成本中心 向利润中心转变 智能 +AI智能融合数据处理,数据统 一管理 华为云 智能,见未来

友情提示

1、下载报告失败解决办法
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。

本文(华为云大数据中台架构分享(27页).pdf)为本站 (科技新城) 主动上传,三个皮匠报告文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知三个皮匠报告文库(点击联系客服),我们立即给予删除!

温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。
客服
商务合作
小程序
服务号
会员动态
会员动态 会员动态:

梦**... 升级为至尊VIP  wei**n_...  升级为至尊VIP

wei**n_... 升级为标准VIP  181**18... 升级为至尊VIP

 136**69... 升级为标准VIP 158**27...  升级为至尊VIP 

 wei**n_... 升级为至尊VIP  wei**n_... 升级为至尊VIP

153**39...  升级为至尊VIP  152**23...   升级为高级VIP

152**23...  升级为标准VIP   wei**n_... 升级为标准VIP

 姚哥 升级为至尊VIP  微**...  升级为标准VIP

182**73...  升级为高级VIP  wei**n_... 升级为标准VIP

 138**94... 升级为标准VIP wei**n_... 升级为至尊VIP 

 A**o 升级为至尊VIP 134**12...  升级为标准VIP

wei**n_... 升级为标准VIP  wei**n_...  升级为标准VIP 

158**01... 升级为高级VIP   wei**n_... 升级为标准VIP

133**84... 升级为高级VIP   wei**n_...  升级为标准VIP

 周斌  升级为高级VIP  wei**n_... 升级为至尊VIP

 182**06... 升级为高级VIP  139**04... 升级为至尊VIP

wei**n_...  升级为至尊VIP   Ke**in 升级为高级VIP

 186**28... 升级为至尊VIP   139**96...  升级为高级VIP

she**nz... 升级为至尊VIP  wei**n_... 升级为高级VIP 

wei**n_... 升级为高级VIP    wei**n_... 升级为标准VIP

 137**19... 升级为至尊VIP  419**13...  升级为标准VIP

183**33... 升级为至尊VIP   189**41... 升级为至尊VIP

张友 升级为标准VIP    奈**... 升级为标准VIP

186**99... 升级为至尊VIP  187**37... 升级为高级VIP

135**15... 升级为高级VIP    朱炜 升级为至尊VIP

ja**r 升级为至尊VIP  wei**n_...  升级为高级VIP

 wei**n_...  升级为高级VIP  崔** 升级为至尊VIP

 187**09... 升级为标准VIP  189**42... 升级为至尊VIP

 wei**n_... 升级为高级VIP 妙察  升级为标准VIP

wei**n_... 升级为至尊VIP  137**24... 升级为高级VIP 

185**85...  升级为标准VIP wei**n_...  升级为高级VIP 

 136**40...  升级为标准VIP 156**86...  升级为至尊VIP 

186**28... 升级为标准VIP   135**35... 升级为标准VIP

  156**86... 升级为高级VIP wei**n_... 升级为至尊VIP 

 wei**n_... 升级为高级VIP   wei**n_... 升级为标准VIP

wei**n_...  升级为标准VIP  wei**n_...  升级为高级VIP

138**87...  升级为高级VIP   185**51... 升级为至尊VIP

  微**... 升级为至尊VIP  136**44...  升级为至尊VIP

 183**89... 升级为标准VIP  wei**n_... 升级为至尊VIP

 8**的...  升级为至尊VIP Goo**ar...  升级为至尊VIP

131**21...  升级为至尊VIP   139**02... 升级为标准VIP 

wei**n_...  升级为高级VIP wei**n_... 升级为高级VIP 

wei**n_... 升级为至尊VIP wei**n_...  升级为至尊VIP 

138**05... 升级为至尊VIP  wei**n_... 升级为高级VIP 

 wei**n_... 升级为至尊VIP  wei**n_... 升级为至尊VIP

 wei**n_...  升级为至尊VIP 131**77... 升级为高级VIP  

wei**n_...  升级为标准VIP 186**06...  升级为高级VIP 

150**97...  升级为至尊VIP   wei**n_... 升级为标准VIP

wei**n_...  升级为至尊VIP 185**72... 升级为至尊VIP  

186**81... 升级为至尊VIP  升级为至尊VIP

159**90... 升级为标准VIP  ja**me 升级为高级VIP