联通-尹正军-运营商企业级数据资产管理平台设计与研发实践.pdf

编号：28677

PDF 47页 9.90MB 下载积分：VIP专享

下载报告请您先登录！

联通-尹正军-运营商企业级数据资产管理平台设计与研发实践.pdf

1、主办方：运营商企业级数据资产管理平台设计与研发实践尹正军联通大数据架构师数据源类型、结构、模式不尽相同，必须经过采集、清洗与标准化才能进入数据仓库。开发脚本的复杂性（如接口机开发脚本的复杂性（如接口机+HiveSQL模式）模式）数据加工过程一般通过执行复杂冗长晦涩的脚本来完成，要求开发人员必须有较高的专业技能；数据加工过程的逻辑错误、语法错误也不容易捕捉；集群作业提交参数的合理性问题。流程维护流程维护与数据加工稳定性与数据加工稳定性（运营商运营商 VS 互联网）互联网）数据处理的流程大量依赖各种脚本程序，难以理解与修改维护；数据处理流程经常无法复用，缺乏统一管理；

2、因为数据断传、漏传、补传造成的数据重跑问题突出。飞速增长的数据量和非结构化数据类型飞速增长的数据量和非结构化数据类型随着5G+物联网场景超大规模数据的输入；数据持续不断的到达，数据集成应当具备PB级实时或准实时数据处理能力；需要支持结构化、半结构化、非结构化等不同数据类型。易用性 VS 功能完备性稳定性与兼容性数据平台的基础模块主办方：模块2：数据开发平台功能需求核心模块1：数据加工模型设计核心模块2：数据脚本过程管理核心模块3：数据生命周期管理定位与目标：定位与目标：支撑数据模型设计、数据加工脚本标准化，实现开发、测试、上线过程自动化，保障数据模型与生命周期

3、管理标准落地。产品诉求：从数据脚本标准化、自动化从数据脚本标准化、自动化到到Web IDE灵活灵活化化主办方：模块2：数据开发平台产品设计标准化脚本模版规则标准化脚本模版规则基于企业数据治理标准化需求，形成数据加工脚本从生成、测试、审批、到部署的全流程管控基于企业数据治理标准化需求，形成数据加工脚本从生成、测试、审批、到部署的全流程管控统一的脚本执行机器管控统一的脚本执行机器管控开发脚本标准化创建开发脚本标准化创建脚本运行测试脚本运行测试自动化部署上线自动化部署上线审批环节审批环节主办方：模块2：数据开发平台运营实践数据开发平台与数据治理体系数据开发平台与数据治理体系（数据治理的源头（数据治理的源头）数据开发平台支撑数据治理文化落地，数据治理过程强调组织、文化、工具、流程的全方位协同，针对大规模数据组织，数据开发平台是数据治理工具体系非常重要的一部分。产线环境

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（联通-尹正军-运营商企业级数据资产管理平台设计与研发实践.pdf）为本站（B-ing）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。