《金融信创湖仓一体数据平台架构实践20231223-V1.2-数新网络-宣传版.pdf》由会员分享，可在线阅读，更多相关《金融信创湖仓一体数据平台架构实践20231223-V1.2-数新网络-宣传版.pdf（18页珍藏版）》请在三个皮匠报告上搜索。

1、DataFunSummitDataFunSummit#20232023金融信创湖仓一体数据平台架构实践原攀峰-数新网络-CTO云数据智能平台DataCyber数据平台架构演进1金融信创对数据平台的挑战23金融信创数据平台落地路径4金融信创数据平台实践案例52.2.数据平台阶段数据平台阶段大规模数据存储计算能力没有明显离线在线的区分大量在线数据服务3.3.数据中台阶段数据中台阶段数据平台+数据体系+组织变革4.4.云数据平台阶段云数据平台阶段云原生架构，云数仓：多租户，资源按需弹性使用和计量计费1.1.数据仓库阶段数据仓库阶段OLAP，BI报表，数据分析，数据集市大数据基础设施发展阶段Data

2、WarehouseData Warehouse架构架构共享存储：共享存储：Oracle大规模并行处理：大规模并行处理：Teradata、GreenplumData LakeData Lake架构架构大数据基础框架（大数据基础框架（Hadoop 1.xHadoop 1.x）：）：单一MapReduce分析计算多元化（计算多元化（Hadoop 2.xHadoop 2.x）：）：Hive、Spark、Flink、Impala、Presto等，复合分析Data LakehouseData Lakehouse架构架构存储多元化：存储多元化：Hadoop 3.x、对象存储，MPP数据库云数据仓库：云数据仓

3、库：Snowflake、Databricks，大数据+AI分析Kubernetes集群物理机/虚拟机HiveSparkFlinkPrestoDorisJupyterLabHadoopKafkaMinIO业务方1业务方2业务方3云原生大数据是一种以云原生化技术为基础，实现计算云原生调度、存储统一负载的新型数据平台架构，从而支持多种计算负载，计算调度更弹性，存储效能更高多种计算负载，计算调度更弹性，存储效能更高的大数据处理和分析平台。云原生带来的优势：云原生带来的优势：扩展性大幅提升：扩展性大幅提升：资源调度和管理能够根据业务峰谷实现大数据计算组件的弹性伸缩。资源利用率提升：资源利用率提升：通过存

4、算分离和离在线混合部署等，提升资源利用率，节省整体成本。标准化发布流程：标准化发布流程：基于容器化技术，实现大数据组件的标准化部署与升级。数据平台发展趋势：云原生数据平台发展趋势：湖仓一体数据湖(Hadoop)数据仓库（MPP）湖仓融合湖仓融合ETL湖仓一体（Lakehouse）是指融合数据湖与数据仓库的优势，形成一体化、开放式数据处理平台的技术。它是一种新的数据管理范式，从根本上简化了企业数据基础架构根本上简化了企业数据基础架构，并且有望在机器学习已渗透每个行业的时代进一步加速创新。数据源结构化半结构化非结构化数据应用BI报表查询数据湖(Hadoop)数据仓库（MPP）湖仓一体湖仓一体计算移

5、动数据源结构化半结构化非结构化数据应用BI报表AI&ML统一存储统一元数据湖仓数据治理LakehouseLakehouse关键：关键：开放式存储格式 统一元数据管理 多样化计算引擎数据平台发展趋势：存算分离HadoopHadoop集群集群ResourceManager资源调度集群（资源调度集群（YarnYarn）NameNode存储集群（存储集群（HDFSHDFS）DataNodeNodeManager10Gb万兆网络ResourceManagerNodeManagerNameNodeDataNode存算耦合HadoopHadoop存算分离存算分离（私有云）Spark计算引擎计算引擎Flink

6、.资源调度集群（资源调度集群（K8SK8S）存储集群存储集群标准协议Spark计算引擎计算引擎Flink.云原生存算分离云原生存算分离（公有云）HDFSS3.OSSSpark计算引擎计算引擎Flink.MasterNode数据平台发展趋势：混合云、数据云私有云私有云数据平台数据平台公有云数据云公有云数据云公有云数据云公有云数据云跨境网络跨境网络混合云租户n混合云租户1私有云数据平台私有云数据平台租户n租户1数据跨境合规流动租户n租户1混合云租户1混合云租户n数据流动数据流动混合云租户1混合云租户n挑战一：大数据组件信创适配CPU芯片鲲鹏飞腾海光龙芯.操作系统银河麒麟中标麒麟统信UOS欧拉.数据

7、库达梦人大金仓南大通用神舟通用.云平台阿里云华为云腾讯云字节云.“信创”是信息技术应用创新的简称，涵盖了IT产业链核心技术产品的国产化安全自主可控。目前金融信创成为了继党、政信创之后，信创落地应用进展最快的行业。国产软硬件适配国产软硬件适配（X86、ARM 等）组件兼容性适配组件兼容性适配（组件依赖、组件版本、Jar包依赖）组件编译组件编译（编译、so库）组件组装组件组装（集成、配置）组件打包组件打包（rpm包、镜像等）组件部署与测试组件部署与测试（部署、功能、性能测试）挑战二：大数据组件稳定性、性能、安全统一存储用户登录、访问、操作等审计信息，并提供可视化页面展示审计中心审计中心权限管理权限

8、管理租户管理租户管理用户管理用户管理提供最细至行列级别权限控制，并支持用户自定义策略规则，自定义数据隔离多租户架构，资源严格隔离，提高资源利用率与安全性基于kerberos+OpenLdap的用户认证体系，严格拒绝非法用户访问大数据组件适配适配覆盖主流大数据计算和存储组件云原生环境下的组件适配.大数据组件调优调优信创环境下组件配置调优存算分离架构稳定性和性能优化云原生优化：Hive on Spark on K8S，Spark Operator等大规模性能压测与优化.挑战三：大数据集群迁移、混合部署NNRMX86NNRMX86DNNMX86DNNMX86DNNMX86DNNMX86NNRMARM

9、NNRMARMDNNMX86DNNMARMDNNMX86DNNMARM集群迁移机器复用（利旧）不同CPU架构（X86/ARM）不同硬件规格（CPU/内存/硬盘）不同操作系统现有集群信创集群信创集群设计目标 国产信创，自主可控大数据平台 云原生湖仓一体架构 Data+AI一体化设计 多租户体系 拥抱开源，保持开放性 多云/混合云/私有云/公有云 支持数据共享开放CCSA TC601云原生湖仓一体数据平台技术要求标准总体框架数智引擎功能架构（CyberEngine）用户管理租户管理平台升级审计日志权限管理数据平台AI平台集群管理 硬件环境（X86/ARM/MIPS）云平台（私有云/公有云/混合云/

10、多云）数据存储统一任务调度引擎 (CyberScheduler）统一元数据服务引擎(CyberMeta）流批引擎Flink/Spark/HiveMPP分析引擎 Impala/Presto/TrinoMPP数据库Doris/StarRocks/Clickhouse/GaussDB机器学习 TensorFlow/PyTorch/XGboostNoSQL数据库HBase/Phoenix搜索引擎 Solr/ElasticSearch/Milvus数据引擎统一SQL引擎 (CyberSQL）统一数据集成引擎 (CyberIntergration）管理平台基础设施资源调度.组件管理 主机/机架管理弹性伸缩

11、容灾备份智能运维监控告警场景化一键部署（离线、实时、湖仓、OLAP分析、全文检索、大模型）业务应用安全管理控制台YARN调度云原生调度Serverless调度多云部署与调度统一资源管理（统一资源管理（YARN/YARN/K8SK8S）统一存储统一存储 （HDFS/S3)|HDFS/S3)|湖仓数据格式（湖仓数据格式（Hudi/Iceberg Hudi/Iceberg）元数据服务数据入湖数据湖管理数据湖加速.三方账号数据平台功能架构（CyberData）控制台数据服务数据治理数据开发租户管理用户管理项目管理权限认证集群配置审计日志三方账号数仓规划规范设计数据标准数据资产元数据采集数据检索和目录数

12、据血缘数据热度分析数据分类分级敏感数据保护数据权限管理数据安全全量同步增量同步数据集成实时同步数据转换离线开发周期调度数据开发联邦查询交互分析离线任务运维手动任务运维监控运维实时任务运维智能监控告警数据引擎HiveSparkFlinkPrestoDoris统一元数据管理数据湖分布式文件系统(HDFS)对象存储(S3)数据源MySQL/Oracle/SqlServer/DB2/DM/PostgreSQL等HBase/MongoDB/OceanBase等GreenPlum/MaxCompute/GaussDB等FTP/HDFS/Minio等Kafka/Plusar等全量入湖(离线+实时)结构化数据

13、(parquet/orc/hudi/iceberg)半结构化数据(csv/json)非结构化数据(图片/音视频/模型)StarRocks.数据应用BI客户管理/渠道管理等报表运营大盘等数据科学市场舆情/产业图谱等机器学习精准营销/智能风控等整库同步分库分表同步实时开发手动调度数据风险审计离线数据监控实时数据监控数据质量质量报告健康检查数据指标API构建API发布API调用监控API网关服务安全数仓建模智能平台功能架构（CyberAI）智能应用教育行业：教学平台/平台/建模竞赛 科研金融行业：智能风控/量化交易/营销推荐大模型：行业知识库/对话系统/AIGC模型服务平台服务模型框架TensorF

14、lowKerasPyTorchCaffe2MXNetScikit-LearnXGBoostFate优化引擎算子优化器梯度优化器管道加速器硬件适配器CUDAcuDNNTensorRTPyCUDAPytorch DDPGpipeHorovodDeepSpeedGPU 加速引擎并行训练引擎基础设施统一资源接入统一数据接入K8SKVMX86/CPU/GPU云平台MySQL/Oracle等HBase/MongoDB等HDFS/MinIO等 Kafka/Plusar等多模态数据样本生成特征嵌入特征增强Jupter Notebook自定义镜像多数据源访问深度学习集成100+算子组件 10+场景模板自定义建模

15、自动化管道超参搜索离线任务并行训练自动学习数据交集多方训练安全协议去中心化存储租户隔离数据隔离资源隔离独立容器模型微调模型压缩提示工具内置模型数据特征交互式建模可视化建模模型训练联邦学习算法沙箱大模型一键部署灰度发布平滑升级弹性伸缩指标监控批量推理视觉模型语言模型文本模型量化模型模型推理模型市场控制台租户管理用户管理身份管理项目管理资源管理权限管理操作审计三方账号信创化数据平台的实施路径构建统一纳管平台可使得大数据平台对业务表现统一，做到切换平滑、管理统一切换平滑、管理统一，增加业务接受程度构建纳管构建纳管平台平台选择业务选择业务切换场景切换场景规划信规划信创集群创集群数据集数据集群迁移群迁移

16、业务压测业务压测与验证与验证异构多集异构多集群运行群运行根据新业务场景数据需求，规划信创湖仓集群架构，并依据架构进行集群计算、存集群计算、存储、网络等资源设计储、网络等资源设计基于新老集群架构进行数据迁移，包括离线离线数据迁移和实时实时数据迁移，同时做好数据验证与比对根据数据量级和业务要求进行信创集群压测与调优压测与调优，基于业务情况进行多类型业务场景验证基于用户多业务、多场景、大数据量场景，信创、非信创集群并行运行并行运行后切换集群根据客户具体业务情况具体业务情况选择合适的业务场景进行信创集群的切换联系我们数新网络科技号邮箱：电话：地址：浙江省杭州市余杭区文一西路恒生科技园7号楼3楼官网网址：https:/