1、AI、大数据与数字经济论坛专场韩炳涛 2021年07月10日本期议题：AI融合大数据，助力产业数字化升级AI融合大数据，技术中台赋能数字化转型3种应用部署模式N个数字化场景数字治理数字经济数据治理推理加速自动分布式训练低代码建模开箱即用Inference RuntimeOperation System&Device Driversx86x86ARMARMGPUGPUFPGAFPGAMaliMali端KubernetesDockerGPUGPU 集群集群存储集群存储集群管理节点管理节点Service PortalMicro Micro ServicesServices云联邦Task Manage

2、rCross SiloCloud OSCaaSDockerT1T2Cross DeviceOSLinuxAndroidTask Processx86ARMGPUFPGAIOSServerClientCoordinator1Coordinator2Selector数字生活数据统一1高效开发2云端协同3异构适配4场景闭环非侵入式开箱即用以分布式云为基础，实现大数据+AI全场景部署 420G大带宽 一体化部署，分钟级交付极宽 5ms超低时延 裸容器轻量化部署极速 硬件加速 2000节点规模部署极强全网算力快速部署，一体化协同TECS Cloud Foundation边缘机房接入站点中心机房AnySe

3、rviceAnyScaleAnyWhere全场景算力1统一双核云底座2积木式行业云套件3集中化统一管理4大数据+AI整体上云技术挑战 高效的存算分离架构 批流一体的计算架构 基于K8S的统一调度器 数据分析和深度学习统一建模 自动化模型部署物理集群物理集群/IaaS/PaaS/.HDFSGolden DB第三方Yarn/Kubenetes海量计算实时计算实时交互数据仓库深度学习MR、sparkStorm、FlinksparkSQL、HBase、ESHIVE、KlyinTensorFlow、Ray、PyTorch数据处理数据处理建模建模分析训练基础设施数据存储数据计算数据服务manager安全管

4、理运维管理license管理数据应用存算分离架构优势与挑战统一命名空间HDFS联邦主存储第三方存储主计算组件第三方计算组件缓存加速组件 Alluxio其它存储组件大数据+AI应用数据迁移数据互通弹性扩展计算区独立部署和扩展中间层存算解耦、存算粘合存储区独立部署和扩展热 RAM温 SSD冷 HDD存储、计算解耦，各自独立集群各自弹性扩缩容，减少浪费、提高资源利用率专用的存储集群可实现跨文件系统的数据融合计算集群可以更为灵活的部署算法分级缓存加速数据读取基于开源接口实现，上层应用无感知存储计算一体存储计算分离性能高性能中不够灵活（计算力、存储量、应用量）组网灵活，按需增减硬件采购成本高异构硬件，降

5、低成本解决存算分离的性能降级问题IO密集型场景性能最多可提升40%，总带宽节省10%-50%Alluxio缓存计算节点计算组件计算节点Alluxio存储集群热数据热点数据计算中间结果纠删码Block1Block2Block4Block 5Block 60-1MB1-2MBParityBlock32-MBData相较HDFS（三副本），写性能提升40%，存储节省50%（4+2）多模shuffle写缓存技术Client内存存储集群SSD/HDDClientHDDSSDHDDSSDHDDSSD通过SSD快速落盘，再异步写到HDD。节点比ALL_SSD性能低17%，比ALL_DISK性能提高108%s

6、trip 1 strip n .异步写根据不同的配置客户端shuffle到不同的系统中批流一体的计算架构Log MessageRDS清洗关联转换轻度汇总高度汇总数据湖层业务层数据修补OLAP、报表取数服务AD-Hoc即席查询、监控、在线类服务特点：流批一体，计算引擎统一；湖仓一体，统一存储，降低数据孤岛问题明细层加工汇聚层加工基于K8S统一调度框架Kubernets.大数据作业接口层配置中心物理资源池存储服务网络服务标签服务云底座服务调度框架Scheduling FrameworkKubernetes-Scheduler本地存储调度数据拓扑感知调度标签调度优先级调度Gang Schedulin

7、gCapacity SchedulingBinpackFAIR队列/PodGroup容灾调度默认基础调度调度Cache数据拓扑网络拓扑存储拓扑标签数据运行指标配置数据AI模型推理服务工作负载u 面向批量计算：支持大数据、AI类型任务的调度，将数据计算类型中常用多Queue、Gang Scheduling、Capacity Scheduling等特性，融入到原生Kubernetes中，保证对社区原有调度能力完全兼容性，并与K8S解耦u 支持资源队列，支持多租户场景下的资源调度u 支持细粒度资源调度，保障资源共享与隔离AI训练作业数据分析和深度学习统一建模全流程可视化“数据预处理、模型训练算法、模

8、型效果、模型发布、能力部署”全流程可视化编排机器学习、深度学习、强化学习可视化算子分类、回归、聚类、推荐 等机器学习算子CNN、DNN、RNN、GAN、BERT等深度学习算子及模型深度DQN、DDPG等强化学习算子数据、过程、结果可视化柱状图、折线图、散点图 等数据可视化工具训练过程 LOSS 曲线可视化训练结果可视化评估工具图像展示饼图分类聚类雷达图3D散点图折线图累积分布图散点图相关系数热力图根据算子类型派发至对应的计算引擎深度学习引擎结果评估与展示读数据算子Notebook开发环境分布式文件系统AI作业调度器 AI算子机器学习流水线编排器数据源TensorFlowRayPyTorchcs

9、v文件hdfs文件hive表sparksql表kafka大数据引擎Kubernetes+DockerSparkFlink与现有大数据集群共部署集中数据存储，节省存储空间，也避免大规模数据迁移造成的效率降低计算资源得到充分利用，减少浪费降低总体硬件投入多引擎统一调度AI算子可选Spark、TensorFlow等不同计算引擎，调度器派发任务到相应引擎执行基于相同的分布式存储，实现多引擎间数据交换统一编排将数据和算子编排在一起，通过DAG描述算子间依赖关系云边端自动化模型部署模型训练模型优化模型编译Adlik 云推理引擎量化剪枝大模型 fp32小模型 int8图转化层融合KubernetesDocker压缩镜像引擎+模型二进制引擎GPU集群存储集群管理节点服务门户微服务推理引擎运行时操作系统&设备驱动x86ARMGPU二进制文件AI应用程序静态/动态加载8bit模型导出FPGAKubernetesDockerGPU存储节点管理节点服务门户微服务Adlik 边缘推理引擎云侧部署边缘部署端侧设备部署Adlik 设备推理引擎模型文件镜像引擎文件模型Mali大数据+AI融合技术趋势，进一步提升全场景部署能力异构跨集群数据协同大数据AI融合的云边端协同极大极小弹性环境容器/裸金属一体化计算存储分离THANKS