1、阿里云异构计算平台阿里云异构计算高级专家 龙欣 加速AI智能创新议 程/异构计算异构计算主要是指使用不同类型指令集和体系架构的计算单元组成系统的计算方式，常见的计算单元类别包括CPU、GPU、FPG、ASIC等。议 程/异构计算的云上格局 人工智能芯片格局：GPU、FPGA、ASIC三分天下基于云的应用框架 发展趋势-计算能力需求越来越高-串行计算-并行计算-多机多卡分布式并行-片外存储-片上存储-内存带宽越来越高（DDR-HBM1-HBM2）-GPU-FPGA-ASIC，性能功耗比越来越高科学计算气象预测、油藏模拟基因工程、计算金融图形图像影视渲染、3D设计视频转码FPGA F1Intel

2、A10*2FPGA F2XILINX KU115*2GN4NvidiaM40*2GN5NvidiaP100*8GN6NvidiaV100*8GA1AMDS7150*4阿里云全新一代异构计算加速引擎全貌面向多场景的异构计算加速平台机器学习人脸识别、视频识别、车辆识别自动驾驶、机器翻译GN5iNvidiaP4*2FPGA F3XILINXVU9P*16议 程/GPU适用的领域及业务场景视频大规模视频转码高清，4K/8K直播多人视频会议视频信号处理图像工程设计非线性编辑远程教育3D展示深度学习图像处理图像识别语音识别视频内容鉴别片源修复计算影视动画渲染数字图像处理计算金融科学计算 3D渲染-Dire

3、ct X-OpenGL-Vulkan 视频编解码-DXVA/LibVA-NVEnc/VCE 计算-OpenCL-CUDAGPU的特点：实时高速、并行计算、浮点计算能力强议 程/AI深度学习催生GPU服务需求人脸识别OCR文字识别语音识别与合成自然语言理解与交互GPU资源如何快速扩容？哪有可用的GPU资源？如何多地域线上服务？GPU还正常工作吗？GPU如何满足训练和推理的需求？议 程/弹性GPU服务（Elastic GPU Service EGS）EGS是基于GPU应用的弹性计算服务，适用于深度学习、视频转码、图形渲染、科学计算等应用场景，具有实时高速，并行计算跟浮点计算能力强等特点。深度学习视

4、频解码图形渲染科学计算EGS议 程/EGS具备与阿里云生态深度整合能力云监控弹性伸缩负载均衡资源编排日志服务容器服务NAS文件存储弹性GPU服务高效SSD云盘EMROSS对象存储议 程/基于容器的弹性GPU服务一键式部署OSS对象存储一键部署集群支持GPU资源调度挂载共享存储负载均衡CPU、GPU监控日志管理解决方案控制台集群管理、任务调度TensorBoardgpu0/gpu1Tensorflow应用gpu0/gpu1MXNet应用Docker Engine弹性GPU服务镜像Hubgpu0Tensorflow应用gpu0MXNet应用Docker Engine弹性GPU服务议 程/配置弹性G

5、PU服务监控 创建弹性GPU服务集群 登录云监控查看节点 选择节点监控图标议 程/配置弹性GPU服务监控提供节点级别资源监控，其中包括CPU使用率、网络流量、GPU使用率、GPU显存使用率和温度等监控信息议 程/EGS产品家族可视化计算实例GA1共享GPU提供更细粒度的GPU实例，降低使用门槛和成本GA1独享GPU更佳的可视化计算性能保证通用计算实例GN4独享GPU通用计算实例GN5独享GPU兼顾深度学习和高性能计算的强大算力GN5i独享GPU专为深度学习推理在线服务定制的实例议 程/GA1 可视化计算型 GA1实例规格族是企业级异构计算ECS，提供了高性价比的渲染和视频处理能力 特性：用户场

6、景：需要开启4队列，操作系统（镜像）CentOS 7.3，调整队列可能需要重启实例需要开启3队列，操作系统（镜像）CentOS 7.3，调整队列可能需要重启实例网络性能持续提升中需要开启2队列，操作系统（镜像）CentOS 7.3，调整队列可能需要重启实例-AMD S7150 GPU计算卡-Intel Xeon E5-2682v4(Broadwell),2.5GHz-DDR4 内存-包含一块NVMe SSD本地盘存储-共计 32GB 的 GPU显存、总计提供8192个并行处理核心、15 TFLOPS（单精度浮点运算处理能力）和1(4x250G)TFLOPS（双精度峰值浮点性能）-3D图形渲染，

7、云游戏，电影、动画渲染-视频处理-视频编解码等场景议 程/可视化计算共享GPU实例共享GPU实例-可以更加灵活的选择和自身业务需求匹配的GPU实例规格-将一块物理GPU同时共享给多个用户使用，避免不必要的资源浪费-基于硬件虚拟化技术，可以完美实现高性能GPU在硬件安全隔离下为多用户共享-GPU虚拟化损耗可忽略，每用户分配到的GPU能力严格保证，相互之间无干扰率先在公有云上推出共享GPU实例可视化计算成本大降50%VMVMVMVM宿主机议 程/GN4 Nvidia Tesla M40通用计算加速型 GN4实例规格族是企业级异构计算ECS，提供了高性价比深度学习和视频处理能力 特性：用户场景：需要

8、开启4队列，操作系统（镜像）CentOS 7.3，调整队列可能需要重启实例需要开启3队列，操作系统（镜像）CentOS 7.3，调整队列可能需要重启实例网络性能持续提升中需要开启2队列，操作系统（镜像）CentOS 7.3，调整队列可能需要重启实例-Nvidia M40 GPU卡，最大支持2块-Intel Xeon E5-2682v4(Broadwell),2.5GHz-DDR4 内存-共计 24GB 的 GPU显存、总计提供6000个并行处理核心、最高14 TFLOPS的单精度浮点运算处理能力-深度学习-科学计算-基因测序-电影、动画渲染-视频处理-视频编解码等议 程/GN5 Nvidia

9、Tesla P100通用计算加速型 GN5实例规格族是企业级异构计算ECS，提供了超高性能深度学习和视频处理能力 特性：用户场景：需要开启4队列，操作系统（镜像）CentOS 7.3，调整队列可能需要重启实例需要开启3队列，操作系统（镜像）CentOS 7.3，调整队列可能需要重启实例网络性能持续提升中需要开启2队列，操作系统（镜像）CentOS 7.3，调整队列可能需要重启实例-Nvidia P100 GPU卡，最大可支持8块-Intel Xeon E5-2682v4(Broadwell),2.5GHz-DDR4 内存-最大 96GB 的 GPU显存、总计提供28672个并行处理核-最高74

10、TFLOPS的单精度浮点运算处理能力-最高37TFLOPS的双精度浮点运算能力，比GN4提升近百倍-深度学习-科学计算-基因测序-电影、动画渲染-视频处理-视频编解码等议 程/GN5i Nvidia Tesla P4 推理专用型 GN5i实例规格族是企业级异构计算EGS，提供了面向推理场景的专用实例，提供大规模在线服务部署的成本优势 特性：用户场景：需要开启4队列，操作系统（镜像）CentOS 7.3，调整队列可能需要重启实例需要开启3队列，操作系统（镜像）CentOS 7.3，调整队列可能需要重启实例网络性能持续提升中需要开启2队列，操作系统（镜像）CentOS 7.3，调整队列可能需要重启

11、实例-Nvidia P4 GPU卡，最大可支持2块-Intel Xeon E5-2682v4(Broadwell),2.5GHz-DDR4 内存-最大 16GB 的 GPU显存-最大10TFLOPS 的单精度浮点运算处理能力-最大40TOPS 的INT8处理能力-深度学习推理-视频处理-视频编解码等议 程/弹性GPU服务支撑AI智能创新框架典型应用/弹性GPU实例加速阿里云图像识别服务EMR图片打标弹性GPU服务集群图片鉴黄场景识别检测定位姿态性别表情年龄识别特征图片url结构化结果图片url结构化结果打标场景识别鉴黄人脸模型训练弹性GPU服务集群神经网络模型典型应用/弹性GPU实例加速阿里云

12、视频转码服务视频媒体库Logo处理弹性GPU服务集群视频滤波高速编码视频上传结果反馈任务下载结果反馈转码调度系统图片url结构化结果视频水印视频scaling高速解码图形映射视频截图字幕叠加黑边检测/去除Skylake CPUSkylake CPU 神龙云服务器神龙云服务器 8xP100 GPU 8xP100 GPU 50Gb RDMA 50Gb RDMA 低延迟网络低延迟网络基于神龙服务器的超级计算集群SCC实例议 程/HPC2.0 超高性能计算集群双25G RoCE的带宽是10g的5倍双25G RoCE的延迟和IB接近，10g延迟比25G RoCE高10倍支持GPU Direct/RDMA

13、同时做到：弹性+隔离+高性能应用场景：人工智能、深度学习、数据分析、商业智能、高性能计算（工业制造、石油勘探、气象预报、生命科学、航空航天、电子、金融分析）等领域议 程/阿里云异构计算IaaS+策略EHPC 平台(高性能计算平台，机器学习)工作流开源框架Tensorflow/MXNET/Torch部署调度应用性能分析工具数据清洗分布式深度学习框架开源框架Tensorflow/MXNET/Torch/Theano/Caffe调度、运维IaaS产品系列异构计算产品(EGS/FaaS)异构计算产品蔟超高速计算集群下一代虚拟化架构XDL 框架(广告推荐)容器EML服务3+N 超多线接入BGP高可用的骨

14、干网络不断电的IDCIDC历史运行可用性：99.999%计算网络存储健壮的基础设施GPU:V100*8FPGA：A10 KU115 VU9P全新一代通用计算CPU第二代Apsara vSwitch25Gb网络第三代分布式存储技术部署区域海外国内华北1 华北2 华北3 华东1 华东2 华南1 香港美东美西澳洲德国新加坡阿里云异构计算服务的全球部署高性能性价比业务永续阿里云EGS核心竞争力弹性 高可靠的基础设施 企业级GPU产品 全面的安全防护 面向高性能计算 AI训练极致性能 高速图形离线渲染 丰富的场景化产品 多种虚拟化化技术 最强大生态支撑 巨大的资源池 全球部署支援业务 灵活购买方式议 程

15、/FPGA as A Service(FaaS)设计目标 引入FPGA作为弹性计算云产品输出 在云上打造整套FPGA开发环境-FPGA硬件的平台化，系统化-FPGA硬逻辑的统一接口-符合云安全运行环境-统一的云上开发平台-安全的IP部署渠道 建立FPGA IP生态和市场-与第三方合作，开发云上的FPGA IP-与集团合作，把FPGA加速业务通过云产品输出议 程/FPGA-aaS FPGA云服务FPGA IP开发生态FPGA 硬件基础设施FaaS是一个在云上的FPGA PaaS服务：提供全面的FPGA硬件加速平台，在FPGA的IP开发，部署和发布的各个环节提供高度的兼容性和一致性，并通过FPGA

16、 IP市场培植和扩大FPGA生态。阿里云 FPGA IP市场 IP合作伙伴-金融计算-基因计算-压缩加解密-硬件仿真设计-深度学习(预测/训练)FPGA 云上配套开发环境 厂商配套软件(Quartus,Vivado)三方EDA 软件(仿真，模拟)FPGA云服务器，硬件加速开发，部署平台：-Intel-Xilinx全球FPGA产品线最全的公共云服务商IntelXilinx议 程/FaaS FPGA IP 设计分发流程IP 市场IP AgentPCIeFPGA用户NCPCIe议 程/FaaS的云上开发环境议 程/FaaS IP市场应用IP全列表 深度学习（预测）视频转码-支持Caffe/Tenso

17、rflow/Torch/Theano/MXNET计算框架+DNN/CNN/RNN/LSTM等IP-图像识别、语音识别、文字识别、机器翻译、人脸识别、车辆识别、物体分类等IP-支持FFMPEG计算框架+H264/H265等IP 图像处理-支持OpenCV/ImageMagick计算框架+图像转码/图像缩放/图像滤波/图像处理等IP 网络安全-DPI（深度数据包检测）、入侵检测、攻击检测等IP 金融分析-量化分析、金融分析、期权定价等IP 加解密、压缩/解压缩、数据分析-Hadoop、SparkFPGA 镜像市场数十家生态伙伴即将入驻硬件级加密，保证每一个镜像安全金融算法镜像基因检测镜像压缩加解密镜像硬件仿真镜像深度学习镜像