使用网络 RDMA 技术为 SPARK 架构加速.pdf

编号：29489

PDF 23页 36.59MB 下载积分：VIP专享

下载报告请您先登录！

使用网络 RDMA 技术为 SPARK 架构加速.pdf

1、RDMA ACCELERATING SPARK DATA PROCESSING Dec, 2020 2 DATA SCIENCE IN PRACTICE More than 70% of Compute is Spent on Data Processing Data Processing Training Inference More time is spent processing data than any other stage Compute required is greater Benefit to developers is high NVIDIA opportunity is

2、 sizable 3 Accelerating the Machine Learning Data Pipeline Accelerated Accelerated Accelerated Accelerated Accelerated 4 RDMA Remote DMA Messages send/receive, remote DMA and remote atomics Hardware transport Kernel and hypervisor bypass Advantages Lower latency 10us 700ns Higher message rate 215M m

3、essages/s Lower CPU utilization 0% InfiniBand and RoCE (RDMA over Converged Ethernet) Application RDMA NIC RDMA Application Kernel TCP/IP Stack Hypervisor NIC TCP 5 RDMA?RDMA?写操作过程写操作过程 Host?A?内存发送队列接收队列完成队列 Host?B?内存发送队列接收队列完成队列 HCAHCA 申请分配接收buffer并传送地址和Key到远端发送端分配个发送buffer并在HCA注册，放置个包含远端虚拟地址的发送WQE并“按下铃” HCA?消耗个WQE,? 读取buffer并发送到远端，产发送完成信息当数据包到达HCA的时，它会检查地址和内存Key，并直接写内存 6 Enabling Kerne

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（使用网络 RDMA 技术为 SPARK 架构加速.pdf）为本站（X-iao）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。