GPU 加速中国电信 Spark 大数据处理.pdf

编号：29453

PDF 29页 1.50MB 下载积分：VIP专享

下载报告请您先登录！

GPU 加速中国电信 Spark 大数据处理.pdf

1、中国电信研究院AI研发中心马娜 GPU加速中国电信Spark大数据处理文档版本：v9.1 -0708 从Hadoop到Spark 2 从Hadoop到Spark 3 Spark 虽缓解了 Hadoop 中存在的 I/O 问题，但现在瓶颈问题已从 I/O 转变为针对日益增多的应用的计算问题。随着GPU加速计算的出现，此性能瓶颈问题有了一个新的解决途径。 Hadoop 性能却因其往磁盘上写检查点结果的模式而遭遇瓶颈。同时，MapReduce 的低级编程模型也限制了 Hadoop 的采用。数据流程和迭代算法需要将多个MapReduce作业链接在一起，此操作很难通过编程实现，并且会导致大

2、量磁盘读写。大数据处理在中国电信的使用广泛 4 省端数据接入 Flume Kafka Mysql FTP API 实时处理： Flink Streaming 离线处理： Hive Spark 调度及存储： yarn hdfs Redis 集团侧数据处理集团侧输出服务模型预测 API 报表集团侧监测运营 API服务监控任务监控租户资源监控系统监控采集任务监控 GPU + Spark 3 （三个GPU相关的feature） 5 Spark 3.0对GPU的支持 6 开源项目：https:/ 项目介绍： The RAPIDS Accelerator for Apache Spark p

3、rovides a set of plugins for Apache Spark thatleverage GPUs to accelerate processingvia the RAPIDS libraries and UCX. 解读： GPU对Spark的加速服务，是作为一个Plugin提供的；这个Plugin里面用到了另外两个开源项目： RAPIDS UCX RAPIDS 7 开源项目：https:/ GPU上的Pandas + Sklearn RAPIDS - example 8 UCX 9 另一个开源软件：https:/www.openucx.org/ 用来解决Spark shuffle的性能问题简洁的传输协议在终端间（TCP, RDMA, Shared Memory, GPU）选择最优路径通过RDMA实现GPU 显存传输时Zero-Copy 支持RDMA 需要的网络

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（GPU 加速中国电信 Spark 大数据处理.pdf）为本站（X-iao）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。