1、Power服务器上大数据方案介绍大数据案例分享Power服务器：AI的强力支撑平台内容开放的Hadoop组件架构蓝色部分是基础的框架，黄色部分是一些SQL化的组件，没办法单独执行，依赖于蓝色及灰色部分。Apache hadoop社区贡献第一名：HortonworksHortonworks成立时间2011年员工1110+Apache社区Committer208全球合作伙伴2100+全球客户数量1000+产品许可无商业许可产品开源程度完全开源Apache V2.0协议Hortonworks Data Platform(HDP)可用于创建安全的企业数据湖，提供您实现快速创新、运用实时商业洞察力所需的

2、分析信息，完全开源。可以涵盖数据的采集、数据的预处理、海量数据存储、数据分析及发掘、数据的呈现与应用等各个部分。ODPi成员对大数据生态的贡献 ODPi是一个非营利组织致力于简化和标准化大数据生态系统使用通用的参考规范和测试套件。HDP 特点100%开源HDP 2.6.5包含的组件HDP 3.0包含的组件HDP一键化安装能提供Hadoop套件的两个主要软件厂商:Cloudera,Hortonworks信息抽取切词文本分类属性提取网页爬取统一数据采集SQL消息API文件服务总线统一数据中心大数据平台应用数据治理平台运维目标库MPP数据库MPP（双活）Agent CollectorStorageM

3、asterFlumeZookeeper文件/消息（含信令）FTP文件Socket消息sqoop基于多租户的开放框架TomcatMySQLPuppetGangliaNagiosAmbariBootstrapSpringHibernateJQueryRDBMS统一大数据存储HDFSzookeeper资源调度与管理 YARNSPARKScalaMLlibHBASEM/RHiveRSparkSQLIBMStreamsRedisSparkStreamingKAFKADockerSlider某客户大数据平台技术架构某客户Hadoop平台S812LCS812LCCodisCodisHbaseHbaseNod

4、emanager&DatanodeNodemanager&DatanodeNamenodeNamenodeZookeeperZookeeperHive-Hive-serverserverMapreduceMapreduce采用HotonWorks大数据平台方案集群调度节点：Zookeeper。Hive 元数据节点：Hive 是用类SQL 语句来驱动MapReduce做查询的一个模块。Hbase：Hadoop数据库，是一个列式数据库，可以方便的保存非结构化数据，比如json类型数据。计算及存储节点：保存数据，并实际执行MapReduce的节点。Codis：分布式Redis，上层应用可以象使用单机

5、Redis一样来用Codis。某客户HDP集群支撑业务：-流量分析-上网日志分析-ICA-企业级多租户业务共224台S812LC主要部件：-Codis-Mapreduce-Hive-Hbase某客户流式计算架构图采集服务器集群（脚本/java程序）Hbase集群详单存储Hadoop集群15 分钟汇总数据小时汇总数据天汇总数据Kafka 集群Storm 集群结果保存Redis/Kafka 数据共享流处理平台：流处理平台：流处理平台主要有 Storm、Jstorm、Spark 流处理平台主要有 Storm、Jstorm、Spark Streaming 等。Streaming 等。流式处理常用场景流

6、式处理常用场景：事件流：Storm 处理源源不断流进来的消息，处理之后将结果写入到某个存储中去。电信运营商实时信令分析上网行为分析实时营销持续计算：连续发送数据到客户端，使它们能够实时更新并显示结果，如网站指标。互联网的实时数据监控微博热门话题的实时推送实时网络攻击监测流处理平台流处理平台POWER平台上打包的开源框架集合POWERAIBase安装安装易易版本版本新新企业企业级级优化优化库库包含内容包含内容CaffeLarge Model Support(LMS)Distributed Deep Learning(DDL)开发经验客户PowerAI BasePowerAI BaseFree P

7、OWER CPUPOWER CPUPOWER CPUPOWER CPUDDR4DDR4DDR4DDR4GPUGPUGPUGPUNVLinkGraphics MemoryGraphics MemoryPOWER NVLinkPOWER NVLinkData PipeData Pipe2825641664256SpeedupNumber of GPUsIdeal ScalingDDL Actual Scaling95%Scaling with 256 95%Scaling with 256 GPUSGPUSCaffe with PowerAI DDL,Running on M

8、insky Power8 System16 Days7 HoursPower独有独有PowerAI Enterprise PlatformAI训练平台训练平台-全生命周期管理的集成开发环境业务需求数据提取并标签化数据准备及清洗设计模型并进行调优模型评价验收部署模型上线运维调整模型Data Science Of Deep Learning Project Lifecycle数据是一切的基础，是整个人工智能引擎的燃料。标签化数据的质量直接影响后面的所有过程随着业务模型的改变和数据变化，持续训练和增量训练会不断应用在生产线中多种评价体系从不同维度验证模型的准确率和上线后的风险训练工作和线上预测工作可

9、以在同一集群实现，最大化资源利用率数据的清洗，重分布，准确率的提升是最关键部分数据的清洗，重分布，数字化生成，模型调优对得到一个可用模型至关重要统一数据层统一数据层支持多种支持多种深度学深度学习框架习框架为不同深度学习框架提供为不同深度学习框架提供统统一的对外一的对外inference restfulAPI增强的增强的企业级分布式企业级分布式Inference能力能力灵活的同步和异步灵活的同步和异步数据并行数据并行训练能力训练能力在大规模集群中保持在大规模集群中保持加速率加速率在在90%以上以上的独特算法的独特算法训练日志持续训练日志持续可视化可视化提供神经网络和超参数提供神经网络和超参数优化

10、优化建议建议PowerAI Enterprise价值点价值点数据导入训练监控超参搜索资源调度AI解决方案解决方案宽带安装复核宽带安装复核(目标检测目标检测&OCR)金融单据字符识别金融单据字符识别(OCR&NLP)视频中的物体识别视频中的物体识别(目标检测目标检测)晶元瑕疵检测晶元瑕疵检测(目标检测目标检测&分类分类)AI解决方案解决方案卫星图像缺陷检测卫星图像缺陷检测(目标检测目标检测)铁路部件质检铁路部件质检(目标检测目标检测)股指期货预测股指期货预测(时序数列处理时序数列处理)误停机风险分析误停机风险分析(用户画像用户画像)MLCodeStoring InfrastructurePowe

11、rAI Enterprise企业级弹性分布式推理服务易用性：一键发布并部署训练模型为推理服务可扩展：根据推理请求自动进行弹性伸缩扩展模型管理：端到端的模型全生命周期管理，支持推理结果和性能实时监控安全性：支持多租户间的资源隔离和权限管理，支持TLS/SSL,HTTPS等保证数据安全高性能：支持毫秒级的作业调度推理加速：Power推理加速器支持CPU，GPU及FPGA,ASIC等各种协处理器Rest API,gRPC,streaming APIInference APIDistributed auto scale in/outLow latencyBatchingHigh Availabilit

12、yLoad balanceHigh throughputEasy to useSecurity(Token,RBAC,SSL)Monitoring(metrics)Task historyAlertingWeb style GUIData Scientiststrained modelsAdminssettingmonitoringdataresult为多种框架下的ML/DL训练模型提供了统一的推理服务管理平台，在保证易用性、安全性和健壮性的基础上，支持大量并发推理请求以及分布式的弹性伸缩扩展用例1 频繁的推理请求高吞吐率图像分类任务信用评估金融服务每分钟需要处理100,000 张图像每分钟需

13、要处理100,000 信用评估请求根据推理请求数量自动调整推理服务规模适用于包含独立数据的频繁推理请求，例如利用卷积神经网络进行图像分类利用卷积神经网络进行目标检测深度神经网络进行语音识别基于xgboost的分类任务基于scikit-learn的分类或回归任务PowerInference servicewith model deployedGPU(s)FPGAinput:imagesoutput:categoryclient application(s)rest APIPowerGPU(s)FPGAPowerGPU(s)FPGAPowerGPU(s)FPGA大象用例2 基于流的推理请求视频中的

14、目标检测分类或者ReID任务海量摄像头每秒30帧影像的低延迟处理多种模型协同工作high speed storageInference as a servicewith object detection model deployedInference as a servicewith ReID model deployedstreaming inference apicombined objectdetection result fromdifferent cameraPowerGPU(s)FPGAPowerGPU(s)FPGAPowerGPU(s)FPGAPowerGPU(s)FPGA浪潮商

15、用机器浪潮商用机器Open Power产品家族产品家族AIAIBigDataBigDataEnterpriseEnterpriseFP54FP5488G28G24U6 6GPU NVlink2.0FP5290G2FP5290G2面向金融、通信高端平台面向金融、通信高端平台FP5280G2FP5280G2通用平台通用平台FP54FP5468G28G24U 8GPU PCIe4.0云计算租赁业务云计算租赁业务FP52FP5212G2G2互联网大数据互联网大数据FP5295G2FP5295G2企业级AI最佳平台企业级AI最佳平台FP5466G2FP5466G24U40盘 存储型服务器4U40盘 存储

16、型服务器Inspur Power SystemsFP5295G2专为企业 AI 而重新设计 IT 基础架构。提供最佳支持AI和HPC的平台，企业可充满信心地部署深度学习框架和加速数据库等数据密集型工作负载。3.8倍提升深度学习框架AI模型训练效率1.8倍更好的加速数据库性能面向企业 AI 与HPC应用的面向企业 AI 与HPC应用的全球最高性能计算平台节点全球最高性能计算平台节点FP5295G2 核心优势最卓越最卓越CPU+最强悍最强悍GPU 专为AI 设计的POWER9 CPU，2 倍线程数量，更大L3缓存，NVLink原生直连支持4 个NVIDIA Tesla V100 GPU，最新32G

17、显存GPU最简单最有特色的最简单最有特色的AI/HPC架构架构NVLink实现跨GPU 和CPU 的内存共享，实现编程的便利性，NVLink速度更快-I/O 带宽可高达x86 服务器的5.6 倍企业应用就绪企业应用就绪IBM 支持的PowerAI框架HPCPowerAI超算超算4320个节点！个节点！超算超算4608个节点！个节点！FP5295G2 VS X86 FP5295G2 VS X86 CPU GPU互联：150GB/s VS 32GB/s CPU GPU互联：150GB/s VS 32GB/s 内存带宽：170GB/s VS 76.8GB/s内存带宽：170GB/s VS 76.8G

18、B/s世界企业级服务器FP5295G2 4个V100 GPU FP5295G2 4个V100 GPU FP5295G2 6个V100 GPU FP5295G2 6个V100 GPU X86 ServerX86 ServerPower9先进的先进的IO系统系统NVlink 2.0 带宽是带宽是PCIe3 的的5.6倍！倍！PCIe332 GB/sGPUGPUx86x86GPUGPUGPUGPUx86x86GPUGPUNVLink150 GB/sGPUGPUP9P9GPUGPUGPUGPUP9P9GPUGPUPower9的优势 2倍线程数 5x+的I/O带宽 2倍的内存带宽 OpenCAPI、NV

19、Link2.0、PCIe Gen46个GPU VS 6个GPU 白色的部分是GPU等待Memory的时间，FP5295G2训练时间更快GPU更有效利用FP5295G2NVLink2.0带宽是PCIe3.0的5.6倍！NVLink2.0带宽是PCIe3.0的5.6倍！Power9的高速NVlink使GPU高效率计算NVLink助力FP5295G2性能极大提升NVLink助力FP5295G2性能极大提升3.8x！97092622020004000600080001000012000Xeon x86 2640 v4/4xTesla V100Power AC922 w/4xTesla V100Time

20、(secs)ChainerRuntime of 1000 Iterations3.7x！Power硬件：FP5295G2;40 cores(2 x 20c chips),POWER9 with NVLink 2.0;2.25 GHz,1024 GB memory,4xTesla V100 GPU Pegas 1.0 Ubuntu 16.04.X86硬件：2x Xeon E5-2640 v4;20 cores(2 x 10c chips)/40 threads;Intel Xeon E5-2640 v4;2.4 GHz;1024 GB memory,4xTesla V100 GPU,Ubuntu

21、 16.04来自https:/ x86 E5-2640 v42x10c+4xTesla P100PowerS822LC2x10cPOWER8+4xTesla P100PowerFP5295G2 2x20c POWER9+4xTeslaV100Time(secs)Molecular Dynamics(CPMD)Runtime(secs)Lower is betterCPMD 分子动力学高性能计算分子动力学高性能计算FP5295 配置了通过NVLink 2.0 全互连的Nvidia V100 GPU对比X86系统缩短2.9X 化学模拟计算执行时间计算过程需要在CPU与GPU之间传输3.3TB数据N

22、VLink通道用时70sPCIe通道用时超过300s2.9X 以上计算时间缩减以上计算时间缩减GPU ID012 3 4 5 67Averagex86+GPUx86+GPU,1 GPU 1443216216FP5295G2FP5295G21 GPU 1443197197x86+GPUx86+GPU,1 GPU 7FP5295G2FP5295G21 GPU 1923590590GPU ID01234567Averagex86+GPUx86+GPU,4 GPU 18218219FP5295G2FP5295G24 GPU 982092

23、00 x86+GPUx86+GPU,4 GPU 86FP5295G2FP5295G24 GPU 98605600GPU ID01234567Averagex86+GPUx86+GPU,6 GPU 7208061858FP5295G2FP5295G26 GPU 876x86+GPUx86+GPU,8 GPU 822025203820382076真实案例-训练高分辨率的3D图像1个GPU 训练速度2.48倍！4个GPU-训练速度2.5倍！6个GPU 训练速度3.07倍！NVLINK+LMS特别适合医疗影像！NVLINK+LMS特别适合医疗影像！thanks