1、DPU创新应用探讨珠海星云智联科技有限公司2023-031.公司介绍2.解决方案3.技术创新4.开放生态 2023 NebulaMatrix Technology LTD.All rights reserved.公司介绍时间2021年3月成立使命构建数字世界的基石研发中心深圳、北京、南京、上海、以色列团队核心团队来自ICT头部企业,通信和计算领域深耕20余年产品&解决方案芯片、智能网卡、DPU解决方案技术能力在芯片及软硬件架构设计、工程化开发、解决方案规划与部署等方面具备全栈技术能力交付经验具有大量全球化客户合作，场景化解决方案交付成功经验www.nebula- 2023 NebulaMatr

2、ix Technology LTD.All rights reserved.4 2022 NebulaMatrix Technology LTD.All rights reserved.220+研发人员架构师团队核心专家8人，总20人涵盖系统架构师、软件架构师、网络架构师、资深行业专家,20年以上ICT成功经验软件团队70+人软件设计、软件工程、系统内核、网络技术存储技术、安全技术，10年以上成功经验15名FPGA与芯片团队110+人芯片架构师：15年以上成功经验10名FPGA开发 50人芯片开发及验证60人测试团队20+人产品测试、自动化测试、解决方案测试、客户现场测试双一流院校占75%，硕

3、士以上60%管理团队主要成员曾多次在不同领域从零开始，开创出十亿至百亿规模业务。研发核心团队由 14 名专家组成，均来自ICT头部企业。深耕计算，网络与存储领域超20余年研发团队 2023 NebulaMatrix Technology LTD.All rights reserved.全系列，全场景NIC!4x10GE,2x10GESNIC：2x25E，海量流表DPU!2x100GE2x25GE#$%&%(自主核心技术自研高性能虚拟化硬件卸载引擎自研高性能多VRING队列 DMA，CPU多核收发包优化自研可编程流水线转发引擎自研高速查找算法，支持百万级流表，可定制千万级自研高性能RDMA硬件引

4、擎自研硬件AES、DES、3DES，SM4加密引擎业界领先性价比普通网卡系列对标Intel 710智能网卡系列对标Intel 810或nVidia CX6DPU卡系列对标nVidia BF2/阿里MOC综合竞争力领先业界客户化可定制 板卡硬件形态可定制 软件开发与适配服务 芯片FW可编程定制 on site服务星云芯片自主可控硬核科技全系板卡采用自研芯片 2023 NebulaMatrix Technology LTD.All rights reserved.完全自主产权的专利，芯片核心IP，软件技术栈知识产权：国内DPU创业公司第一DPU 是前沿核心芯片，设计复杂，作为少数几家同时具备 DP

5、U和智能网卡研发能力的集成电路设计企业。截至 2023 年 3 月 15 日专利：已受理73件、已授权28 件集成电路布图设计专有权：1 件软件著作权：20 件芯片核心 IP：自主研发 转发：可编程包处理引擎、大流表查找引擎、层级化 QoS 调度器 安全：加密与校验算法引擎 RDMA:RoCEv2 RDMA 模块 虚拟化:接口组件 CPU系统：RISC-V CPU core、总线组件、I2C、SPI、UART 等 接口：高速 DDR 控制器、PCIe 接口、GE/10GE/25GE/50GE/100GE 以太网接口软件技术栈：主流生态，兼容性强 网络：OVS-DPDK，内核驱动 存储：SPDK

6、，iSCSI，NVMeoF 虚拟化：vDPA，VirtIO 驱动，PCIe 驱动 RDMA：Verbs 驱动、自研拥塞控制算法(NBL-CC)和选择性重传协议（NBL-SRP）系统支撑与运维：IPMI/IPMB，BIOS，系统热升级 2023 NebulaMatrix Technology LTD.All rights reserved.芯片路标：覆盖SNIC/DPU市场7202520242023-支持400G bps全线速转发-支持CXL接口-支持800G bps全线速转发-提供2100GE/450GE/425GE以太端口-支持200G bps全线速转发-支持数据面可编程-支持4级HQos、

7、ACL、Car-支持千级规模RoCE V2-支持vDPA，SR-IOV，Virtio 1.0/1,1824018380-提供225GE/410GE/4GE以太端口-支持50G bps全线速转发-支持数据面可编程-支持4级HQos、ACL、Car-支持千级规模RoCE V2-支持vDPA，SR-IOV，Virtio 1.0/1,1Gen1:14nm 2023 NebulaMatrix Technology LTD.All rights reserved.公司资质管理规范，通过多项ISO管理认证2022年7月通过ISO9001、14001、45001认证 2023 Nebul

8、aMatrix Technology LTD.All rights reserved.传统数据中心的基础性“算力税”开销严重 2022 NebulaMatrix Technology LTD.All rights reserved.CPU资源真正用于业务的CPU算力开销存储控制面及I/O网络与业务无关的“算力税”开销 根据Google/Yahoo/哈佛 联合发表的论文，通信、存储、管理等基础性“算力税”开销，消耗CPU算力的30%客户负载虚拟机来源：Profiling a warehouse-scale computer,2015通过DPU和智能网卡卸载网络&存储处理：-降低CPU算力开销-提

9、升业务性能通信相关数据流的转发和处理卸载是核心 2023 NebulaMatrix Technology LTD.All rights reserved.DPU演进：网卡、智能网卡、DPU 2022 NebulaMatrix Technology LTD.All rights reserved.GE时代10GE时代25GE时代100GE时代听CPU指挥n提供I/O接口时期网卡NIC智能网卡SNIC与CPU分工n通信互联、物理池化n独立OSn虚拟化、资源池化n消除算力税DPU给CPU减负n协议栈卸载、网络加速、存储加速、安全加速n数据面处理，缓解算力税 2023 NebulaMatrix Tec

10、hnology LTD.All rights reserved.数据中心架构演进：以DPU为中心的CDI架构，新增互联数据处理层HDD 存储1000usSSD 存储12200usGPU 服务器50usTPU/NPU服务器 20usSCM 存储0.3usDRAM 存储0.1usDPU互联网络通用计算服务器资源层互联数据处理层计算存储物理网络存储安全虚拟化应用加速网络服务提供者视角XaaS层IaaSPaaSSaaS使用者视角CDI架构：Composable Disaggregated Infrastructure互联数据处理层核心目标：提升应用性能 资源池化，提升利用率 提升运维效率关键要求：性能

11、：高带宽、低时延、支持无丢包 协议：高效传输(RDMA,)虚拟化：资源虚拟化 开放性：多层次开放计算和网络通信融合，虚拟化卸载是核心 2023 NebulaMatrix Technology LTD.All rights reserved.DPU系统架构：多路线、多形态，核心是高性能可编程数据面ETHETHMeth 2Meth 1Mgmt&Ctrl PlaneVirtualization ManagementResource Orchestrator&SchedulerPCIeFunction ControllerVirtual Network ControllerVirtual Storag

12、eControllerData PlaneAcceleration EngineApplication AcceleratorTrusted ComputingQueue PoolMSI-x PoolProtocol Stack OffloadingVirtual StorageProcessorProgrammable Architecturevirtio-net/blkvDPANVMeRDMAPCIe CXL DPU是多种形态的解决方案控制管理面+数据面X86ARM DPU是多技术路线组合、多形态的解决方案 高性能可编程数据面：DPU的关键，当前快速演进，需要灵活性 控制管理面：生态差异，

13、星云智联开放合作CPU转发架构转发器件入出入出CPUCPUCPUPipeLineRTC:Run To Completion RISC-V1.公司介绍2.解决方案3.技术创新4.开放生态 2023 NebulaMatrix Technology LTD.All rights reserved.产品组合 已上市的DPU，SNIC&NIC板卡产品SNIC&NICDPU25G应用场景产品2x25G DPUnPCIe gen3x16n1M硬件流表;4级HQoSn1K PF+VF nVirtio 1.0/1.1;2x25G 可编程智能网卡nPCIe gen3x8n2x25G SFP+nSR-IOV，RSS

14、nDPDK2/4x10G 可编程智能网卡nPCIe gen3x8n4x10G SFP+/RJ45；2x10G SFP+nSR-IOV，RSSnDPDK25G10G类别n裸金属/虚机/容器n网络卸载，存算分离n存储集群nHPC/AIn虚机/容器n网络卸载n安全，防火墙nNFVn虚机/容器n网络卸载n安全，防火墙nNFVNebulamatrix D1055AS DPU：2022年7月发布，已规模商用15高性能网络转发性能:50M pps硬件流表:1M(可扩展)，全流统计流量管理：4级HQoS调度和流控流分类：识别协议和QoS标签可编程数据面高密度I/O虚拟化 PF+VF：1K(可扩展)virtio

15、-net/blk 1.0和1.1版本 Virtio队列：2K(可扩展)vDPA：高性能虚机热迁移 裸机免驱动安装灵活存储 设备模拟：NVMe和Virtio-blk 云盘：启动、挂载 客户端：iSCSI，Ceph,NVMeoFTCP&RDMA，或客户定制 IO性能：500K IOPS即插即用 NBL-RoCE 标准化：标准RoCEv2协议和Verbs API 即插即用：基于普通IP网络 拥塞控制算法：NBL-CC 选择性重传算法：NBL-SRP开放易用管控面 独立节点IPMI、从节点IPMB 业务层：OVS、DPDK、SPDK驱动 运维管理层：OpenStack，K8S插件与驱动FHHL、双槽2

16、个GE RJ45：带外管理、BMC宿主机级联2个25G SFP28PCIe 3.0 x16 2023 NebulaMatrix Technology LTD.All rights reserved.云计算应用场景DPU实现网络&存储卸载使能存算分离架构分布式存储集群，持久化存储数据中心网络云桌面办公数据库文档资料 监控视频大数据虚机服务器VM HypervisorDPUvirtio-netvirtio-blkOVSEBSBMC裸金属服务器DPUvirtio-netvirtio-blkOVSEBSBMC容器服务器K8SDPUvirtio-netvirtio-blkOVSEBSBMC云盘启动，云盘

17、挂载资源集中，灵活分配弹性扩容，多副本冗余高性能，低延时，提升计算资源使用率D1055AS 2x25GE DPUD1055AS 2x25GE DPU卡卡硬流表，VPC转发，存储initiatorNVMe高速缓存，应用Cache高速SSD盘多虚1，1虚多加速数据库，HPC/AI关键应用iSCSI，NVMeoF，Ceph RBDNVMeoF 2023 NebulaMatrix Technology LTD.All rights reserved.业务场景 裸金属服务l应用场景 公有云，计算裸机出租，面向游戏，企业等高性能应用 私有云，企业云桌面，集中管理，分配物理机资源l业务挑战 自动化业务部署

18、云盘启动，秒级业务发放 存储超售，弹性扩展l星云解决方案 适用产品：DPU系列 技术特性：内置管理控制面，网络和存储自动化配置 硬件实现virtio-blk和virtio-net设备 转控分离，实现高性能VPC网络 提供弹性存储服务，实现块存储和计算节点分离、拉远 支持IPMI管理监控 2023 NebulaMatrix Technology LTD.All rights reserved.业务场景 虚拟机服务l应用场景 公有云，虚拟机出租 私有云，企业云桌面、虚拟防火墙、LB、SD-WANl业务挑战 OVS网络转发性能差 虚拟机网络安全、虚机热迁移 主机CPU资源占用l星云解决方案 适用产品

19、：DPU系列 技术方案：虚拟化网络百万级流表，硬件转发，高性能，低延迟；硬件精确全流统计；层级化HQoS（Flow-vNIC-VM-Port）；vDPA数据直通，支持虚机热迁移；通过Virtio-net、virtio-blk实现网络和存储的虚拟化；内置云管平台Agent，统一云管理；2023 NebulaMatrix Technology LTD.All rights reserved.业务场景 容器服务l应用场景 高性能云原生业务 云原生容器弹性存储 高密集容器部署，网络隔离l业务挑战 容器网络可扩展性和性能瓶颈 容器存储的弹性扩缩 容器间网络安全隔离l星云解决方案 适用产品：DPU系列 技

20、术方案：2K硬件Virtio队列，容器间按需分配，隔离保障 转控分离，实现高性能容器网络 提供弹性存储服务，实现块存储和容器分离、拉远 支持容器网络与存储管理插件 2023 NebulaMatrix Technology LTD.All rights reserved.业务场景 云存储20l应用场景存算分离，云存储服务；无盘启动，远程挂载l业务挑战降低存储延迟，提升存储效率l星云解决方案适用产品：DPU系列、SNIC系列技术方案：支持RoCE V2 256K RDMA QP队列 专有的拥塞控制算法，降低时延，提升存储性能 2023 NebulaMatrix Technology LTD.All

21、 rights reserved.业务场景 AI集群&超算集群l星云解决方案适用产品：SNIC系列技术方案支持RoCE V2专有的拥塞控制算法，降低时延，提升存储性能星云DPU商用案例：边缘云DPU简化远程运维，卸载提升算力22 2022 NebulaMatrix Technology LTD.All rights reserved.网络边缘IDCD1055AS DPUServer中心IDC边缘IDCServern 客户痛点边缘节点规模小，分摊成本高，ROI长服务器远程运维复杂，人员站点服务开销大安全防护方案复杂，性价比低n 星云方案适用产品：DPU系列技术方案：裸金属服务器云盘启动，快速装机

22、Virtio，vDPA硬件虚拟化，虚机高性能直通管控面全卸载，服务器无开销安全规则，流量管控n 客户价值虚机/容器密度提升，降低算力分摊成本裸金属服务器快速装机，简化运维独立于主机的硬件安全防护，性价比高平均节省37个vCPU，DPU卡投资ROI 11.5yearn 典型场景业务模式：裸金属，虚机，容器，存储，SaaS等承载业务：游戏，CDN，企业，工业等，延时敏感机房条件：租用机房，小型机房，海外站点等集群大小：数个机架，2200个服务器 2023 NebulaMatrix Technology LTD.All rights reserved.23星云DPU商用案例：生物科学场景提升智能边缘

23、算力网络生物芯片FPGA1(前端)LVDSSPI 10GbESFP+10GEDAC线缆Xeon-D CPUSFP+10GbESFP+基板DA1055AS DPU卡10GbEPCIe gen3.0 x 16NAS存储PCIe gen3.0 x 16 只取电RJ45USB-RS232带外管理维护下一代生物科学设备USB基板控制GPU服务器数据备份文件服务器10GEFPGA客户算法逻辑TOP客户应用软件n 客户痛点基于工作站+GPU方案 无法小型化 功耗超过500W 成本高，供应链风险自研FPGA&底层软件投入大，时间长n 客户价值开发周期缩短68个月开发人力成本投入降低70%相对工作站+GPU方案

24、：体积缩小10倍 功耗降低3倍 成本降低60%n 星云方案适用产品：D1055AS DPU卡技术方案：高性能，生态开放的CPU+FPGA平台 高性能网络、DMA、DDR控制器 IP 客户自研核心算法和应用软件 硬件成熟稳定，接口多样，DFx丰富 质量有保证的OS和基础支撑软件 2023 NebulaMatrix Technology LTD.All rights reserved.星云智联DPU/SNIC:实现明显经济和社会效益15x网络存储30%虚拟网络性能21%CPU负担裸金属上线时间41%CPU负担单机架算力35%25%生命周期TCO10+%碳排放35%存储利用率已商用场景：中心云、边缘

25、云、数据处理等提升收益关键：增加互联数据处理层，实现以DPU为中心CDI架构1.公司介绍2.解决方案3.技术创新4.开放生态 2023 NebulaMatrix Technology LTD.All rights reserved.核心技术创新：高性能硬件流表，稳定转发1.专用流表存储器，支持大流表设计：=1M流表(可扩展)，减少流表换入换出2.专属硬件流表存储器、访问通道：Pipeline通过硬件专属通道，直接访问流表资源，不经过PCIe总线3.硬件高速匹配算法：从Key到Value硬件一跳直达，高性能查找4.硬件支持全流统计+指定流统计：不影响性能大流表专用存储器DPU流表流表流表专属流表

26、访问通道高速匹配算法高性能流表设计：专用存储器、通道、算法业界传统方案星云硬件大流表方案2202002,0484,0968,19210,240 20,480 40,960 81,920 163,840420,000pps1.业界传统方案：从40K流开始，转发性能快速下降2.星云硬件方案：流数量变化不会影响转发性能，持续稳定转发转发性能对比：星云智联方案 高性能、高稳定性流数 2023 NebulaMatrix Technology LTD.All rights reserved.核心技术创新：4级硬件HQoS，资源隔离，精细化Qos管理通过四级硬件调度器，确保高优先级用户和业务性能：硬件支持对

27、流量2级整形按队列(子业务)、vNIC(业务)、vNIC组(VM)层次化Qos管理 调度器调度器调度器存储游戏WebShaping+WRRShaping+WRRSP+WRR业务/vNICVM/vNIC组端口队列出端口调度器数据恢复数据备份业务写业务读目录1目录2目录n 子业务/队列SP+WRR存储游戏Web 2023 NebulaMatrix Technology LTD.All rights reserved.核心技术创新：NBL-RoCE，“即插即用”RDMA方案协议问题:规模小：依赖DCQCN与PFC，一般几百节点稳定性低：PFC风暴与死锁丢包敏感：性能对丢包敏感（Go-back-N）易

28、用性问题:网络升级：依赖交换机无丢包，要求全网设备升级配置复杂：网卡、交换机参数多，部署与维护复杂可扩展性：组网规模变化，需要较多配置和调试星云智联NBL-RoCE方案：即插即用、网络 0升级 0配置 两个算法：拥塞控制算法：NBL-CC、选择性重传算法：NBL-SRP 即插即用：0网络升级(硬件和软件)、0配置变更、0 PFC、0 ECN通过2个算法，解决6大问题，实现“即插即用”提升十倍：几百 几千 无PFC、无ECN 彻底解决风暴、死锁 0 网络设备替换/升级 0 网络配置 流完成时间优于 DCQCN 23倍 快速启动、快速收敛、公平性 Go Back N 选择性重传 基于普通IP设备

29、开放产业链 2023 NebulaMatrix Technology LTD.All rights reserved.核心技术创新：硬件辅助高性能vDPA，支持虚机热迁移UserKernelVFIOVFVFVirtiovringqueueVirtiovringqueueVFVirtiovringqueuedirty page trackingPacket Descriptor AdapterNetwork Interface SubsystemAdaptive Programmable Parallel PipelineIntra-connectService-Oriented Acceler

30、ators SubsystemControl Plane SubsystemDMA&IOMMUQemuGuestvirtio-net driverKVMvDPA（Virtio Data Path Acceleration）软件虚拟化灵活性+硬件虚拟化直通高性能2020年3月合入linux内核主线控制通道：vDPA中介设备将各厂商设备转换映射为标准virtio设备，定义标准的热迁移硬件辅助接口数据通道：收发队列和数据Buffer地址直接在设备与VM间映射，实现零拷贝数据交互通过硬件刷新“脏页”，提升效率在虚机热迁移时，将虚机接收数据的内存页对应更新Hypervisor中的”脏页bitmap”支持

31、收集和恢复IO队列传输状态OVS/DPDK vhost-user backendvhost-user frontendVFVirtiovringqueuePacket BufferQueue ManagementResource ManagementEgress VirtioNetworkProcessIngress VirtioNetworkProcessVirtqueuesvDPA DriverVirtio Data planeVirtio Ctrl plane1.公司介绍2.解决方案3.技术创新4.开放生态 2023 NebulaMatrix Technology LTD.All rig

32、hts reserved.31生态：积极融入主流服务器生态，其它仍在快速适配中 2022 NebulaMatrix Technology LTD.All rights reserved.FusionOS操作系统CPU服务器BIOS星云智联开发生态芯片：高性能可编程数据面业务层运维管理层BMC多行业应用ATP:Adaptive Parallel Programmable Pipeline Architecture 星云智联聚焦：高性能可编程数据面虚拟化软件开放：每层均提供API、驱动、插件，便于开发硬件开放：服务器：浪潮、新华三、超聚变、长江计算、联想、长城、DELL等CPU：X86、鲲鹏、飞腾、海光其它：计划中THANKS!生态合作：partnersnebula-