1、李春强平头哥 软件研发总监玄铁RISC-V AI全栈软硬件平台RISC-V AI技术的挑战和机遇RISC-V作为开源、开放指令架构，进一步推动AI算力和芯片架构发展算法应用多样性芯片架构多样性算法应用部署难量化需多样性算子分割/融合难算力分析优化难软硬协同优化AI基础软件，创新玄铁RISC-V AI算力，打造算法和应用开发便捷性算力抽象库OpenCV、CSI-NN功能性能诊断工具视频视觉应用框架cxVision pipeline引擎TMedia媒体库编解码、变换、传输AI算法&应用玄铁RISC-V 弹性算力HHBAI编译部署工具不断丰富的算法应用生态（170+）不断丰富的硬件算力生态FCENP

2、UGPUVPUISPCV181xTH1520TX510K320D1MobilenetResnetYOLOBERTViTASRNLPTransformer玄铁RISC-V AI全栈软硬件平台RISC-V弹性算力助力不同场景的AI应用RISC-V Vector覆盖500GOPS应用场景INT4/8/16、FP16等数据类型8RLEN=256RLEN=128Matrix registers20+条扩展指令，8个二维矩阵寄存器单核可达 2 TOPS，支持INT4/8/16，FP16RISC-V MatrixRISC-V 异构芯片GPU，NPU，FCE、DSP，VPU等异构算力高速IO：MIPI、PCI

3、e、USB等和DDR存储带宽高性能算力低成本算力多层次全覆盖的AI硬件算力抽象算法从RISC-V Scalar、Vector到Matrix再到异构算力引擎的无缝迁移RISC-V软硬协同优化全链路算子覆盖RISC-VVector指令RISC-VMatrix指令芯片异构算力RISC-VScalar指令CSI-NNAI算子库TMedia媒体库mobilenetresnetvggyoloscalarvector(vlen128）matrix（mlen256+vlen256）npu(4T）不同算力性能并行编译、内建函数原生vlen、汇编优化200+卷积、激活等算子视频编解码、前/后

4、处理ONNXCaffe、PytouchTensorFlow算子融合，算子拆分常量折叠，量化信息传播零点合并等计算图优化对称/非对称/通道INT8/INT16/FP16类型自动混合、量化损失评估离线子图划分CPU/NPU异构计算ONNX Runtime模型转换图优化量化代码生成异构执行前端算法模型异构执行文件算法开放接口ONNX生态插件00.20.40.60.81resnet50mobilnetv2inceptionv1ssd量化精度(越越好)HHB第三具004000resnet50mobilnetv2inceptionv1ssdAI推理性能(时间，越越好)HHB第三具围绕

5、着RISC-V Vector、Matrix及其自主扩展指令的AI编译让RISC-V可以第一时间适应AI算法和算子的快速发展HHB RISC-V AI编译工具HHB RISC-V AI推理引擎双推理引擎覆盖算力场景和应用生态场景实现RTOS、Linux、Android跨平台算子静态链接模式适应低成本场景0.915.64.834.611.163.514.50070动态库（单位MB）HHB推理引擎ONNX runtimetflite引擎1引擎2引擎3引擎4ONNX推理引擎兼容主流算法生态Original modelCompilationexecutionCPU instruct

6、ionbinary graphData-interchangeformat graphInterpretationexecutionHHB AI编译10类，5000+网络模型支持ONNX17000+开源项目依赖ONNXcxVision视频视觉pipeline引擎RenderCaptureDetectorTrackerClassifierDecodeImagePre-process算法插件库Pipeline引擎Pipeline描述应用流水线u插件式算法开发u脚本描述定义流水线应用u40+通用插件，200+RISC-V Vector优化算子u16路 1080P 25fps（TH1520+yolov

7、5检测算法）u 40ms 时延（TH1520+yolov5检测算法）算力模块拐点分析4T133ops/byteops/smobilenetVGG16MemoryboundComputebound量化损失分析inputlayer0layer1output0.9990.989layer20.947热点算子分析瓶颈拐点分析profiler精度损失定位热点算子跟踪调用关系算力负载分析HHB编译自动插桩模型转换图优化量化代码生成前端算法模型异构执行针对RISC-V指令特性的自动插桩和PMU性能数据呈现让RISC-V AI算法性能优化快速收敛RISC-V AI算法功能和性能Profiling从开发板到应用方案的触手可及小到门锁门禁，大到边缘计算、安全支付覆盖电力，商业，教育，支付，办公，家居等多领域LicheePi 4ACPU：4*C910Android/LinuxK230勘智CPU：C908Vector+KPUCV81x华山派CPU：C906Vector+NPU跨RTOS、Linux、Android的RISC-AI生态开发板门锁边缘计算门禁视觉支付未来展望多芯、多卡、多机RISC-V AI分布式部署RISC-V安全保障AI可信计算AI Model Zoo算法和应用驱动RISC-V演进T H A N K S