报告预览

2-20231222_RTT_Renesas_MCU_AI.pdf

编号：161117

PDF 23页 2.69MB 下载积分：VIP专享

下载报告请您先登录！

2-20231222_RTT_Renesas_MCU_AI.pdf

1、 2023 Renesas Electronics Corporation.All rights reserved.吴频吉嵌入式处理器事业发展部瑞萨电子从云端到边缘端点从云端到边缘端点的智能化的智能化在在MCU上构建上构建AI能力能力 2023 Renesas Electronics Corporation.All rights reserved.2023 Renesas Electronics Corporation.All rights reserved.第第 2 页页为什么需要嵌入式人工智能为什么需要嵌入式人工智能运行在云端的AI算法实时运行的例子（使用连续输入的数据进行推演）嵌入式AI

2、1 1秒左右秒左右毫秒级毫秒级e-AI的运行例子的运行例子数据类型数据类型处理时间处理时间生产线上的错误检测生产线上的错误检测震动震动20ms扫地机器人的摄像头扫地机器人的摄像头图像图像100ms（最多（最多5张）张）2023 Renesas Electronics Corporation.All rights reserved.第第 3 页页两种嵌入式两种嵌入式AI的开发模式的开发模式模型设计模型设计和训练和训练训练训练数据数据模型翻译和模型翻译和调整调整投入的投入的开发资源开发资源自带模型开发BYOM用户用户用户（基于翻译工具）高自动机器学习AutoML方案提供商用户或方案提供商方案提供

3、商，基于目标芯片进行调整优化低 2023 Renesas Electronics Corporation.All rights reserved.第第 4 页页人工智能系统的开发和使用人工智能系统的开发和使用训练训练根据训练数据集计算神经网络的各个权重处理能力需求：很高很高可以在可以在MCU中实现人工智能推理！中实现人工智能推理！推理推理使用训练好的模型计算结果处理能力需求：一般一般已知单个数据狗:0.94猫:0.03人:0.01车:0.001像素数据需要大量的训练数据未知输入层输出层隐藏层训练推理输入层输出层输入层输出层 2023 Renesas Electronics Corporatio

4、n.All rights reserved.第第 5 页页瑞萨的人工智能瑞萨的人工智能/机器学习解决方案机器学习解决方案特定应用特定应用/商业服务商业服务差异化差异化/专有设计专有设计高级合作伙伴语音用户界面、视觉和特定于应用程序的人工智能、机器学习和自动机器学习工具优化的AI内核快速推向市场Reality AI 用于实时分析的端到端自动机器学习工具生成小型 AI 软件强大的数学运算内核e-AI Translator 自带模型开发模式（BYOM）支持主流的AI神经网络框架生成源代码瑞萨自有方案瑞萨自有方案高级合作伙伴高级合作伙伴生态系统合作伙伴生态系统合作伙伴增值扩展增值扩展瑞萨的

5、开发工具瑞萨的开发工具实时分析实时分析/异常检测异常检测自动机器学习的开发流程自动机器学习的开发流程 2023 Renesas Electronics Corporation.All rights reserved.第第 6 页页TINY ML和端点设备的人工智能和端点设备的人工智能在传感系统的端点设备上运行推理引擎，实现人工智能处理推理时无需联网，在设计和服务级别方面有很多优势在预处理和运行机器学习时的实时性和确定性，例如FFT 降低联网成本在现有的MCU中集成新的服务通过选择不同的MCU来优化成本和功耗用户数据全部在端点侧进行处理，实现数据安全和数据保护推理推理实时应用系统实

6、时应用系统推理推理模型训练模型训练基于云端的基于云端的AI传感器传感器端点设备端点设备传感器传感器预处理预处理模型训练模型训练 2023 Renesas Electronics Corporation.All rights reserved.第第 7 页页REALITY AI 提供开发工具软件和解决方案提供开发工具软件和解决方案Reality AI 开发工具软件针对特定用例的完整框架，包括硬件、固件、软件和机器学习参考设计。用于瑞萨电子 MCU、MPU 和电机控制套件的模型创建和硬件优化软件Automotive SWS 用于车辆的基于音频的 ADAS 传感的完整框架RealityCheck H

7、VAC 用于智能、可自诊断空调系统的完整框架Reality AI 解决方案RealityCheck MOTOR用于嵌入式系统的预测性维护和控制反馈用于瑞萨电机控制板的Reality AI Tools附加组件RealityCheck AD（异常检测）用于智能制造和生产过程优化工厂自动化应用的Reality AI Tools附加组件Reality AI Tools构建模型、可视化解释、优化硬件构建 2023 Renesas Electronics Corporation.All rights reserved.第第 8 页页BYOM开发方式简介开发方式简介 BYOM Bring Your Own

8、Model：开发者从头开始设计所需要的AI模型，或使用开源模型 E-AI Translator将预训练的模型转换成MCU可以运行的C语言代码，用户可以将代码集成到应用框架里开发和部署阶段（DEVOPS）数据阶段（DATAOPS）开始采集数据开始采集数据众包数据众包数据（Amazon Mechanical Turk,Crowdflower等.）学术界学术界/商商业数据业数据（大学、第三方）用户特有数据用户特有数据（现场数据采集/实验室数据）获取数据获取数据数据清洗数据清洗数据验证数据验证数据转换数据转换数据打标数据打标训练好的训练好的模型模型实验实验算法设计算法设计模型训练模型训练模型调优模型调

9、优嵌入式开发嵌入式开发量产部署量产部署嵌入式系统嵌入式系统集成集成测试部署测试部署AI/ML 设计设计模型转换和模型转换和MCU集成集成使用预训练的模型开始开发使用预训练的模型开始开发E-AI TranslatorTensorFlow Lite for Microe2Studio IDE,IAR,ARM AC 等等.2023 Renesas Electronics Corporation.All rights reserved.第第 9 页页E-AI TRANSLATOR 简介简介在在MCU/MPU上上进行推理进行推理支持多种支持多种AI框架框架e2studio IDE预训练的AI模型e-AI

10、Translatore-AI Checker基于规则的编程基于规则的编程客户应用客户应用集成 2023 Renesas Electronics Corporation.All rights reserved.第第 10 页页BYOM开发示例开发示例TensorFlowEK-RA4M2e2 studioe-AI Translator4.计算AI推理使用的时间，并在MCU硬件上RA4M2(100MHz,CM33)确认结果。3.确认AI算法的ROM/RAM占用，并编写应用程序。2.将训练好的AI模型进行翻译，并导入瑞萨的集成开发环境e2 studio。1.AI模型在PC上用TensorFlow进行训

11、练。2023 Renesas Electronics Corporation.All rights reserved.第第 11 页页创建模型和训练数据创建模型和训练数据 AI界的HelloWorld：识别手写的数字“0”到“9”使用MNIST数据集进行深度学习大小：28x28像素，灰度数据用于训练的数据：60,000，测试数据：10,000 可以从http:/ 瑞萨提供样例模型：tfkeras_mnist.py10(0-9)784(28*28)Python编写的AI训练脚本，实现从网络下载用于训练和测试的手写字符定义神经网络进行训练将训练好的AI模型保存成结果 cnn_model

12、.h5 2023 Renesas Electronics Corporation.All rights reserved.第第 12 页页操作流程操作流程1.执行“py-3.7 tfkeras_mnist.py”下载数据，训练，约耗时5分钟。初始测试训练中最终测试5.翻译生成的C语言源代码4.转换选项，性能优先或RAM资源优先-选择“RAM size”3.选择框架-“Keras”（此演示使用TensorFlow的Keras层）2.打开e-AI Translator，指定训练生成的”cnn_model.h5”文件 2023 Renesas Electronics Corporation.All

13、rights reserved.第第 13 页页在在MCU中运行推理功能中运行推理功能 RA4M2上的资源使用情况：RAM:21KB(16%)ROM:52KB(10%)推理结果：推理功能（调用“dnn_compute”）指定输入数据（演示中使用预先准备的手写字符”1”）数字“1”的激活值：0.995 2023 Renesas Electronics Corporation.All rights reserved.第第 14 页页E-AI的使用实例的使用实例瑞萨QE for Capacitive Touch创建的手势软件利用了深度学习技术，让AI学习当手靠近多个电极（传感器）时不断变化的电容值，

14、从而识别出诸如“滑”和“推”等手势。经过学习的AI模型可轻松地转换为在实际机器上运行的程序，以实现安全和快速的反应。检测到手势！数据输入/重采样识别错误反馈硬件平台运行测试e-AITranslatore-AICheckerQE工具进行数据分析和模型训练CCTF 2023 Renesas Electronics Corporation.All rights reserved.第第 15 页页RA8:瑞瑞萨萨推出推出的的业界业界首首款款 CORTEX-M85内核内核MCU！完全确定性、低延迟、实时运行能力，实现性能突破 M-Profile矢量扩充 Helium，为边缘节点人工智能等计算密集型应用提

15、供先进的DSP/ML 功能提供 6.39 CoreMark/MHz 的性能，可支持要求最高计算性能和 DSP 或 ML 功能的苛刻物联网应用。全新的全新的 RA8 MCU弥合了弥合了MCU和和MPU之间的差距之间的差距用更低功耗且易于使用的用更低功耗且易于使用的MCU来实现来实现计算密集型应用。计算密集型应用。2023 Renesas Electronics Corporation.All rights reserved.RA6M4RA4M3RA4M2RA6M5RA2E1RA2L1RA6T2RA4E1第第 16 页页RA 产品家族阵容产品家族阵容未来产品2024Cortex-M2348MHz

16、Cortex-M4120MHzCortex-M448MHzCortex-M2348MHzCortex-M33100MHzCortex-M33200/240MHzCortex-M85480MHz第一代产品20192020第二代产品20202023超低功耗超低功耗高能效比高能效比高性能高性能旗舰产品旗舰产品RA6M1RA4M1RA2A1RA6M2RA6M3RA6T1RA4W1RA2E2RA6T3RA6E1RA6E2RA4E2RA4T1RA2E3RA8M1RA8D1 2023 Renesas Electronics Corporation.All rights reserved.第第 17 页页瑞萨

17、瑞萨 RA8D1 产品群产品群ARM CORTEX CORTEX M85 480MHZ/2MB 闪存闪存/1MB RAM RA248MHzRA6240MHzRA8最高480MHzRA4100MHzRA8D1 40nm 高性能工艺 480MHz Cortex M85内核，支持Trustzone 支持Helium 工作温度范围：Tj=-40 至 125 工作电压：1.68V 3.6V性能480MHz 32位位Arm Cortex-M85 内核内核FPUARM MPUSWDETMNVICJTAG边界扫描边界扫描片内存储片内存储程序闪存 2MB/1MBFlash CacheTCM SRAM 128KB

18、ECC SRAM 384KB带奇偶校验 SRAM 512KBData Flash 12KBI/D Cache 32KB待机SRAM 1KB通信接口通信接口带DMA的以太网MAC高速USB 2.0 x 1全速USB 2.0 x 1CAN FD x 2I2C x2+I3C x1+SPI x2SCI x 6UART/简单I2C/简单SPIOctal SPI x1(XIP,DOTF)SDHI x2+SSI x2外部总线接口模拟外设模拟外设12位ADC x 13通道12位ADC x 12通道3 路采样保持器12位 DAC x 2高速比较器 x 2温度传感器系统功能系统功能DMA x 8数据传输控制器 D

19、TCDC-DC转换器时钟电路片上振荡器HOCO(16/18/20/32/48M)LOCO(32KHz)ILOCO(15KHz)事件链接控制器 ELCVBAT定时器定时器32位GPT x 816位GPT x 6低功耗32位定时器 x 2低功耗16位定时器 x 2看门狗定时器实时时钟功能安全功能安全内存保护单元 MPUSRAM奇偶校验ECC SRAM时钟精度测量CRC运算独立看门狗数据运算电路 DOCFlash 区域保护ADC 自检功能用户界面用户界面TFT显示控制器2D绘图引擎MIPI-DSICEU摄像头接口封装封装LQFP 176BGA 224信息安全信息安全AES(128/192/256)真

20、随机数发生器RSA/ECDSARSA4KECC SHA-2(224/256/384/512)CMAC/GMAC/HMAC安全调试功能SPA/DPA防护 2023 Renesas Electronics Corporation.All rights reserved.第第 18 页页内核性能的提升内核性能的提升https:/ v7-MArm v8.1-MArm v8.1-MTrustZone不支持支持支持支持Helium(MVE)不支持支持支持支持HW 浮点运算标量单/双精度标量半/单/双精度向量半/单精度标量标量半半/单单/双双精度精度向量向量半半/单单精度精度单周期M

21、AC运算1 32bx32b8 8bx8b4 16bx16b2 32bx32b8 8bx8b4 16bx16b2 32bx32bCoreMarks/MHz5.294.46.39 2023 Renesas Electronics Corporation.All rights reserved.第第 19 页页RA8 MCU上的电机失效检测上的电机失效检测使用Helium 加速，在RA8 MCU上实现BLDC 电机控制和异常检测 AI 检测电机电流，通过256 FFT 将信号转换为频率因数使用TensorFlow Lite for Micro 作为推理引擎基于CNN的预训练 AI，可对正常或异

22、常操作进行分类检测电机轴未对准人为添加的轴偏U,V,WPWM电流反馈监控推理结果故障检测软件电流反馈基于瑞萨e-AI的电机控制预测性维护用例使用Helium加速，演示了电机控制+失效检测的AI逆变BLDC电机控制+TensorFlow Lite for Micro 神经网络运算（Helium加速）FFT预处理（Helium加速）ADC数据采集 2023 Renesas Electronics Corporation.All rights reserved.第第 20 页页电机错误检测电机错误检测AI 测试结果测试结果使用使用Helium的的RA8 MCU实现实现5.3倍的推理性能倍的推理性

23、能!Helium可以加速电机控制算法和可以加速电机控制算法和AI算法算法只需配置编译器选项，即可为只需配置编译器选项，即可为TensorFlow Lite for micro+CMSIS开启开启Helium支持支持测量环境:在实际的MCU中使用相同的 INT8 CNN 模型进行测量 FFT 运算不包括在推理时间测量中在所有 MCU 中启用Cache0.002.004.006.008.0010.0012.0014.0016.00Million Cycle推理时间（以时钟周期计）推理时间（以时钟周期计）Cortex-M33200 MHzCortex-M7280 MHzCortex-M85480

24、 MHzCortex-M85480 MHz MVE Disabled使用使用Helium实现实现5.3倍的倍的性能性能 2023 Renesas Electronics Corporation.All rights reserved.第第 21 页页RA8D1 MCU上的人体检测上的人体检测AI演示演示检测视野中的每个人，即使部分被遮挡也可以跟踪人员并分配多达 20 个唯一 ID 支持室内、室外和红外 LED 照明检测距离超过 20m 使用超过 3200 万张标记图像进行训练支持高达180度的超广角镜头更多信息瑞萨下一代 RA MCU 上的基于摄像头的人体检测，与Plumerai合作

25、开发使用Helium加速，实现13fps的帧率，性能提升至的帧率，性能提升至Cortex-M7内核的3.6倍倍 2023 Renesas Electronics Corporation.All rights reserved.第第 22 页页人体检测人体检测AI 实测结果实测结果峰值RAM用量：289 KB；程序大小：1194 KB通过Helium实现每秒13.6帧的推理速度降低CPU利用率，为应用程序提供足够的CPU资源05000250030003500Cortex-M33160MHzCortex-M4120MHzCortex-M7280MHzCortex-M85240MHzCortex-M85240MHzMVEDisabledCortex-M85480MHzCortex-M85480MHzMVEDisabled推理时间（毫秒）推理时间（毫秒）PlumeraiTFMicro CMSIS-NN使用使用Helium实现实现3.6倍性能倍性能!2023 Renesas Electronics Corporation.All rights 2023 Renesas Electronics Corporation.All rights reserved.

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（2-20231222_RTT_Renesas_MCU_AI.pdf）为本站（张5G）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

2-20231222_RTT_Renesas_MCU_AI.pdf

2-20231222_RTT_Renesas_MCU_AI.pdf