《3-_Renesas_MCU_AI.pdf》由会员分享,可在线阅读,更多相关《3-_Renesas_MCU_AI.pdf(29页珍藏版)》请在三个皮匠报告上搜索。
1、 2023 Renesas Electronics Corporation.All rights reserved.在在MCU上构建上构建AI能力能力MCU事业发展部瑞萨电子 2023 Renesas Electronics Corporation.All rights reserved.认识瑞萨电子认识瑞萨电子瑞萨电子助力打造更安全、更智能、可持续的未来,科技使我们的生活更轻松。作为全球微控制器供应商,瑞萨结合嵌入式处理、模拟、电源和连接方面的专业知识,提供完整的半导体解决方案。这些成功产品组合加快了汽车、工业、基础设施和物联网应用的上市时间,通过数十亿连网智能设备改善人们的工作和生活方式。
2、*Consolidated,as of December 31,2022 集团总部东京,日本东京,日本约约21,00021,000人人全球员工数*运营覆盖30+30+国家和地区国家和地区约约20,00020,000项项已获得及申请中的专利1502715027亿日元亿日元2022年销售额 2023 Renesas Electronics Corporation.All rights reserved.全球市场定位全球市场定位(2022)Vendors with revenue above$200 millionOther vendors瑞萨电子持续以稳定增长拓展各应用市场业务。Graphs cr
3、eated by Renesas based on Gartner Research.Source:Gartner,Market Share:Semiconductors by End Market,Worldwide,2022,Andrew Norwood et al.,31 March 2023Total semi=Total Semiconductor,MCU=Total Microcontroller,Non-Auto=All Application AutomotiveGARTNER is a registered trademark and service mark of Gart
4、ner,Inc.and/or its affiliates in the U.S.and internationally and is used herein with permission.All rights reserved.TotalSemiMCU7%17%No.1No.110%MCUNo.5No.430%MCU所有应用领域所有应用领域汽车电子汽车电子非汽车电子非汽车电子 2023 Renesas Electronics Corporation.All rights reserved.人工智能系统的开发和使用人工智能系统的开发和使用第第 4 页页可以在嵌入式系统中实现人工智能推理!可以
5、在嵌入式系统中实现人工智能推理!训练训练根据训练数据集计算神经网根据训练数据集计算神经网络的各个权重络的各个权重处理能力需求:处理能力需求:很高很高推理推理使用训练使用训练好的好的模型模型计算计算结果结果处理能力需求:处理能力需求:一般一般已知单个数据狗:0.94猫:0.03人:0.01车:0.001像素数据需要大量的训练数据未知输入层输出层隐藏层训练推理输入层输出层输入层输出层 2023 Renesas Electronics Corporation.All rights reserved.瑞萨的人工智能瑞萨的人工智能/机器学习解决方案机器学习解决方案特定应用特定应用/商业服务商业服务差异化
6、差异化/专有设计专有设计第第 5 页页高级合作伙伴 语音用户界面、视觉和特定于应用程序的人工智能、机器学习和自动机器学习工具 优化的AI内核 快速推向市场Reality AI 用于实时分析的端到端自动机器学习工具 生成小型 AI 软件 强大的数学运算内核e-AI Translator 自带模型开发模式(BYOM)支持主流的AI神经网络框架 生成源代码瑞萨自有方案瑞萨自有方案高级合作伙伴高级合作伙伴生态系统合作伙伴生态系统合作伙伴增值扩展增值扩展瑞萨的开发工具瑞萨的开发工具实时分析实时分析/异常检测异常检测自动机器学习的开发流程自动机器学习的开发流程 2023 Renesas Electroni
7、cs Corporation.All rights reserved.TINY ML和和端点设备端点设备的人工智能的人工智能 在传感系统的端点设备上运行推理引擎,实现人工智能处理 推理时无需联网,在设计和服务级别方面有很多优势第第 6 页页推理推理实时应用系统实时应用系统推理推理模型训练模型训练基于云端的基于云端的AI传感器传感器端点设备端点设备传感器传感器预处理预处理优点:优点:在预处理和运行机器学习时的实时性和在预处理和运行机器学习时的实时性和确定性,例如确定性,例如FFT降低联网成本降低联网成本在现有的在现有的MCU中集成新的服务中集成新的服务通过选择不同的通过选择不同的MCU来优化成本
8、和功耗来优化成本和功耗用户数据全部在端点侧进行处理,实现用户数据全部在端点侧进行处理,实现数据安全和数据保护数据安全和数据保护端点端点AI的的运行例子运行例子数据类型数据类型处理时间处理时间生产线错误检测生产线错误检测震动震动20ms扫地扫地机器人摄像头机器人摄像头图像图像100ms(最多(最多5张)张)模型训练模型训练 2023 Renesas Electronics Corporation.All rights reserved.基于自动机器学习(基于自动机器学习(AUTO-ML)的开发模式)的开发模式REALITY AI 在在MCU/MPU边缘节点上实现先进信号处理和机器学习边缘节点上实
9、现先进信号处理和机器学习+先进的信号处理技术先进的信号处理技术人工智能和异常检测人工智能和异常检测MCU/MPU 边缘节点边缘节点Reality AI 自动搜索多种信号处理转换方法,以创建定制的、优化的特征转换。Reality AI 自动生成机器学习模型、解释性可视化和硬件设计分析。Reality AI 的算法可以运行在瑞萨几乎所有 MCU 和 MPU 内核上,并且不断添加新内核的支持。Reality AI 还支持瑞萨电机控制板。可支持可支持16位内核到位内核到64位内核位内核第第 7 页页 2023 Renesas Electronics Corporation.All rights res
10、erved.REALITY AI TOOLS Reality AI 使用强大的云计算能力生成用于嵌入式传感器的机器学习代码高频传感器数据震动,音频信号电信号,射频/雷达信号私有传感器Reality AI Tools 软件基于云端的工具自动机器学习-AutoML数据分析设计分析传感器的选择和放置组件的最低规格模型的灵敏度和容差用于嵌入式系统的机器学习代码源代码或编译好的目标码可以合并到IDE项目中第第 8 页页AI Explore自动化特征探索和模型生成BOM Optimization使用 AI 寻找最具成本效益的组件Data Readiness了解训练和测试数据的状态Edge AI/TinyM
11、L适用于最小资源 MCU的超紧凑的高效代码特征是对“重要事物”的数学描述,目的是区分类别、预测变量或检测异常。2023 Renesas Electronics Corporation.All rights reserved.REALITY AI 提供开发工具软件和解决方案提供开发工具软件和解决方案Reality AI 开发工具软件Reality AI Tools构建模型、可视化解释、优化硬件构建RealityCheck AD(异常检测)用于智能制造和生产过程优化工厂自动化应用的Reality AI Tools附加组件RealityCheck MOTOR用于嵌入式系统的预测性维护和控制反馈用于瑞
12、萨电机控制板的Reality AI Tools附加组件Reality AI 解决方案RealityCheck HVAC 用于智能、可自诊断空调系统的完整框架Automotive SWS 用于车辆的基于音频的ADAS 传感的完整框架用于瑞萨电子用于瑞萨电子 MCU、MPU 和电机控制和电机控制套件的模型创建和硬件优化软件套件的模型创建和硬件优化软件针对特定用例的完整框架,包括硬件、针对特定用例的完整框架,包括硬件、固件、软件和机器学习参考设计。固件、软件和机器学习参考设计。第第 9 页页 2023 Renesas Electronics Corporation.All rights reserv
13、ed.RealityCheck HVAC 外加一个模型训练和定制过程,以满足您的特定产品需求第第 10 页页硬件参考设计传感器的选择和安装位置处理器选择和其他电子元件通信和接口设计固件数据获取信号处理输出和通信机器学习异常检测预测模型剩余使用寿命预测 2023 Renesas Electronics Corporation.All rights reserved.RealityCheck HVAC 解决方案的开发过程解决方案的开发过程我们的过程从实验室的模型校准和再训练开始,随着对 ML+硬件设计的性能达到预期的信心不断增加,我们增加单元数量并转移到现场运行。第第 11 页页开始前的准备白板推
14、演,目标和需求定义阶段 I在数个单元上进行基于实验室的数据收集,以校准和重新训练客户设备的模型。通常使用3-6 个单元。阶段 II基于更多单元的现场数据收集,以收集额外的训练数据和更多样化的背景。通常使用12-50 个单元。阶段 III原型系统的现场测试,模型微调和误报抑制。在准备制造之前对 ML 模型和产品设计进行最终验证。通常使用25-100 个单元。对模型和产品设计性能的信心增强 2023 Renesas Electronics Corporation.All rights reserved.数据采集数据采集RealityCheck HVAC的客户可以将数据收集外包给瑞萨和 OTS:第第
15、 12 页页OTS 为 HVAC 系统提供新技术的原型开发和性能测量。他们运营着一个 8,000 平方英尺的实验室,其中包括多个环境室和温控风洞,可以对小容量系统和组件进行测试。OTS 在适用的情况下尽可能遵循 ASHRAE/AHRA/ANSI 标准,但也提供定制测试以满足特定的产品开发需求。2023 Renesas Electronics Corporation.All rights reserved.选择传感器并确定安装位置选择传感器并确定安装位置不同类型的 HVAC 设备需要不同的器件(例如,住宅 OD/ID 设备、商业设备、小型分体系统、窗机、商业制冷)。第第 13 页页多达 130
16、个不同的传感器/安装位置候选最小、成本和精度优化的传感器组,并提供最佳安装位置AI Explore自动化特征探索和模型生成BOM Optimization使用 AI 寻找最具成本效益的组件Data Readiness了解训练和测试数据的状态Edge AI/TinyML适用于最小MCU的超紧凑高效代码Reality AI Tools 开发工具开发工具 2023 Renesas Electronics Corporation.All rights reserved.振动传感器安装在带过滤器和阻尼器的工业风扇上的三种模型:运行状态剩余使用寿命异常检测实时运行的固件同时运行3种AI模型11K 乘法运算
17、,10KB RAM,30KB FlashREALITY CHECK 空调系统演示空调系统演示基于振动信号的状态监测、预测性维护和异常检测基于振动信号的状态监测、预测性维护和异常检测第第 14 页页 2023 Renesas Electronics Corporation.All rights reserved.BYOM开发方式简介开发方式简介 BYOM Bring Your Own Model:开发者从头开始设计所需要的AI模型,或使用开源模型 E-AI Translator将预训练的模型转换成MCU可以运行的C语言代码,用户可以将代码集成到应用框架里第第 15 页页开始采集数据开始采集数据众
18、包数据众包数据(Amazon Mechanical Turk,Crowdflower等.)学术界学术界/商商业数据业数据(大学、第三方)用户特有数据用户特有数据(现场数据采集/实验室数据)数据阶段数据阶段(DATAOPS)获取数据获取数据数据清洗数据清洗数据验证数据验证数据转换数据转换数据打标数据打标训练好的训练好的模型模型实验实验算法设计算法设计模型训练模型训练模型调优模型调优嵌入式开发嵌入式开发量产部署量产部署嵌入式系统嵌入式系统集成集成测试部署测试部署AI/ML 设计设计模型转换和模型转换和MCU集成集成使用预训练的模型开始开发使用预训练的模型开始开发E-AI TranslatorTen
19、sorFlow Lite for Microe2Studio IDE,IAR,ARM AC 等等.开发和部署阶段(开发和部署阶段(DEVOPS)2023 Renesas Electronics Corporation.All rights reserved.E-AI TRANSLATOR 简介简介第第 16 页页在在MCU/MPU上上进行推理进行推理支持多种支持多种AI框架框架E2studio IDE预训练的AI模型e-AITranslatore-AI Checker基于规则的编程基于规则的编程客户应用客户应用集成版本版本发布计划发布计划V3.0全新发布(2023.5)支持新版本的框架:支持新
20、版本的框架:TensorFlow 2.9,PyTorch 1.12,Keras 2.9支持循环神经网络支持循环神经网络 RNNV3.12023年底支持RA8的Helium增强循环神经网络功能 2023 Renesas Electronics Corporation.All rights reserved.BYOM开发示例开发示例第第 17 页页3.确认AI算法的ROM/RAM占用,并编写应用程序。e2studio4.计算AI推理使用的时间,并在RA4M2(100MHz,CM33)硬件上确认结果。1.MNIST(手写数字识别),经过TensorFlow进行训练。2.将训练好的AI模型进行翻译,并
21、导入瑞萨的集成开发环境e2studio。e-AI TranslatorTensorFlowRA4M2 2023 Renesas Electronics Corporation.All rights reserved.创建创建模型模型和训练数据和训练数据 AI界的HelloWorld:识别手写的数字“0”到“9”使用MNIST数据集进行深度学习 大小:28x28像素,灰度数据 用于训练的数据:60,000,测试数据:10,000 可以从http:/ 瑞萨提供样例模型:tfkeras_mnist.py第第 18 页页InputlayerOutputlayerHiddenlayer784(28*28
22、)10(0-9)输入层输出层隐藏层Python编写的AI训练脚本,实现-从网络下载用于训练和测试的手写字符-定义神经网络-进行训练-将训练好的AI模型保存成结果-cnn_model.h5 2023 Renesas Electronics Corporation.All rights reserved.操作流程操作流程第第 19 页页1.执行“py-3.7 tfkeras_mnist.py”下载数据,训练,约耗时5分钟。训练中最终测试初始测试2.打开e-AI Translator,指定训练生成的”cnn_model.h5”文件3.选择框架-“Keras”(此演示使用TensorFlow的Kera
23、s层)4.转换选项,性能优先或RAM资源优先-选择“RAM size”5.翻译生成的C语言源代码 2023 Renesas Electronics Corporation.All rights reserved.在在MCU中运行推理功能中运行推理功能第第 20 页页推理功能(调用“dnn_compute”)指定输入数据(演示中使用预先准备的手写字符”1”)推理结果:数字“1”的激活值:0.995 RA4M2上的资源使用情况:RAM:21KB(16%)ROM:52KB(10%)2023 Renesas Electronics Corporation.All rights reserved.e-A
24、I Translatore-AIChecker硬件平台运行测试识别错误反馈数据输入/重采样QE工具进行数据分析和模型训练E-AI的使用实例的使用实例瑞萨QE for Capacitive Touch创建的手势软件利用了深度学习技术,让AI学习当手靠近多个电极(传感器)时不断变化的电容值,从而识别出诸如“滑”和“推”等手势。经过学习的AI模型可轻松地转换为在实际机器上运行的程序,以实现安全和快速的反应。CCTF第第 21 页页 2023 Renesas Electronics Corporation.All rights reserved.瑞萨推出业界首款采用瑞萨推出业界首款采用 CORTEX-
25、M85 的的 MCU!完全确定性、低延迟、实时运行能力,实现性能突破 Arm 的 M-Profile矢量扩充 Helium,为边缘节点人工智能等计算密集型应用提供先进的DSP/ML 功能 Cortex-M85 提供超过 6 CoreMark/MHz 的性能,可支持要求最高计算性能和 DSP 或 ML 功能的苛刻物联网应用。第第 22 页页全新的全新的 RA MCU弥合了弥合了MCU和和MPU之间的差距之间的差距用更低功耗且易于使用的用更低功耗且易于使用的MCU来实现来实现计算密集型应用。计算密集型应用。2023 Renesas Electronics Corporation.All right
26、s reserved.内核性能的提升内核性能的提升第第 23 页页Cortex-M7Cortex-M55Cortex-M85架构Arm v7-MArm v8.1-MArm v8.1-MTrustZone不支持支持支持支持Helium(MVE)不支持支持支持支持HW 浮点运算标量 单/双 精度标量 半/单/双 精度向量 半/单 精度标量标量 半半/单单/双双 精度精度向量向量 半半/单单 精度精度单周期MAC运算1 32bx32b8 8bx8b4 16bx16b2 32bx32b8 8bx8b4 16bx16b2 32bx32bCoreMarks/MHz5.294.46.28https:/ 20
27、23 Renesas Electronics Corporation.All rights reserved.CORTEX-M85内核内核MCU上的电机失效检测上的电机失效检测 使用Helium 加速,在MCU实现BLDC 电机控制和异常检测 AI 检测电机电流,通过256 FFT 将信号转换为频率因数 使用TensorFlow Lite for Micro 作为推理引擎 基于CNN的预训练 AI,可对正常或异常操作进行分类 检测电机轴未对准第第 24 页页基于瑞萨e-AI的电机控制预测性维护用例使用Helium加速,演示了电机控制+失效检测的AI逆变BLDC电机控制+TensorFlow L
28、ite for Micro PWM电流反馈U,V,W神经网络运算(Helium加速)FFT预处理(Helium加速)ADC数据采集电流反馈推理结果监控人为添加的轴偏故障检测软件 2023 Renesas Electronics Corporation.All rights reserved.电机错误检测电机错误检测AI 测试结果测试结果 使用使用Helium的的CM85内核内核MCU实现实现5.3倍的倍的推理性能推理性能!Helium可以加速电机控制算法和可以加速电机控制算法和AI算法算法 只需配置编译器选项,即可为只需配置编译器选项,即可为TensorFlow Lite for micro+
29、CMSIS开启开启Helium支持支持第第 25 页页0.002.004.006.008.0010.0012.0014.0016.00Million Cycle推理时间(以时钟周期计)Cortex-M33200 MHzCortex-M7280 MHzCortex-M85480 MHzCortex-M85480 MHz MVE Disabled测量环境测量环境:在实际的MCU中使用相同的 INT8 CNN 模型进行测量FFT 运算不包括在推理时间测量中在所有 MCU 中启用Cache使用使用Helium实现实现5.3倍的倍的性能性能 2023 Renesas Electronics Corpor
30、ation.All rights reserved.CORTEX-M85内核内核MCU上的人体检测上的人体检测AI演示演示 检测视野中的每个人,即使部分被遮挡也可以 跟踪人员并分配多达 20 个唯一 ID 支持室内、室外和红外 LED 照明 检测距离超过 20m 使用超过 3200 万张标记图像进行训练 支持高达180度的超广角镜头第第 26 页页瑞萨下一代 RA MCU 上的基于摄像头的人体检测,与Plumerai合作开发使用Helium加速,实现13fps的帧率,性能提升至的帧率,性能提升至Cortex-M7内核的3.6倍倍样例视频 2023 Renesas Electronics Cor
31、poration.All rights reserved.人体检测人体检测AI 实测结果实测结果第第 27 页页05000250030003500Cortex-M33160MHzCortex-M4120MHzCortex-M7280MHzCortex-M85240MHzCortex-M85240MHz MVEDisabledCortex-M85480MHzCortex-M85480MHz MVEDisabled推理时间(毫秒)PlumeraiTFMicro CMSIS-NN使用Helium实现3.6倍性能!通过通过Helium实现每秒实现每秒13.6帧的帧的推理速度推理速度 峰值RAM用量:289 KB;程序大小:1194 KB降低降低CPU利用率,为应用程序提供利用率,为应用程序提供足够的足够的CPU资源资源 2023 Renesas Electronics Corporation.All rights reserved.瑞萨合作伙伴生态网络瑞萨合作伙伴生态网络第第 28 页页瑞萨就绪瑞萨就绪(Renesas Ready)合作伙伴网络合作伙伴网络提供广泛的构建模块方案,解决下一代物联网设计关键技术。2023 Renesas Electronics Corporation.All rights reserved.RENESAS.COM第第 29 页页