《智慧边缘:STM32携手RT-Thread开启边缘人工智能新篇章.pdf》由会员分享,可在线阅读,更多相关《智慧边缘:STM32携手RT-Thread开启边缘人工智能新篇章.pdf(33页珍藏版)》请在三个皮匠报告上搜索。
1、智慧边缘:STM32携手RT-Thread 开启边缘人工智能新篇章意法半导体(中国)微控制器、数字 IC 与射频产品部(MDRF)市场经理丁晓磊边缘AI的市场状况和趋势分布式人工智能策略充分使用亿级数量的节点段设备!3兆 量级百万 量级几千 量级数据中心云分析,存储,计算边缘侧IoT 网关,子数据中心 节点端实时性,本地处理超低功耗设备和传感器向边缘处理转移4智能网关智能节点深度边缘AI数据在智能传感器、智能节点和智能网关中进行处理智能传感器云端优点响应速度(快)带宽(低)隐私性提高(数据在本地存储)可靠性节能缺点将数据处理分布在 多个设备上*Optional深度边缘边缘*Edge AI 应用
2、领域效能数据量少/低功耗超低延时实时性的应用降低数据带宽产生和发出有意义的信息加强隐私和安全性数据不需要全部上云和通过网络0110提高精准度从更宽的传感器分析数据工业预测性维护条件检测预测性维护控制系统从家电到工业机器物联网(IoT)智慧城市,智慧楼宇,智慧家庭,和工业自动化Edge AI 在很多领域可以提供价值:5ML Commons ML Perf Tiny benchmarkSTM32已然成为嵌入式AI的主流平台#1 全球主流的MCU平台云端平台提供MCU基准测试多年边缘AI基准测试优秀贡献者更多通用&带硬件加速MCU和MPUSTM32MP1&STM32MP2 MPUsSTM32N6 M
3、CUSTM32 MCUs用户友好的 Auto-ML 工具 适用于所有STM32 MCUs传感异常检测 AI 模型优化和代码生成工具适用于所有STM32 MCUs传感音频视觉完整的AI框架适用于所有STM32 MPUs传感音频视觉X-LINUX-AI视觉HORSE+DOG+CAT传感(时间序列)音频异常检测软件工具,适合客户的各种情况重要的边缘 AI 技术STM32 Edge AI 产品、工具和应用Model Zoo成功案例ST 边缘AI 成功案例9更多案例在ST官网:https:/ AI Studio 应用微控制器STM32L4算法库类型异常检测和分类使用传感器湿度,声学,震动(1 轴和 3轴
4、),温度,气体,压力RAM/FLASH9Kb/17KbIRMA智能维护应用LoRaWAN+BLE+Zigbee,IP67,ATEX Zone 0客户挑战能够预测机械设备中存在的问题,是客户的一个需求点。在设备还在正常运行情况下,预测故障,是一个复杂的过程。解决方案基于多个传感器和嵌入式AI,IRMA 能够在边缘端预测设备失效。首先,IRMA 收集各种数据(震动,温度,压力,湿度,声音和气体),然后通过不断丰富的数据集和AI算法来做出推理判断。IRMA 可以在故障出现的初期就给出灵敏的预报。提供价值“在团队中没有数据科学专家的情况下,在很短的开发时间内,我们成功地在市场上创造了一个结合嵌入式智能
5、和6个传感器的独特解决方案。IRMA已经被多个工业奖项认可为重大创新,并已被著名客户安装在生产中。”Application of NanoEdge AI Studio 微控制器STM32G4算法库类型异常检测和分类使用传感器电流&震动RAM/FLASH12Kb/20Kb电气解决方案中的预测性维护客户挑战断路器的机械老化很难预测,会导致了不及时的停电和昂贵的生产停工。解决方案NanoEdge人工智能解决方案已成功在断路器内实施,以学习正常的开关模式,并帮助规划预测性维护活动。提供价值使用NanoEdge AI Studio开发的机器学习库,我们能够预测以前难以检测的行为。一个简单的实施并直接集成
6、到我们设备核心的人工智能是未来发展的一个重要的附加价值。客户挑战太阳能电池板经常因杂质或物理损坏引起的直流电弧而损坏,这可能导致失火造成损害或危及附近的人。解决方案通过使用NN神经网络或者机器学习对电弧故障特征进行识别,可以高精度的识别电弧。提供价值降低误报率、漏报率,各种噪声环境下适应性高,提高检测精度。帮助客户通过UL 1699B认证,甚至更高的实现标准。STM32Cube.AI 应用 微控制器STM32H7/G4算法库类型异常检测使用的信号电压&电流电弧检测电压/电流 信号采集NN 神经网络特征提取异常检测边缘人工智能工具STM32Cube.AI&NanoEdge AIST生态系统使您的
7、AI轻松达到量产水平 14边缘AI工具包STM32模型优化自动化机器学习工具STM32端到端边缘AI方案设计优点将模型转化经过优化的C代码桌面版,网页版网页版可使用远程硬件基准设备端模型验证工具为现有项目里集成AI算法提供便利方法降低开发成本工具可自动为模型寻找可高性能运行的MCU应用领域所有时间序列(除声音/语音)商业模型免费免费AI 项目流程 ST相关软件模型实现推理创建 lib 库文件数据准备数据处理数据获取1建模模型验证模型选择和训练23边缘AI工具包 STM32所有 MCUs自动化边缘AI软件15STM32Cube.AI 软件工具16STM32Cube.AI 加速你的嵌入式开发 开发
8、和训练你的模型,支持主流的 AI 框架 在STM32实现最好的机器学习性能(MLPerf Tiny benchmarks)在评估板上直接验证性能 最小的代码量,支持任何的STM32 MCU更加便捷的评估,转换,和部署机器学习或深度神经网络在STM32硬件上。集成在STM32Cube MCU开发环境中的AI扩展工具,可以优化和调整模型,直接部署在目标板上。STM32Cube.AI v9.0 新增特性 进一步改进神经网络模型优化和生成的性能 支持更多的 layers 和operators 实现Edge AI Core Technology的第一工具进一步提升STM32Cube.AI 性能1729%
9、13%21%16%30%23%28%232%18%22%18%Inference time gain v9.0 vs v8.1STM32U5STM32L4STM32H7Anomaly DetectionImage ClassificationKeyWord SpottingVisual Wake WordUP TO70%faster inference time*aUP TO75%space freed-up in FLASH and RAM*28995667392102Person Detection MLPerf Tiny v1.2Latency(ms)Flash(kB)RAM(kB)*v
10、ersus TensorFlow Lite for microcontrollerSTM32 Cube.AI 一个工具,两个版本轻松将AI部署到STM3218导入已经训练好的神经网络模型优化和验证你的神经网络模型生成可以在STM32上运行的优化的代码优化模型代码,更高效的运行在STM32上或者 从STM32 model zoo 中选择AI模型STM32Cube ecosystemCommand Line InterfaceSTM32Cube.AI for desktopRESTAPISTM32Cube.AI Developer CloudOnlineplatformBenchmarking t
11、oolviavia基准性能容易获得STM32Cube.AI Developer Cloud可使用服务器上远程真实STM32 开发板进行性能验证得到模型在STM32运行的实际耗时大量的STM32 开发板作为基准找到最适用于此应用的STM32开发板可在最新产品上进行尝试可选开发板种类持续保持更新19运行结果(可选的)20 生成可视化基准点报告NanoEdge AI Studio 4.4 全面免费 21能够提升产品智能化程度的免费AutoML工具。NanoEdge AI Studio现已完全免费。查找并配置最适合您嵌入式项目的AI库。以最低的投入,将具有器件上学习功能的机器学习模型集成到您的STM3
12、2微控制器或智能传感器中。版本4.4的新特性支持所有 Cortex-M Arduino 电路板加速基准测试增强学习曲线计算改进的库预测功能增强的用户界面NanoEdge AI 软件工具 面向嵌入式开发者22NanoEdge AI Studio 提供一体化的机器学习方案 专利技术 专门为嵌入式开发者设计 超高的内存效率(Flash and RAM)在设备的无监督学习 卓越的安全性 占用空间小,可在任何STM32上运行 接近100%的准确性和自信度助力您从头开始做自己的AI解决方案 我们做了什么呢?我们重写了从代数、机器学习和信号处理的各种算法,并且使得这些算法能够在MCU内学习和推理。NanoE
13、dge AI studio 目标市场和应用预测产品失效和故障工业泵,通过在板自学习模式,自行学习最佳运行模式并检测异常情况识别活动、环境和使用情况智能手表,在不使用连接功能的情况下对人类活动进行分类识别需要预测未来状态洗衣机使用电机控制算法对衣物进行称重,并优化水、洗涤剂和能源的使用,而无需额外的传感器STM32 内置神经网络处理单元(NPU)实现边缘AI,释放应用潜力STM32N6MCU with neural processing unitSTM32 产品阵容25High-performanceMCUsUltra-low-powerMCUsWirelessMCUsMainstreamMCU
14、sSTM32H7Up to 3224 CoreMarkUp to 600 MHz Cortex-M7240 MHz Cortex-M4STM32MP1Up to 1 GHz Cortex-A7209 MHz Cortex-M4STM32F71082 CoreMark216 MHz Cortex-M7STM32F3245 CoreMark72 MHz Cortex-M4STM32G4569 CoreMark170 MHz Cortex-M4STM32L075 CoreMark32 MHz Cortex-M0+STM32L4273 CoreMark80 MHz Cortex-M4STM32L4+4
15、09 CoreMark120 MHz Cortex-M4STM32L5443 CoreMark110 MHz Cortex-M33STM32U5651 CoreMark160 MHz Cortex-M33STM32WL162 CoreMark48 MHz Cortex-M448 MHz Cortex-M0+STM32WB216 CoreMark64 MHz Cortex-M432 MHz Cortex-M0+MPURadio coprocessor onlyLatest product generationSTM32F2Up to 398 CoreMark120 MHz Cortex-M3ST
16、M32F4Up to 608 CoreMark180 MHz Cortex-M4STM32H5Up to 1023 CoreMark250 MHz Cortex-M33STM32F0106 CoreMark48 MHz Cortex-M0STM32G0142 CoreMark64 MHz Cortex-M0+STM32F1177 CoreMark72 MHz Cortex-M3STM32C0114 CoreMark48 MHz Cortex M0+STM32WBA407 CoreMark100 MHz Cortex-M33New series or lines introduced in 20
17、24Mixed-signal MCUsSTM32MP2Dual 1.5 GHz Cortex-A35400 MHz Cortex-M33Pre-announcementSTM32WB064 MHz Cortex-M0+STM32U0140 CoreMark56 MHz Cortex-M0+具有先进边缘 AI功能的64 位MPUNPU 加速器:up to 1.35 TOPS CPU、GPU或NPU上皆可运行AI的灵活生态支持 3D GPU 支持高达1080p分辨率 支持RGB、LVDS和DSI输出的全高清视频 集成ISP的MIPI CSI-2 摄像头接口边缘AI加速器支持高端应用的多媒体功能26
18、STM32模型库托管在Github网站模型训练脚本,让用户使用自己的数据集训练模型生成并验证自己的模型图像分类计算机视觉物体检测计算机视觉姿势估算人体姿势判断语义分割计算机视觉为STM32优化的面向应用的模型集合ST AI 一站式网站资源:https:/ 与 RT-Thread多元合作30硬件:H7 ART-PI,F4Spark 开发板软件:RT-Thread BSP 支持全系列STM32G0/G4/U5/MP1/WB/H5等即将推出:STM32H7R/N6方案师资培训:基于STM32的应用开发高校联合实验室共建ST携手RT-Thread等合作单位共同发起电子信息人才能力提升工程,为行业工程师
19、提供嵌入式专业人才认证平台:STM32峰会&路演RT-Thread开发者大会和全球技术峰会RT-Thread全国多城市线下培训全球Embedded GUI 大赛,IoT大赛联动等RT-Thread 社区STM32N6开发套件:开发板 开发例程 学习课程.RT-Thread AI Kit轻松部署STM32Cube.AI 至 RT-Thread,支持环境:硬件:STM32H7 ART-PI&BSP 神经网络模型:Keras,TensorFlow等 STM32 AI插件:X-CUBE-AI RT-Thread RT-AK 代码RT-Thread AIOS demo on STM32F4 Spark合
20、作成果未来规划STM32与RT-Thread共创AI智能未来31STM32 本地化资源,提供海量信息32STM32微信订阅号STM32微信服务号大学计划联络邮箱:STM32视频号线上课程平台ST 中文论坛STM32 中文官网www.STMCUST Community 全球论坛https:/ MPUs Wiki 页面 MCUs Wiki 页面 官网www.ST.comSTM32单片机技术培训报名网页: GitHub页面: 21ic论坛http:/ STMicroelectronics-All rights reserved.ST logo is a trademark or a registered trademark of STMicroelectronics International NV or its affiliates in the EU and/or other countries.For additional information about ST trademarks,please refer to other product or service names are the property of their respective owners.Find out more at