《丁晓磊 (意法半导体)-意法半导体边缘人工智能 - 引领嵌入式人工智能新时代.pdf》由会员分享,可在线阅读,更多相关《丁晓磊 (意法半导体)-意法半导体边缘人工智能 - 引领嵌入式人工智能新时代.pdf(28页珍藏版)》请在三个皮匠报告上搜索。
1、意法半导体边缘人工智能 引领嵌入式人工智能新时代丁晓磊Lisa DING意法半导体 中国区通用微控制器市场部分布式人工智能策略充分使用亿级数量的节点段设备!2兆 量级百万 量级几千 量级数据中心云分析,存储,计算边缘侧IoT 网关,子数据中心节点端实时性,本地处理超低功耗设备和传感器向边缘处理转移3智能网关智能节点深度边缘AI数据在智能传感器、智能节点和智能网关中进行处理智能传感器云端优点-响应速度(快)-带宽(低)-隐私性提高(数据在本地存储)-可靠性-节能缺点-将数据处理分布在多个设备上*Optional深度边缘边缘*嵌入式人工智能将成为主流4到2030年,深度端侧 AI设备的全球出货量将
2、达到25亿台。正在为公司产生实际价值和商业产出。在2到5年内,具有AI能力,将会成为产品一个标配。(Gartner)Source:Gartner 2021Deep Edge AI2 to 5 yearsYou need to start now to meet the market in-timeSource:ABI ResearchEdge AI 应用领域效能数据量少/低功耗超低延时实时性的应用降低数据带宽产生和发出有意义的信息加强隐私和安全性数据不需要全部上云和通过网络0110提高精准度从更宽的传感器分析数据工业预测性维护条件检测预测性维护控制系统从家电到工业机器物联网(IoT)智慧城市,
3、智慧楼宇,智慧家庭,和工业自动化Edge AI 在很多领域可以提供价值:5STM32 边缘AI 概览软件工具、模型库、软件参考硬件芯片,开发板(ST以及合作伙伴)设计支持和服务目标应用市场STM32N6绿色能源工业预测性维护计算机视觉家电Joint project with customer model to develop 0-1 projectProven methodologyto accelerate customer AI process Partner ecosystemwith SW service company and UniversityST 边缘AI 成功案例7NanoE
4、dge AI Studio应用微控制器M3 80Mhz算法库类型异常检测使用传感器震动信号RAM/FLASH6K/28K客户挑战使用NEAI,可以简单、快速的部署预测性维护4.0解决方案,不需要传统AI方案所需要的:需要大量数据训练AI模型需要数据专家开发算法解决方案开箱即用。通过基于NanoEdge人工智能技术,将Bob 产品扣在你工厂的机器上,Bob会仔细学习和分析振动,并在问题影响生产线之前发出警告。提供价值只需简单操作,就可以用NanoEdge AI Studio生成优化和有效的机器学习算法。在板学习的能力使用户能够根据特定的设备或环境定制异常检测,以减少漏判和误判。NKE WATTE
5、CONanoEdge AI Studio 应用微控制器STM32L4算法库类型异常检测和分类使用传感器湿度,声学,震动(1 轴和 3轴),温度,气体,压力RAM/FLASH9Kb/17KbIRMA智能维护应用LoRaWAN+BLE+Zigbee,IP67,ATEX Zone 0客户挑战能够预测机械设备中存在的问题,是客户的一个需求点。在设备还在正常运行情况下,预测故障,是一个复杂的过程。解决方案基于多个传感器和嵌入式AI,IRMA 能够在边缘端预测设备失效。首先,IRMA 收集各种数据(震动,温度,压力,湿度,声音和气体),然后通过不断丰富的数据集和AI算法来做出推理判断。IRMA 可以在故障
6、出现的初期就给出灵敏的预报。提供价值“在团队中没有数据科学专家的情况下,在很短的开发时间内,我们成功地在市场上创造了一个结合嵌入式智能和6个传感器的独特解决方案。IRMA已经被多个工业奖项认可为重大创新,并已被著名客户安装在生产中。”Application of NanoEdge AI Studio 微控制器STM32G4算法库类型异常检测和分类使用传感器电流&震动RAM/FLASH12Kb/20Kb电气解决方案中的预测性维护客户挑战断路器的机械老化很难预测,会导致了不及时的停电和昂贵的生产停工。解决方案NanoEdge人工智能解决方案已成功在断路器内实施,以学习正常的开关模式,并帮助规划预测
7、性维护活动。提供价值使用NanoEdge AI Studio开发的机器学习库,我们能够预测以前难以检测的行为。一个简单的实施并直接集成到我们设备核心的人工智能是未来发展的一个重要的附加价值。NanoEdge AI Studio 应用微控制器STM32U5算法库类型分类使用的信号Wave 或 particleRAM/FLASH21Kb/45KbPeople presence detection&counting客户挑战在智能楼宇中,如何不需要摄像头,能辨别出有人在走廊和房间里,即使人是静止状态。解决方案NanoEdge AI Studio可以对任何时间序列数据进行分类,如波、粒子运动、电场变化等
8、。这使用户能够开发先进的和定制的解决方案。提供价值“使用环境变化来检测存在,可以创建类似计算机视觉的解决方案,而不需要有摄像头的缺点。它实现了低功耗的解决方案,在保持准确的同时保障了隐私和安全。由于NanoEdgeAI Studio的易用性和高性能,它帮助我们在创纪录的时间内开发了这样一个解决方案”。客户挑战太阳能电池板经常因杂质或物理损坏引起的直流电弧而损坏,这可能导致失火造成损害或危及附近的人。解决方案通过使用NN神经网络或者机器学习对电弧故障特征进行识别,可以高精度的识别电弧。提供价值降低误报率、漏报率,各种噪声环境下适应性高,提高检测精度。帮助客户通过UL 1699B认证,甚至更高的实
9、现标准。STM32Cube.AI 应用微控制器STM32U5算法库类型异常检测使用的信号电压&电流RAM/FLASH11Kb/29Kb电弧检测电压/电流信号采集NN 神经网络特征提取异常检测开发工具支持全系列STM32芯片高性能MCUs超低功耗MCUs无线MCUs主流MCUsSTM32H7Up to 3224 CoreMarkUp to 550 MHz Cortex-M7240 MHz Cortex-M4STM32MP1Up to 1 GHz Cortex-A7209 MHz Cortex-M4STM32F71082 CoreMark216 MHz Cortex-M7STM32F3245 Co
10、reMark72 MHz Cortex-M4STM32G4569 CoreMark170 MHz Cortex-M4STM32L075 CoreMark32 MHz Cortex-M0+STM32L193 CoreMark32 MHz Cortex-M3STM32L4273 CoreMark80 MHz Cortex-M4STM32L4+409 CoreMark120 MHz Cortex-M4STM32L5443 CoreMark110 MHz Cortex-M33STM32U5651 CoreMark160 MHz Cortex-M33STM32WL162 CoreMark48 MHz C
11、ortex-M448 MHz Cortex-M0+STM32WB216 CoreMark64 MHz Cortex-M432 MHz Cortex-M0+MPUMixed-signal MCUsSTM32F2Up to 398 CoreMark120 MHz Cortex-M3STM32F4Up to 608 CoreMark180 MHz Cortex-M4STM32H5Up to 1023 CoreMark250 MHz Cortex-M33STM32F0106 CoreMark48 MHz Cortex-M0STM32G0142 CoreMark64 MHz Cortex-M0+STM3
12、2F1177 CoreMark72 MHz Cortex-M3STM32C0114 CoreMark48MHz Cortex M0+STM32WBA407 CoreMark100 MHz Cortex-M33最新产品13STM32Cube.AI 软件工具14STM32Cube.AI 加速你的嵌入式开发 开发和训练你的模型,支持主流的 AI 框架 在STM32实现最好的机器学习性能(MLPerf Tiny benchmarks)在评估板上直接验证性能 最小的代码量,支持任何的STM32 MCU更加便捷的评估,转换,和部署机器学习或深度神经网络在STM32硬件上。集成在STM32Cube MCU开
13、发环境中的AI扩展工具,可以优化和调整模型,直接部署在目标板上。STM32Cube.AI原有PC版本,为STM32准备的AI 转换和优化STM32Cube.AI 工具的两个版本STM32Cube.AI 开发云最新的线上 AI 服务器直接评估模型的在板推理时间ST model zooX-CUBE-AICommand Line InterfaceBoard farmWeb GUI+REST APIX-CUBE-AI for STM32Cube.MX15STM32 Cube.AI 一个工具,两个版本轻松将AI部署到STM3216导入已经训练好的神经网络模型优化和验证你的神经网络模型生成可以在STM3
14、2上运行的优化的代码优化模型代码,更高效的运行在STM32上或者 从STM32 model zoo 中选择AI模型STM32Cube ecosystemCommand Line InterfaceSTM32Cube.AI for desktopRESTAPISTM32Cube.AI Developer CloudOnlineplatformBenchmarking toolviaviaSTM32Cube.AI在STM32实现最好的AI性能015555硬件目标板:STM32H7A3Flash:2 MbytesRAM:1.4 Kbytes频率:280 MHz软件版本:X-Cu
15、be.AI v 7.3.0TFLm v2.10.0*对于 在MCU上使用TensorFlow LiteImage Classif v1.0 MLPerf TinyVisual Wake Word v1.0 MLPerf Tiny510217Latency(ms)Flash(Kbytes)RAM(Kbytes)Latency(ms)Flash(Kbytes)RAM(Kbytes)60%更快的推理时间*20%Flash 和 RAM的空间节省超过20%*NanoEdge AI 软件工具 面向嵌入式开发者18NanoEdge AI Studio 提供一体化的机器学习方案 专利技术
16、 专门为嵌入式开发者设计 超高的内存效率(Flash and RAM)在设备的无监督学习 卓越的安全性 占用空间小,可在任何STM32上运行 接近100%的准确性和自信度助力您从头开始做自己的AI解决方案我们做了什么呢?我们重写了从代数、机器学习和信号处理的各种算法,并且使得这些算法能够在MCU内学习和推理。NanoEdgeAI Studio专为无AI专业知识的客户设计19对于异常检测算法,模型在边缘端进行自训练创建 与 嵌入 自学习引擎独立的PC(Win/Linux)解决方案创建AI库,一次使用AI库,多次12123使用NanoEdge AI Studio 的AI开发流程模型开发模型测试模型
17、选择和训练数据准备数据处理数据获取模型部署模型推理模型库创建数据 收集自动化的 边缘 AI 软件数据准备21我需要工具快速简单的创建我的数据集”数据准备22我需要快速和高效的清洗我的数据”我们的客户有越来越多的算法用例需求用于创造更多智能产品23我希望设备能够自主适应目标环境并检测异常状态”我想检测任何的异常值”我想根据信号来检测发生的问题的类型”我想预测何时会达到特定的振动水平,以便在达到该极限之前有时间采取纠正措施。”使用NVIDIA TAO 工具套件拓展STM32边缘AI生态在节点端的AI通过Jupyter Notebook集成的开发流程训练,适应和优化产生优化的C-code量化quan
18、tization在微控制器上的推理精准度:86.7 top 1STM32Cube.AI v8.0训练好的模型Mobilenet v2 0.5 人员存在检测浮点Memory footprint*after optimization with STM32Cube.AI*implies the use of external memories2710 KB of Flash*820 KB of RAM1.3 FPSquantization+running on STM32H747Pruned quantized 模型精准度:86.2 top 1量化的8位定点模型Memory footprint*24
19、0 KB of Flash242 KB of RAM9 FPSrunning on STM32H747up to 12 FPS on STM32H735 NEAI软件下载链接:link NEAI用户案例:link AI的资源和软件包:linkST AI 一站式网站资源:https:/ blog articlesVideos27 STMicroelectronics-All rights reserved.ST logo is a trademark or a registered trademark of STMicroelectronics International NV or its affiliates in the EU and/or othercountries.For additional information about ST trademarks,please refer to other product or service names are the property of their respective owners.Find out more at