《金敏浩-开启RT-Thread TensorFlow Lite神经网络之旅-2024RTT全球技术大会.pptx》由会员分享,可在线阅读,更多相关《金敏浩-开启RT-Thread TensorFlow Lite神经网络之旅-2024RTT全球技术大会.pptx(20页珍藏版)》请在三个皮匠报告上搜索。
1、开启RT-Thread TensorFlow Lite神经网络之旅金敏浩,RT-Thread Open and Easy to Use Operating Systemhttps:/www.rt-thread.org内容大纲 01 什么是什么是Tensor Flow Lite02 Tensor Flow Lite的的应用应用03 Tensor Flow Lite在在Vision Board上上的应用的应用04 示例示例演示演示Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgTensor Flow Lite 介绍介绍Ten
2、sorFlow Lite(TF Lite)是谷歌推出的用于设备端推理的开源、跨平台深度学习框架,旨在为包括 Android 和 iOS 设备、嵌入式 Linux 和微控制器在内的多个平台提供支持。它可以将 TensorFlow 预训练模型转换为可以针对速度或存储进行优化的特殊格式。它还可以帮助开发人员在移动、嵌入式和物联网设备上运行 TensorFlow 模型。简单来说,TensorFlow Lite 旨在将训练好的模型部署在移动端或嵌入式终端上。Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgTensor Flow L
3、ite 特点特点轻量级:启用具有小二进制规模和快速初始化/启动的设备上机器学习模型推理高性能:针对更快的模型加载时间进行了优化,支持硬件加速等跨平台:支持 Android 和 iOS 设备、嵌入式 Linux 和微控制器低延迟:无需数据传入和传出服务器安全:任何个人数据都不会离开设备,也不会泄露隐私支持多种语言:包括 Java、Swift、Objective-C、C+和 Python丰富的示例参考:提供多平台常见机器学习任务的端到端示例,如图像分类、物体检测等Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgTensor
4、Flow Lite 架构架构Tensor Flow模型Tensor Flow Lite 转换器Tensor Flow Lite 模型(.tflite)Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgTensor Flow Lite的应用的应用图像分割图像分割目标检测目标检测语音识别语音识别数字数字分类分类Tensor Flow Lite机器学习任务Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgRA8 Vision Board 机器视觉介绍板载外设
5、RA8D1BHEC(Cortex-M85内核,主频高达480Mhz,具有2MB FLASH,1MB SRAM,MIPI-DSI)QSPI Nor-Flash W25Q64 with XIP supportedAP6212(Wi-Fi 2.4Ghz+Bluetooth5.0)32MB SDRAM 16bit max 120Mhz板载DAP-Link,支持USB-CDC与SWD调试用户RGB-Led x1用户按键 x1(可配合reset按键切换厂商boot)Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgRA8 Vision
6、 Board 机器视觉介绍接口外配TypeC-OTG x1 (支持FS/HS,支持用户按键降级至厂商boot模式)TypeC USB-Debug x1(直连DAP-Link/CDC 串口)BTB接口,用于纵向堆叠扩展板卡,充分利用空间,扩充ETH/CAN/LIN等接口LCD(RGB666)FPC 排线接口MIPI-DSI FPC 排线接口SD卡座,支持SDR25兼容树莓派40Pin的拓展接口10bit 摄像头 FPC 排线接口9Pin 1.27mm JTAG接口,支持外部调试器接入Open and Easy to Use Operating Systemhttps:/www.rt-thread
7、.orgRT-Thread support on RA8RT-Thread support on RA8 RT-Thread主线对RA8 BSP支持 工具链支持:AC6(MDK),LLVMForArm,GCC(RT-Thread Studio)FSP 更新至V5.0 设备框架:UART,GPIO,USB-HS&FS,CEU,SDHI,ETH,IIC,SPI,SCI,ADC,DAC,RTC,WDT.应用支持:兼容 OpenMV 的视觉应用。Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgRA8 Vision Board 融
8、合RT-Thread软件能力q 丰富的 RT-Thread 软件包可用q MicroPython编程,加速算法验证q 高达 2M,1MB 的片上Flash,RAMq 高速USB加持提升图像传输速度q 软件开箱即用,可节约开发时间,加速产品上市qArm Helium 加持大幅度提升机器学习性能Open and Easy to Use Operating Systemhttps:/www.rt-thread.org微型机器学习微型机器学习(TinyML)TinyML是近几年新兴的一个领域,专注于开发可在低功耗、内存受限的设备上运行的算法和模型。TinyML并非单一的具体技术,而是一个概括词,凡能在
9、微控制器(MCU)芯片上实现AI/ML推论工作的,都算是TinyML。LinuxEmbedded LinuxCloudEdgeMLTinyMLIOT DevicesOpen and Easy to Use Operating Systemhttps:/www.rt-thread.org微型机器学习微型机器学习(TinyML)MNIST数据集01.数据采集、数据采集、处理处理 EDGE IMPULSE02.模型训练、模型训练、导出导出 MicroPython OpenMV03.模型部署、功能模型部署、功能测试测试Open and Easy to Use Operating Systemhttps
10、:/www.rt-thread.org以以mnist数字识别数字识别为例为例背景介绍:开发工具:MDK5 V5.3.8,OpenMv IDE V4.0.14Demo 代码:https:/ IMPULSE网站:图片素材:https:/ and Easy to Use Operating Systemhttps:/www.rt-thread.orgmnist介绍介绍MNIST数据集(Mixed National Institute of Standards and Technology database)是一个用来训练各种图像处理系统的二进制图像数据集,广泛应用于机器学习中的训练和测试。作为一个入
11、门级的计算机视觉数据集,发布20多年来,它已经被无数机器学习入门者“咀嚼”千万遍,是最受欢迎的深度学习数据集之一。Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgEDGE IMPULSEEdge Impulse是一个专门针对 TinyML 应用程序开发的平台。凭借易于使用的基于 Web 的界面,Edge Impulse 可以说是任何人收集数据、训练模型并最终将其部署到微控制器上的最简单的解决方案。Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgED
12、GE IMPULSE模型训练生成特征值迁移训练模型部署Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgRT-Thread MicroPythonMicroPython 是 Python 3 编程语言的一种精简而高效的实现,它包含 Python 标准库的一个子集,并被优化为在微控制器和受限环境中运行。RT-Thread MicroPython 可以运行在任何搭载了 RT-Thread 操作系统并且有一定资源的嵌入式平台上。MicroPython 可以运行在有一定资源的开发板上,给你一个低层次的 Python 操作系统,可以
13、用来控制各种电子系统。MicroPython 富有各种高级特性,比如交互式提示、任意精度整数、闭包函数、列表解析、生成器、异常处理等等。MicroPython 的目标是尽可能与普通 Python 兼容,使开发者能够轻松地将代码从桌面端转移到微控制器或嵌入式系统。程序可移植性很强,因为不需要考虑底层驱动,所以程序移植变得轻松和容易。Open and Easy to Use Operating Systemhttps:/www.rt-thread.orgRT-Thread MicroPython在 RT-Thread 移植的 MicroPython 版本中,实现了如下特定功能库:micropython 实现 MicroPython 内部功能访问与控制rtthread RT-Thread 系统功能模块machine 硬件控制模块PinI2CSPIUARTLCDRTCPWMADCWDTTIMERnetwork wlanOpen and Easy to Use Operating Systemhttps:/www.rt-thread.orgOpenMV IDEOpen and Easy to Use Operating Systemhttps:/www.rt-thread.io微信公众号Vision Board 交流群