《张晶—EdgeX + OpenVINO加速边缘人工智能项目落地.pdf》由会员分享,可在线阅读,更多相关《张晶—EdgeX + OpenVINO加速边缘人工智能项目落地.pdf(25页珍藏版)》请在三个皮匠报告上搜索。
1、GLOBAL EDGE COMPUTING CONFERENCE全球边缘计算大会深圳站汇报人:Ed g e X:2 0 2 3:7 :1 5:全球边缘计算大会 :GECCEdgeX+OpenVINO加速边缘人工智能项目落地EdgeX 中国项目简介01OpenVINOTM简介02基于EdgeX CMI+OpenVINO的多相机Edge AI推理架构03Edge AI商业落地案例0401EdgeX 中国项目简介Global Edge Computing ConferenceGLOBAL EDGE COMPUTING CONFERENCEGECCGECC边缘计算架构发展简史V1.0:外设通过网络直连
2、云端V2.0:引入多协议网关架构V3.0:引入完善的边缘计算架构终 端 侧:不同协议的物联网外设云 端:不同云服务商对应不同的接入协议边缘计算:多协议转换,数据存储、资源编排、系统管理、安全、报表开源先进的边缘计算框架:EdgeX FoundryEdgeX Foundry帮助用户打造连接云、端一体的边缘计算平台,简化物联网部署EdgeX Foundry分层架构用于物联网边缘计算开源,与供应商无关微服务、松耦合软件框架Linux基金会下属,Apache 2项目150+机构、250+名开发者参与2017年开始,每半年发布新版本Barcelona(0.5)2017年10月California(0.6
3、)2018年6月Delhi(0.7)2018年11月Edinburgh(1.0)2019年7月Fuji(1.1)2019年11月Geneva(1.2)2020年5月Hanoi(1.3.1)2020年11月Ireland(2.0)-2021年6月Jakarta(2.1)2021年11月Kamakura(2.2)2022年5月Levski(2.3)2022年11月Minnesota(3.0)2023年5月Napa(3.1)2024年年4月月EdgeX 实现边缘工作负载整合虚拟化/容器化可视化与中心控制开放 API今天的物联网架构垂直数据竖井、平台锁定数据/边缘治理与控制问题硬件定义的、无法管理的边
4、缘未来的物联网架构开放物联网数据架构,无锁定数据与边缘属于企业软件定义的边缘云企业与网络边缘网关物联网资产其他云其他云其他云其他云9EdgeX支持分层部署松耦合的体系结构,方便跨节点部署,实现分层边缘计算10300+生态伙伴,5000+活跃开发者,80+万关注者EdgeX中国项目生态伙伴芯片,设备制造商云服务提供商、通信服务提供商解决方案集成商软件开发商高校、研究机构终端用户投资方、孵化器、政府机构02OpenVINO 简介Global Edge Computing ConferenceOptimized PerformanceVPUFPGAGPUCPUWrite Once,Deploy An
5、ywhere模型优化工具更简单的工作流程MOMOModel OptimizerNNCFNNCFQuantization-Aware Training ToolPost-Training Optimization Tool+NEWmodel=.#OpenVINO/ONNX/PyTorch/TF objectquantized_model=nncf.quantize(model,calibration_dataset)Post-Training Quantization(NNCF)更简单的工作流程import nncfcalibration_loader=torch.utils.data.Data
6、Loader(.)def transform_fn(data_item):images,_=data_itemreturn imagescalibration_dataset=nncf.Dataset(calibration_loader,transform_fn)2)运行获得量化模型1)准备校准数据集from openvino import runtime as ovimg=load_img()core=ov.Core()compiled_model=pile_model(model=model,device_name=CPU)output_layer=compiled_model.outp
7、uts0result=compiled_model(img)output_layerOpenVINO Runtime:3行Python代码,实现AI推理计算!model=.#OpenVINO/ONNX/PyTorch/TF objectquantized_model=nncf.quantize(model,calibration_dataset)2.Post-Training Quantization(NNCF)更简单的工作流程import nncfcalibration_loader=torch.utils.data.DataLoader(.)def transform_fn(data_it
8、em):images,_=data_itemreturn imagescalibration_dataset=nncf.Dataset(calibration_loader,transform_fn)2)运行获得量化模型1)准备校准数据集03EdgeX CMIGlobal Edge Computing ConferenceEdgeX摄像头管理平台(CMI)参考技术栈Core ServiceDevice ServicePortal(Dashboard,Config,Operation)NVREdgeXEdgeX CMIUtilityTCP/IPONVIFVideo Analytics(EVAM:
9、DLStreamer,OpenVino)3rdparty SWREST APIEVENTProcess EngineAlarmMQTT EventsPipelineServerRest API123579MQTT EventsMQTTONVIFRTSP Video Pull46EdgeXCMI Demo架构1、EdgeX(开源/微服务,OnvifDevice Service+Core Service+MQTT Broker)纳管摄像头;2、EdgeXCMI Utility(免费APP+微服务)获取纳管的摄像头信息;3、EdgeXCMI Utility配置EdgeX内摄像头,如用户名口令等;4、
10、EdgeXCMI Utility拉取摄像头视频流;5、EdgeXCMI Utiliy向EVAM(开源/微服务)发起视频推理;6、EVAM拉取摄像头视频流进行推理;7、EVAM将推理事件发送给MQTT Broker,Broker推送给订阅的EdgeXMQTT Device和EdgeXCMI Utiliy;8、EdgeXCMI Utility从EdgeXMQTT Device或摄像头获取告警信息;9、EdgeXCMI Utility将告警信息推送给告警中心;Alarm DataAPI PushAlarm Data8MQTT BrokerEdgeX CMI Demo运行结果通过CMI工具显示推理后视
11、频通过CMI工具显示推理历史信息通过EVAM查看推理视频RTSP流通过MQTT Broker订阅推理信息04Edge AI 商业落地案例Global Edge Computing Conferenceedgexfoundry.org|edgexfoundry零售:自助式结算柜台整个演示耗时3个月。每个供应商的集成速度需要2小时到2周。Floid能够在几个小时内与EdgeX的开放边缘架构集成。所有其他应用程序都花了几周的时间才集成到EdgeX中,并召开了为期5天的现场会议,将所有应用程序整合在一起。剩下的2个月致力于强化解决方案,让每个供应商研究物理传感器的细微差别,并调整其特定应用要求。最后,
12、每个应用程序提供商都专注于他们的专业领域,即POS不必是CV或RFID专家,反之亦然。因此,系统集成商和/或POS提供商可以专注于新的用例,以建立业务价值,同时减少集成工作和风险。edgexfoundry.org|edgexfoundry医疗 AI辅助诊断与远程问诊23 EdgeXFoundry 负责连接各种医疗传感器与摄像头,并将数据与视频流分发到人工智能算法与远程终端。实现AI辅助斩断与远程问诊的功能。EdgeXFoundry 帮助研发团队加速研发进度,帮助接入各类型的设备,让研发团队可以专注处理业务流程。未来,借助于EdgeXFoundry边缘侧平台化的优势,可将技术架构在各种医疗设备之间平滑迁移。MonitorAI boxMedical equipmentMobile APPCloud edgexfoundry.org|edgexfoundry官网:https:/www.edgexfoundry.org/中文官网:https:/cn.edgexfoundry.org/GitHub仓库:https:/