《基于Sedna的多边协同ReID行人跟踪在园区的应用(15页).pdf》由会员分享,可在线阅读,更多相关《基于Sedna的多边协同ReID行人跟踪在园区的应用(15页).pdf(15页珍藏版)》请在三个皮匠报告上搜索。
1、空白演示空白演示单击输入您的封面副标题时晓厚中国电信研究院基于基于SednaSedna的多边协同的多边协同ReIDReID行人跟踪在园区的应用行人跟踪在园区的应用ReIDReID定义定义行人重识别(Person Re-identification)也称行人再识别,简称为ReID,是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。广泛被认为是一个图像检索的子问题。给定一个监控行人图像,检索跨设备下的该行人图像。ReIDReID定义定义 技术趋势:行人重识别是继人脸识别后的一个重要研究方向 人体对象:衣着 体态 发型 人体-人脸关联:作为人脸识别技术的补充,相互作用 实现目标跨场景
2、检索,全时空精准刻画对象轨迹。应用应用行人跟踪行人跟踪单摄像头单目标多摄像头多目标单摄像头多目标跨镜跟踪跨镜跟踪跨镜追踪系统,利用行人ReID技术依据人物穿着、体态、发型等信息来判断图像或视频序列中是否存在特定的行人,可与人脸识别技术相结合,解决跨镜头场景下在人脸被遮挡、距离过远时的人物身份识别。主要解决跨摄像头跨场景下行人的识别与检索,可以对无法获取清晰拍摄人脸的行人进行跨摄像头连续跟踪,增强数据的时空连续性。ReIDReID系统系统检索图片原始视频目标检测特征提取特征向量相似性度量重识别系统轨迹追踪ReIDReID行人跟踪在园区的应用行人跟踪在园区的应用实时查找实时查找 基于ReID算法,
3、通过行人外观、衣着、配饰特征,识别追踪在园区不同摄像头下的特定行人历史查找历史查找 海量离线视频全倍率加速处理,快速检索目标行人三维路径展示三维路径展示 结合园区三维模型,全方位展示行人轨迹与各类视图数据信息功能描述功能描述使用多边协同推理实现目标跟踪使用多边协同推理实现目标跟踪 背景背景场景描述场景描述 目标跟踪是计算机视觉中的一项基本技术,在给定视频中的第一帧和它的位置,实现这个目标的跟踪,并进一步预测其轨迹。可以用于安全监控中的嫌疑人跟踪、港口集装箱跟踪、流行病学调查中的病例跟踪等场景。边缘边缘AIAI需求需求 数据隐私保护数据隐私保护目标跟踪通常使用监控视频数据,视频数据的拥有方(比如
4、园区物业)通常不能把摄像头数据上传到云上处理,因为被监控摄像头下的活动人员只被告知用于安防而不是其他用途,因此数据无法上云。数据传输量大数据传输量大即使这些数据在某些场景下可以被传输到云上,高清视频数据的传输对于带宽也有极高的要求,而专线的建设是一笔昂贵的费用。检测检测精度低精度低摄像头拍摄场景复杂,单个摄像头无法部署较高性能模型,导致整体检测跟踪精度低。技术技术挑战挑战 跨摄像头复杂场景检测跟踪跨摄像头复杂场景检测跟踪摄像头拍摄的场景复杂,包括光照变化、遮挡严重、追踪目标数量多等多方面挑战,单点的目标跟踪算法无法得到较好的效果。KubeEdge SIG AIKubeEdge SIG AI开源
5、边云协同开源边云协同AIAI框架框架SednaSednaKubeEdge SIG AI首个开源项目Sedna:基于KubeEdge提供的边云协同能力,支持现有AI类应用无缝下沉到边缘,降低分布式协同机器学习服务构建与部署成本、提升模型性能、保护数据隐私等。提供边云协同提供边云协同AI基础框架:基础框架:数据集管理、模型管理 提供边云协同训练和推理框架:提供边云协同训练和推理框架:协同推理、增量学习、联邦学习、终身学习 兼容性兼容性 兼容主流AI框架TensorFlow、Pytorch等。针对云边协同训练和推理,预置难例判别、参数聚合算法 提供可扩展接口,方便第三方算法快速集成。多边协同推理:多
6、边协同推理:引入多边协同的模式来管理分布式AI应用,以联合边缘节点多点算力,实现边缘节点的资源充分利用;支持基于特征提取的协同推理,实现边缘数据的隐私保护边缘数据的隐私保护;支持边侧数据的过滤,实现边缘传输数据量的减少传输数据量的减少;使用多边协同推理减少数据传输,多边配合提升跟踪精度使用多边协同推理减少数据传输,多边配合提升跟踪精度边缘节点SednaLCCloudEdgeSednaGM边缘节点特征提取workerSednaLCSedna LibKubeEdgeReID特征比对Sedna Lib特征提取workerSedna Lib行人识别workerSedna Lib行人识别workerSe
7、dna Lib行人识别workerSedna Lib行人识别workerSedna Lib轨迹展示UI方案优势方案优势:多边协同推理多边协同推理:多边多视角摄像头协同推理,相比单点摄像头提升整体跟踪精度,减少误报多边协同调度多边协同调度,实现边缘计算资源的有效利用边云协同检测边云协同检测,数据本地处理,减少数据传输带宽及时延,保护数据隐私。异构设备支持异构设备支持,CPU、GPU算法自适应部署,适应不同边缘设备。集成高精度识别检测算法集成高精度识别检测算法(跨摄像头行人重识别&密接识别&精确轨迹还原算法),并灵活适配不同场景各种模型使用多边协同推理减少数据传输,多边配合提升跟踪精度使用多边协同
8、推理减少数据传输,多边配合提升跟踪精度采用多边协同推理+边缘任务负载,园区边边协同场景(行人/车辆轨迹追踪验证):精度提升14%(78%至92%),数据传输降低80%。效果效果截截图图 :多边协同多边协同:行人追踪行人追踪Sedna+ReIDSedna+ReID的应用场景(的应用场景(1 1)智能商业大型商场场景描述:ReID 可以根据行人外观的照片,实时动态跟踪用户轨迹,把轨迹转化成管理员能够理解的信息,以帮助大家去优化商业体验Sedna+ReIDSedna+ReID的应用场景(的应用场景(2 2)智能商业无人超市场景描述:无人超市了解用户的购物行为,不能只基于人脸来做,ReID 这个技术在无人超市的场景下有非常大的应用帮助欢迎了解欢迎了解欢迎加入Sedna项目参与讨论https:/ 谢谢关注谢谢关注