报告预览

多模态融合技术与电力机器人应用.pdf

编号：138088

PDF 36页 9.47MB 下载积分：VIP专享

下载报告请您先登录！

多模态融合技术与电力机器人应用.pdf

1、双丰多模态融合技术与电力机器人应用提纲1.背景介绍2.传感器和模态3.多模态融合方法及应用4.空中挂线机器人5.大负载上下线机器人平台电力装备智能控制与运维广西重点实验室智能计算与量子人工智能研究室带电作业机器人研究室飞行巡检机器人研究室智能电力巡检与机器视觉研究室电力电子装备研究室电力设备传感与信息处理研究室电力设备在线检测研究室电气设备状态评估研究室高效电能转换与无线传输研究室微电网与集群系统协同控制研究室电力图谱与智能人机交互研究室新型电力系统运行与控制研究室1.背景介绍随着电网规模扩大和智能化发展，复杂的电力场景对电力机器人技术提出了更高的要求，促使其向多模态融合发展。报告介绍电

2、力机器人应用中常见传感器类型及多模态融合趋势，分析介绍无人机、机器人的应用研究案例。1.背景介绍理想的电力巡检：1.环境简单，无人机航拍视频，无交互操作2.机器人在输电线上来回作业1.背景介绍真实的挑战：1.任务复杂，人机如何协调配合？2.环境复杂，机器人如何动态规划？3.谁来把机器人抬上输电线？1.背景介绍总结：电网运维任务面临的挑战与潜在的自动化需求点1.复杂场景催生多模态融合需求2.输电网智能机器人上线困难3.大力矩、大负载任务缺乏自动化解决方案4.无人机作业场景下相间穿越危险重重2.传感器和模态在电力机器人技术中，传感器提供了机器人与环境进行交互和感知的能力。一些常用的传感器包括视觉传

3、感器、惯性测量单元、声音传感器和激光雷达等。视觉传感器，如摄像头和深度摄像头，可以提供图像和视频数据，用于环境感知和障碍物检测。惯性测量单元（IMU）由加速度计和陀螺仪组成，用于测量机器人的加速度和角速度，提供导航和定位所需的信息。声音传感器可以用于检测电力设备的异常声音或故障警报。而激光雷达则可以生成高精度的点云数据，用于三维环境建模和障碍物检测。多模态融合的特性与挑战：这些传感器的不同模态可以提供丰富的信息，但也存在数据的不一致性、噪声和不确定性等挑战。2.传感器和模态电力机器人领域常见传感器：传统相机激光雷达红外、紫外相机惯性测量单元卫星定位传感器力传感器对应数据模态：静态图像

4、点云数据红外图像、紫外图像航姿数据位置数据力数据1.点云与视觉多模态融合目前的点云语义分割方法在很大程度上忽略了全局上下文关系，没有充分利用局部特征与高级几何信息之间的互补。针对这一问题，我们提出了一种新的深度神经网络，即基于密集连接的核点网络(DenseKPNet)，它可以极大地扩展核点卷积的接受域，有效地从局部区域提取丰富的语义上下文信息和有价值的几何特征。构建跨尺度卷积核重视局部集合特征学习核点卷积关注模块(KPCAM)，该模块可以捕获点之间的全局相互依赖性，增强有效特征的判别性。Li Yong,Li Xu,Shuang Feng,et.al.DenseKPNET:Dense

5、 Kernel Point Convolutional Neural Networks for Point Cloud Semantic Segmentation.IEEE Transactions on Geoscience and Remote Sensing.60.10.1109/TGRS.2022.3162582.DenseKPNet：融合全局与局部特征的点卷积网络1.点云与视觉多模态融合DenseKPNet在山区场景的语义分割实验结果山区电力线场景的语义分割结果1.点云与视觉多模态融合Xiuning Liu，Yong Li，Feng Shuang，et.al.SS-IPLE：Sema

6、ntic segmentation of electric power corridor scene and individual power lines extraction from UAV-based Lidar point cloud.IEEE JSTAR，2023.重点目标的语义分割和电力线的点云提取是电力线检测的关键步骤。然而，大量的点云数据和缺失的电力线点给目标提取带来了挑战。为了完成电力线等基本目标的提取，我们提出了一种基于点向多层感知机语义分割网络的SS-IPLE方法。该方法主要包括两个部分:电力走廊语义分割和个别电力线提取。在分割步骤中，采用SCFNet作为我们的主要分割网

7、络，该网络可以处理大规模的点云。为了进一步提高SCF-Net在走廊中的分割能力，设计了局部编码模块(LCM)来构建SCF-Net。在单条电力线提取步骤中，采用柔性网格滤波提取单条电力线，有效地克服了点缺失问题。在城郊采集的不同廊道上进行了廊道点云语义分割和单项电力线提取实验。在语义分割和单条电力线提取方面均取得了良好的效果，点云语义分割的交并比（mIoU）为96.70%，平均提取率为96.56%。1.点云与视觉多模态融合从光探测和测距（LiDAR）数据中检测单个传输线（TL）对于功率TL的检测至关重要，但由于场景复杂、点云数据量大和样本不平衡，现有的自动方法面临着巨大的挑战。为了克服这些障碍

8、，我们提出了一种用于电力线个体检测的两阶段算法TLID。第一阶段涉及使用基于核点注意力的卷积神经网络（KPA-Net）对功率TL场景点云进行语义分割，该网络自动识别TL、塔架、地面物体和其他物体。第二阶段根据TL的空间结构，利用设计的多视图分组算法（MVG）来检测单个TL。在TL个体检测阶段，MVG的平均检测正确率P达到我们使用无人机激光扫描设备收集的大规模山区数据和地面移动扫描设备收集到的城市区域数据来验证TLID。在语义分割阶段，KPA-Net实现了96.9%的总体准确率（OA）和 90.5%的交并比（mIoU）,且TL的类提取率达到了99.1%。Jianchuan Qin，Yong Li

9、，Feng Shuang，et.al.A Two-stage individual transmission lines detection method based on LiDAR point cloud for power inspection.IEEE TPWD，2023.1.点云与视觉多模态融合1.点云与视觉多模态融合电塔是电网中输电的基础设施，为了保证输电的安全，需要对电塔的状态进行定期检查。为了提高检测效率，本文提出了一种基于UA V激光雷达点云功率检测方法的塔架倾斜检测方法。该方法在UA V采集到电力走廊数据后，利用SCF-Net网络对场景中的电力目标进行语义分割，然后利用K

10、-means聚类获得单个塔。然后利用提取的单个塔，提出了一种基于交叉拉伸点云平面拟合和法向估计的塔倾斜估计算法。利用实际采集的电力走廊数据进行实验，实验结果表明，SCF-Net网络对电线杆分类效果的IOU指数达到97.75%，能够准确判断出未倾斜电线杆和人工放置倾斜电线杆。与其他方法相比，本文算法自动化程度高，不需要过多的人为干预，具有工程应用价值。Falin Chen，Yong Li，Feng Shuang，et.al.PTTE:Power Tower Tilt Estimation Algorithm based on LiDAR Point Cloud.IEEE IARM，2023.1.

11、点云与视觉多模态融合软件的输入为多档电力线点云数据，经过手动切档后对单档电力线场景进行语义分割，得到多个类别。软件可以采用四类分割算法和十类分割算法。电力场景单档点云数据（高程着色）手动切档四类分割算法自动将场景中的物体分为地面、植被、杆塔、导线四类生成报告单档点云数据（高程着色）自研电力场景快速分析软件1.点云与视觉多模态融合选择导线类型数学建模计算垂度2.运动视觉与传统图像多模态融合运动视觉的优势导航和路径规划目标跟踪手眼协调运动分析视觉伺服控制在导航和路径规划中：运动视觉可以提供机器人周围环境的实时信息，包括障碍物的位置和运动状态。这使得机器人能够更好地规划路径并避开障碍物，实现安全和

12、高效的导航。在目标跟踪和追踪：运动视觉技术可以帮助机器人在复杂和动态的场景中跟踪目标对象。通过分析目标的运动模式和轨迹，机器人可以实时更新目标位置并采取相应的行动，例如追踪移动的物体或者跟随特定的目标。手眼协调和物体抓取：运动视觉对于实现准确的手眼协调和物体抓取具有关键作用。通过运动视觉系统的反馈，机器人可以感知物体的位置、形状和运动轨迹，从而精确地控制机械手臂的运动并实现稳定和精确的抓取动作。运动分析和行为识别：运动视觉可以对人体和其他物体的运动进行分析和识别。这对于人机交互、行为监测和智能安防等应用非常有用。机器人可以通过运动视觉系统识别人类动作和行为，并作出相应的反应或采取适当的行动。视

13、觉伺服控制：运动视觉可以用于视觉伺服控制，通过实时监测和反馈来调整机器人的运动。这对于精确的位置控制和精确度要求较高的任务非常重要，例如精密装配和操作、精确定位等。2.运动视觉与传统图像多模态融合电力无人机的发展趋势自主化程度不够GIS系统数据扩展但未与飞手打靶的航迹信息联合通信不理想，仅依靠卫星导航不安全环境复杂，通信失联或紧急情况易出安全事故依赖人工飞手常态化自主巡检卫星导航在配网效用不充分：1.仅依靠卫星定位拍摄不精准2.配网通信条件不理想，仅依靠卫星定位不安全。无人机辅助人工巡检向智能空中机器人发展集群自主巡检2.运动视觉与传统图像多模态融合事件相机（DVS）+电力线检测事件相机是一种

14、生物启发的视觉传感器，不同于传统相机的整个感光面同时曝光生成一帧图像，事件相机的每个像素点都能独立地对光强变化做出感知，并输出一串异步数据流，将检测到的光强变化超过设定阈值的感光点位置、极性和时间戳记录下来。事件相机的优势：1、低功耗（适应无人机）2、高动态范围（适应室外环境）3、低时延（适应动态场景）2.运动视觉与传统图像多模态融合事件相机（DVS）+电力线检测事件数据输出为异步数据流：(X,Y,)：感光位置P：光强变化极性T：事件触发的时间戳（即事件发生的时间）2.运动视觉与传统图像多模态融合事件相机（DVS）+电力线检测基于基于U-VU-V间距法的事件数据下多物体快速检测算法间距法的事件

15、数据下多物体快速检测算法在事件数据中的快速聚类效果在事件数据中的快速聚类效果2.运动视觉与传统图像多模态融合事件相机（DVS）+电力线检测引入ON/OFF 运动视觉机制，提升事件相机对背景中线形物体的抗干扰能力，聚焦电力线本身区分ON/OFF数据流的事件相机电力线检测算法含背景电力线检测任务的对比实验结果2.运动视觉与传统图像多模态融合仿生运动视觉+电力线避障希望无人机拥有自我中心的环境理解能力，适应电力场景中的自主导航问题，必须准确地警告有威胁的障碍物和电力线，同时忽略电力线隧道附近的其他背景物体。然而，实时电力线检测任务本身就是个具有挑战性的研究问题，更不用说同时检测极小的电力线和正常尺寸

16、的障碍物，并对环境进行理解、分析了。我们通过提出一种生物启发的尺度不变神经网络来解决这一挑战，该网络可以在电力线检查场景中检测与大小无关的障碍物，并区分有威胁的迫近的障碍物和其他无威胁情况。powerlineswith collision threatnear-miss objectsobstacle2.运动视觉与传统图像多模态融合基于仿生视觉的融合导航借鉴昆虫视觉导航思路，解决基于视觉的全局定位和关键帧旋转不变性匹配问题，实现无人机在变电站全场景下的视觉导航功能。通过机载多传感器融合技术，研究在外源信息失效、机载磁力计受干扰时，综合多种传感器信息，快速求解最优化导航路径，实现无人机在通信不畅

17、、甚至失联情况下的导航，提高无人机的环境应对能力，降低事故风险，提升巡检的智能化程度和作业能力范围。2.运动视觉与传统图像多模态融合基于仿生视觉的融合导航通过视觉航向纠偏与仿线飞行、与视觉避障算法结合，解决解决配网巡检通信不稳定、环境复杂度高带来的无人机安全隐患，同时融合导航模块也为无人机集群提供基本的环境理解能力。3.融合RGB-D信息的手部估计l 自研自研三指9自由度灵巧手平台，集成集成嵌入式六维力传感器，满足电力设备抓取操作需求l 结合深度学习深度学习与强化学习强化学习获得人手关节点，通过主从回归映射主从回归映射实现灵巧手交互控制l 基于多任务共享强化学习多任务共享强化学习进行手部姿态特

18、征利用，实现领先水平精度的手部姿态估计深度图像采集人手关节点估计自研三指灵巧手控制基于卷积神经网络的特征提取基于多任务共享强化学习的特征利用灵巧手抓取演示基于关节点的主从回归映射面向电力环境的机器人遥操作研究操作者触力反馈设备AR增强的电力环境运动控制触觉约束系统组成：六自由度主端Touch、六自由度UR机械臂和Hololens设备；系统特点：基于AR技术的视觉增强与现实环境的虚实融合的视觉反馈极大提高了电力操作的临场感。操作者对电力场景的可交互性和实时的虚拟力引导为电力环境下的人机协作提供了新的解决方案。控制算法：基于主从异构映射策略实现操作者对从端的运动控制。基于主端力学模型，视觉与虚拟

19、力引导，实现操作者力感知功能；人机协作测试目的：基于增强现实技术对安全性要求高的电力环境开展人机协作实验；3.融合视觉-力觉信息的遥操作312u 交互下目标物体抓取基于手眼标定技术实现图像与世界坐标系映射，利用深度学习技术估计目标位姿，进而完成包括透明物体在内的目标物体准确抓取。u 密集接触下自主轴孔装配基于多模态信息融合技术，采用具身智能策略，提高机器人操作的泛化能力，只需一种形状、一次训练就能够迁移到圆形、方形、三角形、双轴孔等不同任务并完成自主装配。u 群集物体抓取基于图像处理技术，利用强化学习算法输出最优的时序动作策略，机器人交替执行推、抓动作，实现复杂群集情况下目标物体的最优

20、抓取。3.融合视觉-力觉信息的机器人操作4.大负载挂线无人机为应对电力机器人市场需求与实际任务的复杂性挑战，广西大学电气工程学院广西大学电气工程学院与长长沙神弓科技沙神弓科技有限公司深度合作、优势互补，专注研发电力应用场景的专用无人机设备。通过长期合作，已建立起稳固的技术合作团队，并具备全链条全链条的无人机开发能力和突出的问攻题坚能力。双方充分发挥各自优势，致力于共同解决电力生产运维一线所面临的实际问题。在合作过程中，双方注重紧密合作，不断深化对电力行业需求的理解。与电力公司和行业专家保持密切联系，了解其具体需求和挑战，并将这些反馈融入到产品研发和优化过程中，以此确保我们的无人机设备能满足电力

21、行业的要求。技术合作团队拥有广泛的专业知识和经验，包括飞行控制系统、传感器技术、图像处理和数据分析等领域。多年深耕共轴双旋翼无人机的设计和优化，持续投入更多人力物力进行专业测试和验证，确保产品在各种复杂环境和工作条件下的可靠性和性能，为电力行业提供卓越的共轴双旋翼电力作业无人机解决方案，推动行业的发展和进步。4.大负载挂线无人机*自研共轴无人机用于电力巡检自研共轴无人机用于电力巡检*共轴双旋翼直升机的组成*光学传感系统光学传感系统1）侧向可搭载双目视觉模块的运动检测系统2）底部可搭载红外-可见光双光巡检摄像头在长期合作过程中，已形成稳固的技术合作团队，掌握无人机全链条开发能力和突出的问题攻坚能

22、力，可针对应用需求，开发用于电力巡检的共轴双旋翼无人机系统。4.大负载挂线无人机因为共轴双旋翼直升机有以下独特优势：1.更大的载荷能力。(大桨叶，高气动效率)2.结构更加紧凑。(不需尾桨，便携收纳)3.更强的阻尼效应和抗风稳定性。(双陀螺效应)为什么选择共轴双旋翼直升机？为什么选择共轴双旋翼直升机？电力巡检无人机的需求：1.负载和续航能力2.减小机巢体积3.稳定性与安全性电力巡检无人机的行业需求电力巡检无人机的行业需求陀螺效应下抗干扰能力更强陀螺效应下抗干扰能力更强陀螺效应陀螺效应-控制相位滞后控制相位滞后-抗突风干扰抗突风干扰4.大负载挂线无人机典型机型对比典型机型对比某疆M300多旋翼机型

23、翼展最大尺寸1428.4mm，最大起飞重量9kg我司CEM30A共轴平台最大翼展尺寸1158mm，最大起飞重量32kg，翼展最大尺寸1428.4mm同等机身包络尺寸下，载重能力更强。同等机身包络尺寸下，载重能力更强。翼展最大尺寸1158mm4.大负载挂线无人机CEM30A大负载共轴无人机大负载共轴无人机 CEM30A 基本参数基本参数CEM30A无人机是属于大载重共轴双旋翼飞行器，结构紧凑，旋翼可折叠，体积小，方便运输；载重量大、抗风性能好、悬停能力强，机动性好、支持多平台运载，具有自主起降、自动巡检、自主作业等功能；具有集群通信指挥、通信中继、人在回路功能；在导航卫星拒止和数据链通信中断条件

24、下，具有末端精确导引功能，具备自主导航和作业能力；有良好的电磁防护和电磁兼容能力，完成了GJB 151B-2013，GJB 150-2007等相关测试。巡飞半径:15Km最大平飞速度:100Km/h滞空时间:20min最大起飞重量:32Kg任务载荷:1015Kg导航方式:GPS/BDIII复合导航定点精度:0.5m(CEP)应用场景:智慧城市、线路巡检、垂起业务等抗风能力:7级样机总重量：60kg负载总重量：90kg行进速度：0.2m/s爬坡能力：倾角30度越障能力：抗干扰能力：8级大风输电环境下大负载运送平台研究基于ANSYS应力分析=+=12cos=12Gsin +12 sin+cos +arcsin 2 1+2+arctan整体平台设计2+=1 cos =1 sin 3+=2 cos 30=（+2 sin 30）需求指标：结构设计理论分析校核行进机构压紧机构上下线机构防侧翻机构机构受力分析电机接线与软件调试输电作业仿真平台构建5.大负载上下线平台双丰

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（多模态融合技术与电力机器人应用.pdf）为本站（2200）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

多模态融合技术与电力机器人应用.pdf

多模态融合技术与电力机器人应用.pdf