《杨必胜-无人系统自主协同三维信息获取.pdf》由会员分享,可在线阅读,更多相关《杨必胜-无人系统自主协同三维信息获取.pdf(25页珍藏版)》请在三个皮匠报告上搜索。
1、无人系统自主协同三维信息获取杨必胜、陈 驰、孙上哲(汇报人)武汉大学测绘遥感信息工程国家重点实验室2023年6月28日无人系统成为推动国家经济发展、深地深空探测、军事等应用场景的重要力量2023年习近平总书记视察广汽研究院“中国将机器人纳入国家科技创新的优先重点领域,推动机器人科技研发和产业化进程,使机器人科技及其产品更好为推动发展、造福人民服务。”习近平总书记致世界机器人大会的贺信习近平总书记了解企业突破关键核心技术和推动制造业高端化、智能化、绿色化等进展情况。“关键核心技术要立足自主研发,也欢迎国际合作。要加强教育和人才培养,夯实科技自立自强根基。”习近平总书记视察广汽研究院 习近平总书记
2、指出,随着信息化、工业化不断融合,以机器人科技为代表的智能产业蓬勃兴起,成为现时代科技创新的一个重要标志。“十四五”机器人产业发展规划新闻发布会智能驾驶公共服务物流运输无人作战深空探测基础设施巡检01研究背景及意义:重大需求异构协同无人系统是应对复杂空间多样性挑战的必由之路视野单一,感知范围受限,感知能力不足多视角探测,全面感知、跨域多平台协同无人系统是第一种集采集与感知、定位与制图、决策与控制等功能于一体的智能系统。水-陆-空-地下-深空多类复杂空间环境存在多要素耦合、多维度约束的特性,单一无人系统难以有效克服复杂环境多样性挑战。单一无人系统平台异构协同多无人系统平台01研究背景及意义:重大
3、需求多栖异构协同无人集群具有全面感知、全域响应、精准认知、自主协同、高效机动的优势可以实现多个平台之间功能的互补、效能的倍增多栖异构协同无人系统多栖异构协同无人系统是由多栖平台、任务载荷、控制系统及天-空-地-水信息网络等组成的一个综合系统无人潜航器无人船无人机无人车智能感知与制图终端通讯链路01研究背景及意义:重大需求201820202022 无人化探测是跨域空间探索的必由途径,也是国际研究前沿 GNSS拒止空间高效探测与制图是亟需攻克的前沿科学问题和工程技术难题 面临全面感知、精准认知与自主协同等技术瓶颈NASA JPL 火星洞穴探测DARPA SubT地下挑战赛跨域空间环境复杂多变、尺度
4、不一、目标众多,难以实时探测无人集群探测研究数量攀升MAV集群(Science Robotics,2022)仿细胞集群机器人(Nature,2019)祝融号着陆(中国航天,2021)中国国际月球科研站02学术前沿与难题主要创新技术路线技术指标面临挑战由于物体之间的遮挡和LiDAR传感器扫描角度变化,LiDAR无法获取完整的目标表面点云。现有点云3D目标检测方法都是通过强制分类和回归中心点来得到检测框,而中心点周围是不存在点云数据,这限制了现有方法的检测精度。取得ONCE数据集上单阶段单帧点云检测精度排名第一 角点辅助模型可以作为插件的形式助力其他模型提升精度,精度最高可提升14.23%。提出一
5、种自适应的角点分类方法;提出一种角点检测辅助模块,并且可以作为插件用于其他网络中,即插即用。针对不完整的表面点云,CG-SSD方法提出了一种角点检测辅助的3D目标检测方法。在进行目标检测前,首先检测出目标的角点位置,再将角点的信息附加给网络学习的特征并送入检测头,得到最终的检测结果。03全面感知与精准认知:CG-SSD 角点监督目标感知主要创新技术路线面临挑战场景小目标众多,遮挡严重,MaskRCNN,ViT等方法检测效果不佳视角多变、尺度差异明显、训练标注受限提出了一种融合坐标和通道信息的注意力机制,用于改善尺度、方向改变造成的定位精度降低。构建了级联检测网络(CC-YOLO),在第一级检测
6、感兴趣区域(PC-RoIs),在第二级网络中检测小尺度对象部件。技术指标 电力场景中,与SOTA(TPH-YOLO)相比,小尺度部件提升6.1%AP,绝缘子爆片类别显著提升8.9%APa)TPH-YOLOb)CC-YOLO结果c)CC-YOLO热点图03全面感知与精准认知:CC-YOLO 空间语义引导的微小目标检测技术指标现有低线数激光雷达点云超分辨率深度学习方法效果有待提升现有的从低线数激光雷达点云超分辨率研究没有考虑场景的几何语义,从而导致下游子任务(如SLAM)的超分辨率点优化不足。面临挑战主要创新 CG-LSR神经网络将超分辨率点的MAE降低了12.4%,降至0.177m。SGSR-N
7、et的室内SLAM(LeGO-LOAM)结果的绝对位姿误差(APE)的均值和RMSE分别降低了27%和30%,降至0.849m和0.902m点云超分辨率网络CG-LSR逻辑池化蒙特卡洛点云精化过程CG-LSR点云超分辨率结果直方图结构语义提取技术路线1=1+2=1+=max 1,2以上基于SOTA方法:Simulation-based Lidar Super-resolution for Ground Vehicles 相比(a)16 线雷达深度图 (b)超分辨率 128 线深度图 (c)真值 128 线深度图 (d)残差图 (a)16 线点云(b)真值 128 线点云 (c)超分辨率 128
8、 线点云(d)点云精化效果 SGSR-Net点云精化结果03融合定位与无偏制图:SGSR-Net:结构语义引导的MBL点云超分辨率技术指标面临挑战主要创新技术路线 与SOTA方法Lego_LOAM相比,3D-CSTM的APE减小27.5%3D-CSTM构建的点云地图误差减小了20%,且冗余低低成本、低线数的MBL传感器视角小、点密度低,带来退化场景L-SLAM困难UGV等小型运动平台受地形影响大,位姿动态高,离散SLAM方法难以适用样条线运动建模可观性特征筛选模型连续时空低冗余点云3D-CSTM提出一种连续时空的SLAM方法,构建统计误差向量优化约束椭圆关联共轭特征筛选模型,基于样条线拟合的连
9、续时间-空间非刚性点云建图。03融合定位与无偏制图:3D-CSTM时空连续的三维建图系统技术指标单智能体面对跨域未知空间,算力、续航、通行模式有限。当前无人系统智能体间协同能力弱。无人系统难以实现高效任务协同优化配置。面临挑战主要创新 在算力、续航与通行能力有限条件下,在实地与仿真未知空间跨域异构无人系统自主协同探索环境覆盖度平均优于85%、协同探索效率达到200m3/s。任务协同最优中继投放技术路线可遍历范围感知信号强度图估计多编组混合分布式多源数据共享集群信号强度采集优化帕累托过程通信覆盖范围最优化最优中继部署传感器特性-功能映射系统任务状态共享未知环境集群协同任务分配监督多约束任务规划集
10、群实时位姿与通行特性跨域异构无人系统动态自组网自主投放中继信标03跨域异构无人系统自主协同:动态自组网与任务自适应规划现有多无人平台激光协同SLAM多为UGV间协同,缺乏UAV-UGV协同激光SLAM系统现有的闭环检测点云描述子缺乏视点转换能力,不适用于空地平台间的闭环检测面临挑战主要创新全局地图构建结果技术路线点云描述子结果构建空地无人平台的联合定位与建图系统提出具备视点转换能力的点云描述子用于闭环检测空地协同建图与定位系统技术指标 闭环检测正确率可达97%联合轨迹绝对位姿误差(APE)的均值和RMSE分别为0.4m和0.6m 联合地图与真值地图点到点dist的均值小于0.08m03跨域异构
11、无人系统自主协同:空地无人平台联合定位与建图系统国际摄影测量与遥感 ISPRS国际移动测量学会 MMT 最佳论文奖(2013,陈驰,排名1)提出了CG-SSD检测器,攻克了融合检测技术瓶颈,在ONCE无人驾驶公开数据集目标检测排名第一,并成功应用于Robotaxi无人驾驶公开道路示范运营,为无人系统的自主避障与规划奠定基础,相关论文获得了中国电机工程学会,国际、美国摄影测量学会最佳论文奖中国电机工程学会最佳论文奖(2020,陈驰,排名1)无人驾驶环境感知美国摄影测量与遥感学会(ASPRS)最佳论文奖(2022)无人机电力环境感知DCSI-UAV电力巡检部件与故障检测标准数据集(全球首个大规模电
12、力巡检Benchmark)输电杆塔绝缘子均压环防震锤间隔棒塔号牌鸟巢数据集类别图像尺寸图像数量背景复杂度实例/张实例CPLID简单1.91569STN PLAD33较复杂18.12409Tomaszewski230简单12630DCSI7600040001346复杂多变8.951205004阶段成果:无人系统自主感知与认知研制了3D-CSTM时空连续的三维建图系统,实现了无GNSS等多种复杂环境三维地图构建,核心技术在武汉、广州、上海等多个大型自动驾驶示范区进行了验证,建设了东风、广汽智能网联示范区道路高精地图,全长累计超过10
13、00公里3D-CSTM3D-CSTM时空连续的三维建图系统04阶段成果:无人系统高精度制图研制了“珞珈探索者”无人地下空间探测系统,相关核心技术服务地下空间测绘、激光隧道检测,获测绘科技进步一等奖海口熔岩管地形三维测绘04阶段成果:地下空间自主探测装备研制测绘科技进步一等奖(排名1)研制了无人机、无人车、机器人等多类无人平台移动感知定位和制图系统,服务电力巡检、无人驾驶等多类应用,获得测绘科技进步特等奖点云数据定位导航巡检结果测绘科技进步特等奖(2019,排名1)东风领航自动驾驶装备研制电网无人巡检装备研制央视报道空地协同无人系统成果04阶段成果:异构无人系统自主协同装备研制在激光点云智能处理
14、、地图模型、地图存储、众包测绘与增量更新等方面都有开创性的研究成果,广义点云理论方法入选ISPRS重要前沿方向,出版专著3部,出版相关论文100余篇,国家发明专利40余项,多篇论文入选F5000,ESI高被引论文,获国际-美国摄影测量学会、中国电机工程学会最佳论文奖。学术论著高水平论文发明专利与软件著作04阶段成果学术专著与代表性论文 GB/T 35646-2017 导航电子地图增量更新基本要求 GB/T 35645-2017导航电子地图框架数据交换格式 GB/T 35640-2017 公交导航数据模型与交换格式 GB/T 40085-2021 导航电子地图分区网络模型 行业标准 道路高精导航
15、电子地图数据规范在激光点云智能处理、地图模型、地图存储、众包测绘与增量更新等方面都有开创性的研究成果,制定国家/行业标准5项,获得国家级科技奖励2项,国际奖励1项。标准 道路路面动态检测关键技术及装备 国防交通地理信息系统关键技术及应用 Carl Pulfrich国际奖奖励04阶段成果制定标准与获得奖励项目类型负责人获批时间项目名项目经费国家重点研发计划杨必胜2022复杂空间场景数字孪生关键技术与应用1800万国家重点研发计划李必军2021高精度自动驾驶动态地图与北斗卫星融合定位技术4000万国家重点研发计划杨必胜2016国产空地全息三维遥感系统研制及产业化2000万国家杰出青年科学基金杨必胜
16、2018广义点云多细节层次三维建模理论与方法350万国家自然科学基金重点项目陈驰2022地下空间无人集群协同自主探索与3D感知定位制图252万国家自然科学基金重点项目杨必胜2021城市立体形态结构化建模理论方法291万国家自然科学基金重点项目杨必胜2016广义影像点云构建与多细节层次建模302万团队承担重大项目情况04阶段成果承担国家项目测试示范环境:先导区/示范区/试验场科研基础设施:自动驾驶与V2X 仿真/HIL/EMC自动驾驶研发平台:自动驾驶乘用车研发平台 自动驾驶巴士研发平台 自动驾驶观光车研发平台 与一汽奔腾、中兴智能汽车、中铁十九局联合研发的新一代自动驾驶乘用车、巴士、矿车研发平
17、台东风汽车、广汽、中汽研、光谷智联在智能网联汽车领域承担了多项国家重点研发计划。拥有多个国家/省部级研发平台,拥有智能网联示范区、自动驾驶研发平台、自动驾驶巴士、自动驾驶实车测试系统、V2X硬件在环与仿真测试平台等基础设施和软硬件工具。04阶段成果示范验证多无人系统智能运控智能驾驶智能无人集群北斗+5G智能无人系统测试基地道路及用地总规划总平面图04阶段成果武汉大学赤壁无人基地打造特色鲜明、国内领先的智能无人系统创新研究基地途智系列无人车+珞珈探索者集群机器人赤壁智能无人系统基地武汉大学智能无人系统基地04阶段成果武汉大学赤壁无人基地坚持需求牵引、构建创新体系、开展联合攻关,确保我国在跨域协同无人探测系统竞争中处于领先位置,服务国防和社会经济发展。0 01 1坚持需求牵引面向国家需求0 01 1构建创新体系集中优势力量0101开展联合攻关突破核心技术透明感知全局认知精智策控跨域协同跨域无人集群协同探测高校企业政府用户集中优势力量跨学科交叉融合人工智能航空航天新材料 控制科学机械设计电子信息深空探测智能交通基础设施监测05总结与展望感谢聆听!请批评指正!武汉大学空间智能研究所Thank You All!