《清华苏研院:面向多场景的智能环境感知技术研究及应用.pdf》由会员分享,可在线阅读,更多相关《清华苏研院:面向多场景的智能环境感知技术研究及应用.pdf(22页珍藏版)》请在三个皮匠报告上搜索。
1、 1张怡欢2023-03面向多场景的智能环境感知技术研究及应用Intelligent Perception Technology for Multi-scenario Applications 2清华大学苏州汽车研究院n 成立于2011年,是清华大学第一所面向产业应用的专业化派出研究院n 面向汽车应用技术研发、高端产业服务和科技成果转化,已为国内外110+企业提供了委托研发服务n 建立了“科技研发、科技金融、科技产业”三轮驱动的产业创新模式,累计孵化企70余家n 江苏省制造业创新中心智能网联汽车创新中心 3CONTENTSn多样化场景的挑战 Challenge of Diverse Scena
2、rios n智能环境感知技术 Intelligent Perception Technologyn应用案例 Applications 4多样化场景的挑战 感知 Challenge of Diverse Scenarios-Perception理想场景 Ideal常见场景 Reality特殊场景 Special边角场景 Cornerp 可进化 Evolvablep 可扩展 Scalablep 可评价 Evaluable采标训一体化的数据闭环平台Data Closed-Loop Systemp 通用数据集覆盖范围有限 Limited coverage in general datasetp 特定场
3、景下需要特定数据集 Specific dataset is needed 5理想场景 Ideal开阔、无遮挡 Open wideGNSS信号稳定 Stable GNSS常见场景 Reality城市峡谷、多径效应 Urban canyon,Multipath effect高架下方无/弱GNSS信号 Under highway/weak GNSS特殊场景 Special特征退化(隧道)Feature degradation(tunnel)重复场景(地下停车场)Similar/Repeated scenes动态场景 Dynamic动态变化(行人、货物)Dynamic environment 室内外切
4、换 Indoor/Outdoor switch多样化场景的挑战 定位 Challenge of Diverse Scenarios-Localizationp 特定场景GNSS弱/丢失 GNSS lost in many scenesp 不同场景特征差异大 Diverse features in various scenesp 稳定 Stablep 精确 Precisep 快速 Fast多传感器融合的建图定位平台Mapping and Localization System 6我们的目标 Motivation构建一个数据闭环的、可快速部署多种场景的、可扩展功能的智能感知平台。自动驾驶Autom
5、ated Driving大数据服务Big Data车路协同Vehicle-road Cooperation一个平台多款硬件N种解决方案 7CONTENTSn多样化场景的挑战 Challenge of Diverse Scenarios n智能环境感知技术 Intelligent Perception Platformn应用案例 Applications 8智能感知平台 Intelligent Perception Platform应用Applications硬件Hardware平台Platform激光雷达LiDAR数据采集Acquire清洗标注Clean&Label模型训练Train mode
6、l测试验证Evaluate路侧感知Road-side perception超视距感知Over-sight数采工具Data Acquisition多源融合Sensor fusion特征提取Extract feature地图构建Build map高精定位Localize协同定位Co-locating目标检测系统 Object Detection System摄像头Camera组合导航GNSS/IMU通信设备OBU/RSU定位设备UWB/Wifi工控机IPC边缘计算单元IPU工具链 Toolchains标注工具Data Labeling模型训练工具Model Training建图定位工具SLAM测试
7、评价工具Test evaluation融合定位系统 Localization System协同系统 Cooperation System 9智能感知平台 Intelligent Perception Platform标注结果感知模型测评结果三维地图定位信息云平台I-Cloud边缘终端IPU任务Task输出Output数据采集真值标注目标检测地图构建位姿估计车路协同p 边缘终端(IPU)能够支持多种传感器,帮助客户快速搭建数据采集系统;p 标注及模型训练工具能够完成客户定制化的标注类别及感知模型需求;p 建图定位工具能够针对运行场景进行定制化地图构建和定位算法适配;数据测评Evaluate数据分
8、析Analyse工具优化Optimize迭代Iterate“云平台+边缘终端”构成,数据闭环持续迭代 10点云目标检测技术 Object Detection点云目标检测方法框架11 Yihuan Zhang,Liang Wang,Yifan Dai,PLOT:A 3D Point Cloud Object Detection Network for Autonomous Driving.Robotica,2022点云目标检测结果提出了一种基于深度神经网络的激光点云目标检测算法PLOT,能够在边缘计算平台上完成实时目标检测p 支持10fps以上的处理帧率(车辆、行人、骑行者)p 支持最多2个12
9、8线点云数据处理(30万点)p 支持自定义类别训练(锥桶、三轮车等)11传感器多传感器融合技术 Sensor Fusion第一人称视角提出了一种多传感器信息融合的目标检测、跟踪、预测方法,能够提供准确、全面的目标物信息p 支持PTP、PPS、GPIO等多种时间同步方式,时钟同步精度us级p 支持摄像头、激光雷达、惯导等传感器联合标定p 支持后处理目标融合、源数据前融合目标检测p 支持目标ID、置信度、预测轨迹等目标物信息输出第一人称视角时间同步点云检测图像检测前融合检测后处理目标融合多目标跟踪行为预测车辆行人骑行者 12激光点云建图技术 Point Cloud Mapping2 Yihuan
10、Zhang,Liang Wang,Chen Fu,Yifan Dai and John M.Dolan,ENCODE:a deep point cloud odometry network.ICRA,2021激光雷达LiDAR激光点云序列Point cloud sequences激光里程计Odometry点云地图Map提出了一种基于深度神经网络的激光点云地图构建算法,能够适应多种场景三维地图构建点云地图构建方法框架2实验结果p 支持特征抽象学习,无需手动指定特征(角点、面等)p 支持后端优化、回环检测等模块接入 13车辆定位技术 Localization3 Yihuan Zhang,Liang
11、 Wang,Yifan Dai,An efficient LiDAR-based localization method for self-driving cars in dynamic environments.Robotica,2021提出了一种基于特征匹配与概率搜索的激光点云地图匹配算法,能够实现车辆高精度定位动态场景下的定位结果p 支持动态场景下的车辆定位,平均定位误差20cm左右p 支持GNSS、轮速计、激光雷达的融合定位p 支持图像特征及毫米波雷达结果融合动态障碍物滤除车辆定位算法框架3 14CONTENTSn多样化场景的挑战 Challenge of Diverse Scenar
12、ios n智能环境感知技术 Intelligent Perception Platformn应用案例 Applications 15应用案例 Applications车端智能感知解决方案(Vehicle-side Perception Solution,VPS)时间同步目标检测目标跟踪地图构建精确定位数据采集融合标定离线回放p 指定目标物识别精度提高(30%-90%)p 实现数据样本的增量式学习p 实现数据采集-标注-训练-部署全流程贯通p 指定特征融合的定位精度提高(20cm-10cm)p 实现无/弱GNSS场景下的多源定位p 实现场景地图的快速构建及特征提取 16应用案例 Applicat
13、ions高精度地图构建及定位解决方案(Mapping and Localization Solution,MLS)p 支持三维多通道点云地图的实时生成,兼容多款激光雷达、摄像头等传感器;p 支持室内外连续高精度实时定位,平均定位误差小于20cm,支持自定义重定位功能;17应用案例 Applicationsp 支持多种激光雷达、摄像头等传感器,快速标定及现场部署;p 支持场景目标物定制检测开发,快速适配不同目标物的检测需求;全息路口解决方案(Holographic Intersection Perception Solution,HIPS)18应用案例 Applications车辆平台云控平台远
14、程驾驶平台p 支持远程监控车辆实时运行状态,视频传输延迟小于200ms;p 支持单对单、单对多、多对多的车辆接管p 支持智能感知平台分配调度;远程驾驶解决方案(Remote Driving Solution,RDS)19应用案例 Applications激光雷达测评解决方案(LiDAR Evaluation Solution)p 基于空间光学衰减方法的汽车激光雷达检测实验室,支持对激光收发系统、激光雷达整机的完整性能参数测试(距离、角度、电参数、帧频率、一致性等);p 车载多传感器性能对比(盲区测试、地面测试、车道线测试等);支持主流激光雷达、4D毫米波雷达;支持数据采集、标注、baselin
15、e模型测评;激光雷达4D毫米波雷达激光雷达检测实验室多传感器性能对比目标标注结果 20总结 Conclusionsp 采-标-训一体化的目标识别、跟踪及预测p 特定场景下的地图构建及高精度定位p 大范围车路协同场景的融合感知一个平台多款硬件N种解决方案 智能感知平台是一个面向多场景应用的通用产品开发与应用平台,依托多款智能硬件,为行业提供不同场景下的智能感知解决方案。p 车载多传感器感知特性测评p 大数据支撑的场景挖掘和自动化生成p 多车状态监控及远程驾驶 21谢 谢 !l苏州市吴江区联杨路139号清华汽车产业园l王杰 22场景自动化构建技术 Scenario Construction提出了一种基于大数据的轨迹生成方法,能够实现自动化的场景构建,为智能网联汽车提供场景支撑p 支持摄像头、激光雷达等多传感器融合的位姿估计p 支持多种交通参与物的场景还原及重构p 支持特定场景的泛化及仿真软件导入p 支持智能体模型的训练和部署(动态博弈场景)场景数据采集导入仿真软件事故场景还原