《幔核科技:面向未来的环境感知.pdf》由会员分享,可在线阅读,更多相关《幔核科技:面向未来的环境感知.pdf(15页珍藏版)》请在三个皮匠报告上搜索。
1、nisar.aiDr.Ing.K.Zhu We simplifysoftware development幔核科技-ConfidentialNISAR AI-driven Platform|幔核科技面 向 未 来 的 环 境 感 知面 向 未 来 的 环 境 感 知朱珂博士2023.03.18 苏州2环境感知还有什么好(要)做的?3Sensor and Sensor SetupAlgo and SoftwareIntegration Targets我 们 的 十 五 年幔核科技-Confidential4我们的学术与工程量产经验Lead and ReferenceDr.Ing.K.Zhu朱珂朱珂
2、 工程学博士工程学博士(慕尼黑工业大学慕尼黑工业大学)R&D 10 Years Automotive Industry and 5 Years Mobile Robotics3/23/20234My LinkedinAn Interview with Automotive Essentials 2-2019 2007-2008 SLAM德国弗莱恩霍夫研究院 研究员2009-2012 基于CUDA的机载实时观测系统德意志航空航天中心研究员2013 Stereo 3D Reconstruction 加拿大萨斯卡通大学 访问学者2013-2015 zFAS 智能底盘主动悬挂系统德国奥迪 项目经理20
3、16-2019 Environmental Model 德国大陆集团 部门经理2020-2021 Automotive Safety and Security德国 T V S D 副总裁2022 Founder 幔核科技(南京)有限公司中国Dr.Ing.M.GllerDr.H.X.ZhangM.Eng.J.BhlerX.H.Ji幔核科技-ConfidentialSimultaneous Localization and Mapping同步定位与制图的感知与算法局限性 应用场景 与工程化挑战 Camera,LiDAR,Radar恶劣天气下的 Radar SLAM泊车场景 视觉与激光雷达的优缺点V
4、AP.Context Awareness and Concurrency Frameworks:EKF,Particle Filter,Graph-based Data Asscociation:特征向量,动静态分离,Loop closing,.Timeliness and Computation Performance 640 x480 vSLAM,8 Core A76,2GB RAM 面向未来的SLAM特殊场景/路段制图功能初始化 与 Scalable Mapping 的补充幔核科技-ConfidentialNISAR Autonomy GmbH|www.nisar.aiE(d)=Ed a
5、 t a(d)+Es m o o t h(d)Cost Aggregation in L2 Shared MemoryStereo Camera,CUDA and GPGPU三维重建 双目摄像头 英伟达CUDA架构 L2 内存的效率与安全Stereo 方案的成熟性 与 全局优化问题在实际工程中面临的挑战算法结构决定了是否对L2 Cache能有有效的使用未来的Stereo 自动驾驶卡车场景中使用双目的趋势幔核科技-ConfidentialLIDAREgo motion 车辆自身运动估计 使用复杂的算法,融合外部传感器,如激光雷达、照相机、雷达、GPS和其他,以确定车辆的位置、方向和速度。Loca
6、lization 局部高精度定位 确定车辆相对于已知地图或参考点的位置,使用传感器数据和预先存在的环境地图。两者都依赖于整合传感器数据和算法以获得准确的结果.CAMERAIMUEgo motion vs.Localization车辆自身运动估计,局部高精度定位EGO MOTION ESTIMATIONSTEERINGGPSENCODERRADARPOSE,VELOCITY,ACCELERATION,ORIENTATION,ANGULAR RATES,.幔核科技-ConfidentialAlgorithmic complexity高度复杂的算法与安全需求EGO MOTION+LOCALIZATI
7、ON10%of series production architecture ASPICE,ASIL BVelocity EstimationLow Speed未来的Ego motion estimation and localization涉及的不仅仅是简单的IMU数据整合,而是它需要的是使用外部环境传感器,如激光雷达,照相机,雷达,GPS等 进行数据融合的复杂算法。幔核科技-ConfidentialSensor Setup,Object Fusion and L3 Function ALKS 130:Automated Lane Keeping Systems 130km/h UN ECE
8、 R157 毫米波雷达的鲁棒性以及静动分离特性在中高速场景的不可替代性Coherent Enviromental Model语义连贯的环境感知Object vs.Deep Data Fusion 传感器的物理性质 要求 对信号进行特定的处理 前融合需要截取合适的“RAW”数据 Deep Fusion(Vision+LiDAR)本质上无法突破两种传感器的物理局限 Object Fusion 与 Deep Fusion 具有一定的互补性幔核科技-Confidential10Coherent Enviromental Model OD,Lane,Vehicle Pose 之间的语义关系 对 路径规划
9、有直接的影响 传统 LUT 或 Graphical model 难以涵盖 所有的场景,软件工程上也难以实现 对独立目标相互关系的关联语义训练 对 提高用户体验起到决定性的作用Coherent Enviromental Model语义连贯的环境感知幔核科技-Confidential113/23/202311面向未来的环境感知环境感知是一个多维度的系统工程场景具有决定性因素,场景颗粒化程度高当前环境感知模型中缺失整体语义关联性实现大场景全栈 L3 需要进行积累与可持续的创新高标准的实现客户可以体验的细化场景L3功能幔核科技-Confidential123/23/202312面向未来的环境感知环境感
10、知是一个多维度的系统工程场景具有决定性因素,场景颗粒化程度高当前环境感知模型中缺失整体语义关联性实现大场景全栈 L3 需要进行积累与可持续的创新高标准的实现客户可以体验的细化场景L3功能自动驾驶 环境感知-路径规划-车辆控制 端到端学习在复杂场景的必要性安全功能与自动驾驶功能存在一定程度结构性冲突端到端学习的目的是提高车辆对语义关联性的理解幔核科技-Confidential133/23/202313面向未来的环境感知环境感知是一个多维度的系统工程场景具有决定性因素,场景颗粒化程度高当前环境感知模型中缺失整体语义关联性实现大场景全栈 L3 需要进行积累与可持续的创新高标准的实现客户可以体验的细化
11、场景L3功能自动驾驶 环境感知-路径规划-车辆控制 端到端学习在复杂场景的必要性安全功能与自动驾驶功能存在一定程度结构性冲突端到端学习的目的是提高车辆对语义关联性的理解降本增效:可持续性的研发,部署与管理软件产品持久战:从重团队做项目 转变为 轻量化的 产品全生命周期 软件团队提高数据转化为产品的效率形成具有自身生态特点的标准化软件库跨越不同Frameworks 实现算法与集成平台 自动化适配幔核科技-Confidential14NISARAI-driven Platform(AI)工具是一切生产力进步的核心我们致力于成为数字化智能软件的效率杠杆。N I S A R,2 0 2 1幔核科技-Confidential03/23/202315Contacts 朱 珂博士Dr.Ing.K.ZhuChief Executive Officer Globalk.zhunisar.aiA Narwhal from ISARfor embedded and elastic Autonomy Software来 自 伊 萨 尔 河 的 独 角 鲸联系我们幔核科技-Confidential