1、固态激光雷达8MP摄像头技术概述激光雷达与摄像机信息融合个人履历学术成果目标跟踪技术参考书籍及学习资料推荐L2+智能安全系统空间标定可将三维点云数据转换为二维数据，将三维点云数据转换为Birdseye视图中的二维视图，随后选择ROI，进行过滤后将点位置映射到像素位置，确定精度后对像素值进行填充，随后创建图像阵列，并进行对齐。（1）Frustum ProposalFrustum Proposal 模块主要有两个功能：1)利用FPN方法检测障碍物2D边框，并确定障碍物类型信息。2)结合2D边框和RDB-D信息，提取相关激光雷达点云信息。（2）3D Instance SegmentationFrus

2、tum Proposal模块输出的2D边框一般大于实际物体边界，这样就会引入背景点云。需要利用PointNet-based网络架构对点云信息提取，获得物体的位置信息（3）Amodal 3D Box Estimation采用T-Net估计物体三维尺寸解决该问题可以使用CenterNet算法进利用摄像头数据预测目标的中心点，并回归得到目标的3D坐标、深度、旋转等信息。高像素摄像机适合使用CenterNet，相对于之前的one-stage和two-stage的目标检测，基于高分辨率的图像输入，图像传输的物体的特征可提取性较好，CenterNet的“anchor”仅仅会出现在当前需检测的目标（例如行人

3、、车辆等）的位置处而不是整张图，在高分辨率图像的支持下可以精准地直接检测目标的中心点和大小。多目标跟踪技术主要包括目标起始与终结、数据关联、跟踪维持等内容，其中测量数据的处理与形成为多传感器信息融合结果，数据关联和跟踪维持是多目标跟踪中最重要的两个问题数据关联一般分为建立关联门、确定关联门限，门限过滤，确定相似性度量方法，建立关联矩阵、确定关联判定准则、形成关联对等步骤。例如有两个实体A1和A2，三个测量量Z1、Z2和Z3，对测量量与实体进行关联整个过程中，确定相似性度量方法和确定关联判定准则一般决定了整体的关联效果。相似性度量可以通过“距离”概念体现，例如欧式距离、马氏距离、向量相似性等；或

4、通过“概率”概念体现。确定关联判定准则有很多有效算法，如“最近邻”方法（Nearest Neighbor，NN）、概率数据关联算法（Probability Data Association，PDA）、联合概率数据关联法（Joint Probability Data Association，JPDA）、多假设跟踪算法（Multiple Hypothesis Tracking，MHT），以及各种引入智能环节的关联算法。*对于汽车来说，一般采用全局最近邻的方法去替代最近邻的方法。一般可使用匈牙利算法（Kuhn-Munkres Algorithm）进行数据关联（权重参数需要自己配置）1.建立关联门，确

5、定关联门限：椭圆关联门2.门限过滤：将测量Z1过滤掉3.确定相似性度量方法：几何向量距离4.建立关联矩阵5.确定关联判定准则：最近邻方法6.形成关联对数据关联模块将当前感知信息与上一帧跟踪目标信息数据匹配后，将匹配结果发送给跟踪维持模块，跟踪维持模块主要目的对目标连续跟踪以维持目标的轨迹，保证跟踪的目标不发生误跟和失跟现象。跟踪算法基本可以分为两类：单模型（single model，SM）算法和多模型（multiple model，MM）算法。在单模型算法中，一次只用一个模型；而在多模型算法中，设计多个模型来代表可能的目标运动方式，每个模型是有那个各自的滤波器，其整体估计值是对各个滤波器的估值

6、进行加权得到。对于单一目标且不发生机动情况，可通过建立目标运动的单一模型，Kalman滤波器是最常用的一种跟踪维持方法。实际在无人驾驶汽车中，可以使用无损卡尔曼滤波（UKF）解决传统卡尔曼滤波算法的线性化因素和扩展卡尔曼滤波的时延问题。在建模过程中，一般使用二次运动模型，包括：（1）恒定转率和速度模型（Constant Turn Rate and Velocity，CTRV）（2）恒定转率和加速度模型（Constant Turn Rate andAcceleration，CTRA）可以使用CTRV运动模型作为跟踪模型进行建模，与扩展卡尔曼滤波不同的是，扩展卡尔曼滤波中的直线加速度和偏航角加速度是系统的处理噪声，而在UKF中噪声的影响直接转移到状态转移矩阵中。其处理过程如下：（1）非线性处理/测量模型（2）无损变换（3）根据高斯分布产生的sigma point进行预测（4）预测均值和方差（5）预测测量（6）更新状态其中，蓝色的点为UKF对目标位置的估计，橙色的点为来自雷达和摄像机的测量值，绿色的点是目标的真实位置，使用UKF在结合运动模型的基础上以及融合两个传感器的测量的基础上做出了非常接近目标真实状态的估计。微信号