《通标-SGS自动驾驶视觉感知图像质量测试与物体检测算法 - share.pdf》由会员分享,可在线阅读,更多相关《通标-SGS自动驾驶视觉感知图像质量测试与物体检测算法 - share.pdf(43页珍藏版)》请在三个皮匠报告上搜索。
1、自动驾驶自动驾驶视觉感知视觉感知图像质量测试与物体检测算法图像质量测试与物体检测算法第三届ICVS中国自动驾驶 感知融合技术峰会SGS Automotive Services|谢丹|2023.3Contents摄像模组图像质量测试:介绍与经验分享图像质量对视觉感知算法的影响:试验与探讨总结 SGS Group Management SA 2020 All Rights Reserved SGS is a registered trademark of SGS Group Management SA3自动驾驶的模型与过程自动驾驶的模型与过程采集外界信息采集外界信息采集自车信息采集自车信息:定位,
2、速度识别对象识别对象,计算位置速度驾驶决策驾驶决策:刹车,加速,转向决策执行决策执行:刹车,加速,转向人类驾驶人类驾驶:看一下看一下自动驾驶自动驾驶:摄像头摄像头,雷达雷达,定位器定位器,加速计加速计人类驾驶人类驾驶:想一下想一下自动驾驶自动驾驶:算法算法+算力算力人类驾驶人类驾驶:手脚动一下手脚动一下自动驾驶自动驾驶:制动系统制动系统加速系统加速系统转向系统转向系统4人类驾驶人类驾驶视觉视觉自动驾驶自动驾驶视觉视觉1.2亿感光细胞随意转动调整位置针对不常见对象能很快纠正错误识别不易受外界因素干扰目前高配800万像素相机位置固定,一旦位置偏移将影响感知准确性针对不常见对象容易识别出错易受外界因
3、素干扰:雨滴脏污等遮挡VS5成像质量测试成像质量测试 实验室环境实验室环境12%18%反射率灰的环境,可使相机拍摄的环境背景色对相机的曝光影像较小.6成像质量测试成像质量测试 解析力解析力镜头镜头影响瑞利极限像素像素影响奈奎斯特极限传感器传感器影响光数转换效果ISPISP算法算法:去马赛克,降噪,锐化,Gamma影像因素影像因素测试项目测试项目可视分辨率MTF,SFR,高低温MTF景深7成像质量测试成像质量测试 解析力解析力测试方法测试方法ISO12233 可视分辨率可视分辨率(线线对对)ISO12233 eSFR(斜斜边边)ISO12233 sSFR(西门子西门子星图星图)130像素60像素
4、可视分辨率(TV Line)占像高的1/59 (1/5)=45 LW/PH=0.375 C/P奈奎斯特极限:60 LW/PH=30 LP/PH=0.5C/PTV Line MTF20MTF50计算起始点MTF50P计算起始点8成像质量测试成像质量测试 噪声噪声镜头镜头:影响较小传感器传感器:影响很大ISP算法算法:降噪影像因素影像因素测试项目测试项目噪声信噪比9成像质量测试成像质量测试 噪声噪声测试方法测试方法:ISO14524+ISO15739测试图卡测试图卡:各类灰阶图卡物理亮度(L)数字亮度(Y)cd/m228=0255Gamma 0.5噪声噪声=数字亮度的均方差信噪比信噪比(SNR)=
5、数字亮度理论值噪声200200200200200200200200200200200200200200200200200200200200数字亮度理论值数字亮度实际值噪声噪声=3.477信噪比信噪比=200/3.477=57.5=35.2dB2520520502022005*以下为简化举例以下为简化举例,实际还要考虑实际还要考虑RGB与与Y的转换关系的转换关系10成像质量测试成像质量测试 动态范围动态范围/曝光曝光ISP算法算法:多重曝光叠加+=传感器传感器:单次曝光,局部不同曝光程度11成像质量测试成像质
6、量测试 动态范围动态范围/曝光曝光测试方法测试方法:ISO15739,自定义测试图卡测试图卡:透射式灰阶图卡有效动态范围有效动态范围根据根据SNR定义不同的下限定义不同的下限Low:SNR=1High:SNR=10动态范围内可分辨灰阶数可分辨灰阶数(左图红色点为不可分辨灰阶)测试图卡动态范围测试图卡动态范围=最大最小密度差值最大最小密度差值 x 20 x 20例例:(8.96 0.15)x 20=176(dB)动态范围动态范围=可感应最大物理亮度可感应最小物理亮度12成像质量测试成像质量测试 色彩色彩镜头镜头:色散传感器传感器:影响很大ISP算法算法:去马赛克,色彩调优影像因素影像因素测试项目
7、测试项目白平衡误差色散(CA)色差:E,C 色域13成像质量测试成像质量测试 色彩色彩测试方法测试方法:CIE色彩空间,ISO19084测试图卡测试图卡:24色卡测量每个色块的L,a,b数值,导入分析软件,更准确地进行色彩分析.Y=0.2125R+0.7154G+0.0721B14成像质量测试成像质量测试 几何属性几何属性镜头镜头:主要影响ISPISP算法算法:畸变纠正影像因素影像因素测试项目测试项目FOV几何畸变15成像质量测试成像质量测试 几何属性几何属性FOV测量测量-旋转法旋转法:旋转中心未对准会造成很大差异3060LDFOV测量测量 三角函数法三角函数法:光心也要对准FOV角度角度=
8、2 x arctan(L/D)Local 畸变畸变:ISO17850Local畸变畸变=(HH)Hx 100%Line 畸变畸变:ISO17850水平方向水平方向=(BA)2Ax 100%垂直方向垂直方向=()2x 100%Radial 畸变畸变:ISO16505多项式拟合切线斜率16成像质量测试成像质量测试 Flare镜头镜头:主要影响ISP算法算法:眩光减弱影像因素影像因素测试项目测试项目眩光,光晕鬼像,弥散17成像质量测试成像质量测试 FlareISO18844 眩光百分比眩光百分比通常用method c,要求图卡白:黑=3000:1数字亮度比数字亮度比,占图面积比占图面积比定义好数字亮
9、度达到光源亮度的多少,计算为眩光/鬼像眩光/鬼像的最高数字亮度 不应超过光源数字亮度的多少?统计符合定义的眩光/鬼像的像素和 占画面总像素的比例不应超过多少?Ghost18机器视觉机器视觉感知任务感知任务对象分类物体检测对象边界分割对象运动轨迹预测机器视觉的机器视觉的缺陷缺陷45 MPH20试验试验:图像质量对物体检测算法的影响图像质量对物体检测算法的影响 车辆检测算法车辆检测算法选取了两个知名且公开的车辆检测算法进行测试21试验试验:图像质量对物体检测算法的影响图像质量对物体检测算法的影响 图像数据增强图像数据增强畸变增强曝光变化模糊化加入噪声动态范围减少加入眩光鬼像22试验试验:曝光变化曝
10、光变化对车辆检测算法的影响对车辆检测算法的影响23试验试验:曝光变化曝光变化对车辆检测算法的影响对车辆检测算法的影响24试验试验:曝光变化曝光变化对车辆检测算法的影响对车辆检测算法的影响原始图原始图曝光曝光+曝光曝光-整体识别提升提升了,还额外识别出了一辆小车整体识别下降下降了,漏识别好几辆车25试验试验:曝光变化曝光变化对车辆检测算法的影响对车辆检测算法的影响原始图原始图曝光曝光+曝光曝光-少数有提升,大部分下降了,还有误识别有提升有下降,IOU有下降26试验试验:图像模糊图像模糊对车辆检测算法的影响对车辆检测算法的影响27试验试验:图像模糊图像模糊对车辆检测算法的影响对车辆检测算法的影响原
11、始图原始图模糊模糊+模糊模糊+有升有降,有漏识别,有新识别整体识别下降下降了,但主体两车的识别率仍维持0.9928试验试验:图像模糊图像模糊对车辆检测算法的影响对车辆检测算法的影响原始图原始图模糊模糊+模糊模糊+识别率有下降识别率明显下降29试验试验:图像噪声图像噪声对车辆检测算法的影响对车辆检测算法的影响30试验试验:图像噪声图像噪声对车辆检测算法的影响对车辆检测算法的影响原始图原始图噪声噪声+噪声噪声+识别率基本不变,但有新识别,也有误识别识别率基本不变,而且有新识别31试验试验:图像噪声图像噪声对车辆检测算法的影响对车辆检测算法的影响原始图原始图噪声噪声+噪声噪声+识别率基本不变,部分还
12、有提升识别率略有下降32试验试验:动态范围动态范围对车辆检测算法的影响对车辆检测算法的影响33试验试验:动态范围动态范围对车辆检测算法的影响对车辆检测算法的影响原始图原始图动态范围动态范围-动态范围动态范围-识别率基本不变,有误检隧道内完全无识别34试验试验:动态范围动态范围对车辆检测算法的影响对车辆检测算法的影响原始图原始图动态范围动态范围-动态范围动态范围-隧道内识别率有下降,有误检隧道内完全无识别隧道内有一误检35试验试验:视场边缘畸变视场边缘畸变对车辆检测算法的影响对车辆检测算法的影响36试验试验:视场边缘畸变视场边缘畸变对车辆检测算法的影响对车辆检测算法的影响原始图原始图边缘畸变边缘
13、畸变+边缘畸变边缘畸变+边缘识别率明显下降,有误检,有漏检边缘识别大幅下降,有漏检37试验试验:视场边缘畸变视场边缘畸变对车辆检测算法的影响对车辆检测算法的影响原始图原始图边缘畸变边缘畸变+边缘畸变边缘畸变+边缘识别率明显下降,有漏检边缘无识别38总结总结:摄像模组图像质量摄像模组图像质量对车辆检测算法的影响对车辆检测算法的影响因为测试数量还远不够,以下总结仅供参考:图像质量项目图像质量项目对车辆识别算法的影响对车辆识别算法的影响曝光(亮,暗)有一些影响,但无明显规律清晰度越模糊影响越大噪声影响较小动态范围(DR)对隧道出入口等特定场景,DR越小影响越大广角畸变畸变越大,对边缘检测对象影响越大
14、待进一步开展工作待进一步开展工作:同样的数据增强,采用不同的方式不同的方式,如噪声:高斯噪声,随机噪声,拉普拉斯噪声,等等.研究如何实现加入”眩光眩光,鬼像鬼像”研究如何实现加入:镜头雾化镜头雾化,镜头雨滴镜头雨滴,镜镜头部分遮蔽头部分遮蔽,等简介影响图像质量的情况对识别算法的影响从零部件品质到整车安全的全价值链质量保障服务。已为15,000+客户提供汽车检验、测试、认证和咨询服务。汽车材料汽车材料零部件零部件总成件总成件整车整车汽车服务业务范围汽车模块及系统集成服务汽车模块及系统集成服务环境可靠性类测试内外饰件机械疲劳耐久类测试部件功能和寿命类测试环境耐久测试安全气囊静态点爆测试声学测试过滤
15、测试动力电池测试 等汽车轻量化部件汽车轻量化部件测试测试高分子部件测试金属部件测试汽车功能安全服务汽车功能安全服务ISO 26262培训咨询与认证业务范围汽车电子科技服务汽车电子科技服务电气性能测试环境模拟测试机械耐久测试失效分析测试电磁兼容测试汽车半导体测试汽车半导体测试可靠性测试静电与闩锁效应测试失效分析双束聚焦离子束业务范围汽车禁限用物质汽车禁限用物质&车内空气质量测试车内空气质量测试ELV测试其他禁限用物质测试抗菌防霉测试VOC车内挥发性有机物测试材料数据库管理、咨询、培训整车及零部件多国认证整车及零部件多国认证巴西INMETRO认证欧洲 ECE/EU 认证哥伦比亚认证功能安全 ISO 26262CE-MID认证其他认证谢丹谢丹