《1. 数据驱动下的压缩视频质量增强(徐迈).pdf》由会员分享,可在线阅读,更多相关《1. 数据驱动下的压缩视频质量增强(徐迈).pdf(53页珍藏版)》请在三个皮匠报告上搜索。
1、数据驱动下的压缩视频质量增强徐 迈北京航空航天学 一、研究背景 二、多帧联合优化的视频质量增强 三、盲质量增强的高效动态深度网络模型 四、感知失焦特性的压缩图像质量增强1研究背景1 https:/ EB 2022:3,300 EB/通格式/通格式/通格式/通格式/通格式/通格式/通格式/通格式/通格式/通格式/通格式/通格式/通格式/通格式/通格式/通格式Global Mobile Data TrafficInternet VideoIP VODWeb/DataFile SharingEB/Month1 https:/ amount,high quality videosBillions of
2、 Mobile devicesWireless Network带宽瓶颈能否进一步提高视频压缩效率?视频压缩技术演进遇到“边际效应”视频压缩效率以巨大计算资源为代价StandardPredictionTransformIntra-Inter-MPEG-1None1/2 pixel88 DCTMPEG-2None1/2 pixel88 DCTAVC9 modes1/4 pixel44,88 DCTHEVC35 modes1/8 pixel44 3232 DCT,44 DSTYearCoding EfficiencyMPEG-1MPEG-2AVCHEVC1992 3Cplx.5
3、%Cplx.100%Cplx.1000%Border Effect能否另辟蹊径:在解码端提升视频质量?视频编码传输视频解码低质量视频原始视频低质量视频码流发送端接收端用户12解决方案:解码端增强压缩视频质量,缓解视频传输带宽瓶颈低质量视频码流视频编码传输视频解码低质量视频用户原始视频发送端接收端高质量视频质量增强ImageNet,14M+images and 21K+classes(2009-2017,http:/www.image-net.org/)13!#!#$%&()*+,-./01%2345$%&()*+,-./01%23452多帧联合优化的视频质量增强1 Multi-frame Qu
4、ality Enhancement for Compressed Video,CVPR 20182 MFQE 2.0:A New Approach for Multi-frame Quality Enhancement on Compressed Video,TPAMI 20193 Progressive Training of A Two-Stage Framework for Video Restoration,NTIRE 2022 冠军案1 Image denoising by sparse 3D transform-domain collaborative filtering,TIP
5、20072 Compression artifacts reduction by a deep convolutional network,ICCV 20153 Enhancing Quality for HEVC Compressed Videos,TCSVT 2018现有工作 传统图像方法,如BM3D 1 基于学习的图像方法,如AR-CNN 2、QE-CNN 3局限性 没有考虑视频的特性:相邻帧时序相关,存在冗余 没有考虑视频编码的特性:质量波动,质量差帧可以借鉴好帧15现有方法局限:未考虑多帧和编码特性16454678)*-9:678)*-9:86)*;-=6)*;)*?AB)*?AB
6、图 涵盖 8 种主题的大型无损视频数据库建库:大规模、高质量、多分类的无损视频库17图 篮球运动视频中高度相似的相邻帧Frame 95Frame 96Frame 94CD#CD#EFGHIEJ-.KL23MNOEPQREFGHIEJ-.KL23MNOEPQR分析:压缩视频的时序相关性18+,ST+,ST:5)*?U-AB)*VWXY)*?U-AB)*VWXYZ$GEJDZ$GEJD图 不同距离帧之间的相关系数和标准差分析:压缩视频的时序相关性19图 不同压缩标准下的视频PSNR波动曲线CD#CD#AB)*_L1%aAB)*_L1%abcdebfdG1%fgZ$bcdebfdG1%fgZ$分析:
7、压缩视频的质量波动性 如何利用帧间相关性?多帧信息融合 如何利用质量波动性?“差”帧借鉴“好”帧运动补偿高质量帧融合增强运动补偿压缩视频高质量帧低质量帧分类器1、关键帧检测:2、多帧联合优化的质量增强:上一时刻高质量帧下一时刻低质量帧低质量帧21算法思路:先检测关键帧,后增强22使用 Mittal et al.,TIP 2012 算法,从每帧中提取 36 个与质量相关的特征;结合码流中的 QP、比特信息,组成 38 维向量,输入双向LSTM分类器 图 关键帧检测器网络结构与推理流程图 关键帧检测结果网络设计:关键帧检测器用简单网络实现多帧联合优化策略:多尺度特征提取、稠密连接、残差学习 提前融
8、合,比 V1 中的渐进融合效果更好23图 质量增强网络结构(V2)网络设计:质量增强网络24L?hijkl-L?hijkl-PSNR2m2mnopqrstnopqrst图 在标准测试序列上的PSNR、SSIM增益实验结果:客观质量增益25L?hijkl-1%auKv$NIwxL?hijkl-1%auKv$NIwx图 测试序列增强前后的质量波动实验结果:质量波动261%23y-z|#1%23y-z|#BD-BR 2m2moMoM 13%图 在标准测试序列上的BD-BR增益实验结果:BD-BR 增益27Gtq1%v|-Gtq1%v|-#MFQE 2.0(图 在标准测试序列上的主观质量实验结果:主观
9、质量NTIRE 2022 压缩视频质量增强双赛道冠军3盲质量增强的高效动态深度网络模型1 Early Exit Or Not:Resource-Efficient Blind Quality Enhancement for Compressed Images,ECCV 2020 一个模型只对应一个编码量化参数(quantization parameter,QP)。在训练时,一个模型只在一种量化参数的样本集上训练。若测试样本的 QP 与模型的 QP 失配,模型表现会极不稳定。QP=42样本PSNR增益通常较低在QP=37样本上训练的模型30现有方法局限:单一模型无法处理不同质量的图像 上述方法无
10、一例外,都需要训练大量的、相同结构(仅参数不同)的模型。如 MFQE 方法,需要训练:QP=22/27/32/37/42 共 5 个相同结构的模型。若要更精细地覆盖整个QP范围,则需要更多的模型,数量惊人。QP0 7 12 17 22 27 32 37 42 47 51模型1/5模型2/5模型3/5模型4/5模型5/5(未覆盖)(未覆盖)31现有方法局限:多模型浪费计算资源与存储资源 实际应用中的图像通常是质量未知的。例如 UGC 和多次转码图像。QP 仅仅是编码参数之一;还有很多其他参数会影响图像质量,因此图像的质量仍然不可知。32QP=22 模型QP=27 模型QP=32 模型QP=37
11、模型QP=42 模型未知质量图像现有方法局限:图像质量未知如何实现盲质量增强?如何用单一模型,增强不同质量的图像?a“1%23a“1%23(Resource-Efficient Blind Quality Enhancement,RBQE)3334 左图:高质量图像经简单模型增强,PSNR不再增长;低质量图像,经复杂模型增强,可继续获得较大PSNR增益。右图:由简单模型微调复杂模型,能获得明显增益;反之,由复杂模型微调简单模型,无明显增益。图:PSNR增益与卷积层数的关系(左)PSNR增益与预训练的关系(右)出发点:不同质量图像的增强边际效应不同 计算资源节约:高质量图像易增强,可提前退出。单
12、一模型:复杂增强模型共享(微调)简单模型主干。先增强,后判断质量:判断已增强图像的质量,而非输入图像的质量/QP。35算法设计 如何设计多层级的网络结构?如何判断已增强图像的质量?36算法难点 递进式:复杂模型基于简单模型的特征继续学习。多输出:可提前退出。可拓展:规律的嵌套结构,可拓展至更多层级。37网络设计边增强,边判断 若质量达标,提前退出step 1step 1step 2step 2step 5step 5step 4step 4step 3step 3从简单到困难“easy to hard”“easy to hard”38终止判定机制 影响质量的两个主要因素:纹理区域的模糊效果;平
13、滑区域的块效应。块效应:度量竖直/水平纹理的强度。模糊效应:度量原图与高斯模糊图像的相似度。分类器评估块效应强度评估模糊强度平滑块得分纹理块得分加权求和39具体案参:Early Exit Or Not:Resource-Efficient Blind Quality Enhancement for Compressed Images,ECCV 2020已增强图像质量评估40表:HEVC-MSP和JPEG压缩图像的PSNR增益RBQE“23“23PSNR2m2mn|v”n|v”实验结果:客观质量增益41图:在不同QP图像上的FLOPs消耗(左)FLOPs-PSNR增益(右)RBQEFLOPssv
14、-Xa;sv-Xa;实验结果:计算资源消耗42RBQE45qAB v|45qAB v|实验结果:主观质量增益4感知失焦特性的压缩图像质量增强1 DAQE:Enhancing the Quality of Compressed Images by Exploiting the Inherent Characteristic of Defocus,TPAMI 202344自然图像中存在失焦程度各异的区域现有方法局限:未考虑区域失焦差异,从而忽视了质量差异4546图:图像的区域失焦与压缩质量之间的相关性发现点一:区域失焦与压缩质量存在强相关性47图:图像区域质量与亮度、对比度、总变差、失焦之间的相关
15、性发现点二:区域失焦比基准图像特征更能反映区域质量48 失焦预测:输入压缩图像,得到每个区域的失焦程度预测值。注意力建模:根据失焦程度不同,将图像区域划分为多类。在每一类中单独建模注意力,以节约计算资源。质量增强:针对性地增强每一类失焦图像。具体案参:DAQE:Enhancing the Quality of Compressed Images by Exploiting the Inherent Characteristic of Defocus,TPAMI 2023算法设计49表:在多个数据库、多种压缩配置下的客观质量LL DIV2K z+,l-z+,l-PSNRSSIM2m2mnopqrstnopqrst实验结果:客观质量增益501%23y-z|#1%23y-z|#BD-BR 2m2moMoM 20%表:在多个数据库、多种压缩配置下的 BD-BR 增益实验结果:BD-BR 增益51 23.XD 23.XD-v”-v”-表:多种策略下的 PSNR-FPS 性能实验结果:BD-BR 增益52DAQE st.Kst.K实验结果:主观质量增益感谢参与THANKS