《【苗晋伟】RTC 场景下的视频编码优化与 AI 超分结合实践.pdf》由会员分享,可在线阅读,更多相关《【苗晋伟】RTC 场景下的视频编码优化与 AI 超分结合实践.pdf(30页珍藏版)》请在三个皮匠报告上搜索。
1、R RT TC C 场场景景下下的的编编码码优优化化与与 A AI I 超超分分结结合合实实践践演演讲讲人人:苗苗晋晋伟伟网易云信视频编解码专家算法专家网易云信视频编解码苗苗晋晋伟伟N NE E_ _C CO OD DE EC C 编编码码优优化化N NE E_ _A AI I 轻轻量量级级超超分分介介绍绍 N NE E_ _C CO OD DE EC C与与超超分分结结合合实实践践N NE E_ _C CO OD DE EC C 业业务务场场景景N NE E_ _C CO OD DE EC C 编编码码器器介介绍绍N NE E_ _C CO OD DE EC C 未未来来展展望望演演讲讲大大
2、纲纲N NE E-C CO OD DE EC C编编码码器器介介绍绍N NE E2 26 64 4符合标准H.264协议自研编码器适用于RTC实时通信/直播点播等场景N NE E2 26 65 5符合标准H.265协议自研编码器适用于RTC实时通信/直播点播等场景N NE EV VC C私有协议自研编码器针对RTC场景定制优化N NE E_ _C CO OD DE EC C 编编码码器器介介绍绍N NE E-C CO OD DE EC C编编码码优优化化码码率率平平稳稳性性压压缩缩率率编编码码质质量量编编码码速速度度N NE E_ _C CO OD DE EC C 编编码码优优化化指指标标N
3、NE E_ _C CO OD DE EC C 编编码码优优化化 结结合合前前处处理理的的编编码码优优化化编编码码内内核核优优化化 N NE E2 26 64 4内内核核优优化化 N NE E2 26 65 5内内核核优优化化 J JN ND D编编码码优优化化 R RO OI I编编码码优优化化 变变分分辨辨率率编编码码N NE E_ _C CO OD DE EC C 编编码码内内核核优优化化N NE E2 26 64 4内内核核优优化化适适用用于于L Lo oww-d de el la ay y超超低低时时延延的的R RT TC C场场景景N NE E_ _C CO OD DE EC C 编
4、编码码内内核核优优化化适适用用于于允允许许有有一一定定时时延延的的直直播播点点播播场场景景N NE E2 26 65 5内内核核优优化化N NE E_ _C CO OD DE EC C J JN ND D 编编码码优优化化JND(Just Noticeable Distortion)最小可察觉误差J JN ND D基基本本原原理理空间冗余时间冗余视觉冗余亮度掩盖效应对比度掩盖效应纹理掩盖效应N NE E_ _C CO OD DE EC C J JN ND D 编编码码优优化化前处理在像素域做感知增强,编码在DCT域做JND降码率处理。技技术术点点:在码控模式下利用JND节省码率,需要对JND和
5、非JND做两次编码。云云信信J JN ND D编编码码的的基基本本框框架架N NE E_ _C CO OD DE EC C J JN ND D 编编码码优优化化技技术术点点:在码控模式下利用JND节省码率,需要对JND和非JND做两次编码。云云信信J JN ND D两两次次编编码码原原理理0500000002500006248546066727884909604826222228234240246252258264270276帧序号码控下JN
6、D两次编码结果图JND编码帧大小非JND编码帧大小平均目标单帧大小N NE E_ _C CO OD DE EC C R RO OI I 编编码码优优化化 R RO OI I检检测测基基于于深深度度学学习习的的R RO OI I检检测测人脸ROI:利用肤色检测基基于于传传统统方方法法的的R RO OI I检检测测文字ROI:利用直方图、边缘检测等优点:检测结果准确,精度高,覆盖多场景缺点:部署基于深度学习的ROI检测算法,有一定耗时前前处处理理R RO OI I区区域域(人人脸脸、文文字字等等)编编码码N NE E_ _C CO OD DE EC C R RO OI I 编编码码优优化化 -R
7、RO OI I编编码码ROI区域:前处理对ROI区域做更细致的画质增强;编码器内部对ROI区域做主观质量保护非ROI区域:编码器内部对人眼不敏感的非ROI区域,做降码率处理,节省传输成本技技术术点点:N NE E_ _C CO OD DE EC C 变变分分辨辨率率(不不发发 I I 帧帧)编编码码要求其中的scale算法处理结果在所有平台上均二进制一致。技技术术点点:相对于相同分辨率的帧间预测,切换帧的帧间预测相关性较弱,需适当提升切换帧的质量。0246833353739453555759单帧大小(kb)
8、帧序号变分辨率I帧改为P帧针针对对 V VMMA AF F 指指标标和和友友商商的的对对比比测测试试N NE E_ _C CO OD DE EC C 编编码码对对比比测测试试X X2 26 65 5 v vs s N NE E-C CO OD DE EC C 主主客客观观对对比比NE265在 online(30fps)&VMAF 指标上优于业界各大TOP友商x265 144kbps Vmaf:89 ne265 142kbps Vmaf:N NE E-A AI I 轻轻量量级级超超分分介介绍绍N NE E-A AI I 轻轻量量级级超超分分网网络络结结构构云云信信 R RF FD DE EC C
9、B B 网网络络结结构构超分前超分后N NE E-A AI I 轻轻量量级级超超分分参参赛赛结结果果C CV VP PR R N NT TI IR RE E 2 20 02 22 2 E Ef ff fi ic ci ie en nt t S Su up pe er r-R Re es so ol lu ut ti io on n C Ch ha al ll le en ng ge e综综合合性性能能赛赛道道冠冠军军 比比赛赛官官方方报报告告:h ht tt tp ps s:/a ar rx xi iv v.o or rg g/a ab bs s/2 22 20 05 5.0 05 56 67
10、 75 N NE E-A AI I 轻轻量量级级超超分分效效果果对对比比无无超超分分有有超超分分B BI IC CU UB BI IC CN NE E-A AI I超超分分N NE E-C CO OD DE EC C 与与超超分分结结合合实实践践结结合合 N NE E-A AI I 超超分分的的自自适适应应分分辨辨率率编编码码自自适适应应下下采采样样编编码码及及发发送送接接收收及及解解码码N NE E-A AI I 超超分分 基于块的L1损失衡量是否开启下采样:损失较小时,采取小分辨率编码发送;损失较大时,采取大分辨率编码。开启下采样的同时,开启降码率特性。结合变分辨率(不发I帧)编码,解决开
11、启和关闭下采样,切换分辨率的I帧带来的卡顿问题。技技术术点点:N NE E-D DE EC CO OD DE ER R 助助力力 N NE E-A AI I 超超分分加加速速平平台台/设设备备云云信信超超分分单单帧帧耗耗时时(6 64 40 0 x x3 36 60 0=1 12 28 80 0 x x7 72 20 0)PC,i7-97001.6msMacBook Pro(16-inch,2019)1.8msAndroid,小米10Pro,骁龙8652.39msAndroid,Vivo X23,骁龙6705.4msIOS,N NE E-C CO OD DE EC C业业务务场场景景N NE E-C CO OD DE EC C业业务务场场景景视视频频会会议议,互互动动直直播播,互互动动投投屏屏,远远程程医医疗疗,远远程程教教育育,远远程程金金融融等等应应用用场场景景N NE E-C CO OD DE EC C未未来来展展望望沉沉浸浸式式空空间间视视频频,追追求求极极致致体体验验A AI I 与与编编码码深深度度结结合合,追追求求更更低低带带宽宽T TH HA AN NK KS S