《4-3 人脸高效率 3D 数字化技术研究.pdf》由会员分享,可在线阅读,更多相关《4-3 人脸高效率 3D 数字化技术研究.pdf(30页珍藏版)》请在三个皮匠报告上搜索。
1、人脸高效率3D数字化技术研究暴林超腾讯AI Lab专家研究员&虚拟人算法组组长|01人脸3D数字化概览02如何评估3D人脸重建03RGBD自拍数字化04Q&A目录CONTENT|01人脸3D数字化概览腾讯AI Lab高保真3D数字人“小志”|腾讯AI Lab高保真3D数字人“小志”|高保真3D数字人的制作管线|光场扫描高模重建高模制作低模重拓扑表情扫描控制器绑定挂件/材质/渲染语音/文本驱动文本腾讯AI Lab数字人制作方案分级|类别数据采集采集设备制作特点方案目标S级光场影棚扫描质量最高,较多人工美术加工,AI技术进行流程加速和成本优化追求真实感和高品质定制3D写实虚拟人的品质上限A级相机阵
2、列扫描质量较高,AI算法生成为主,加轻量人工参与兼顾高品质和高效率高效定制行业3D写实虚拟人形象B级RGB-D(视频)质量中等,全自动AI算法生成兼顾高效率和低成本消费级设备快速创建3D虚拟人形象C级RGB照片(多张/单张)质量一般,全自动AI算法生成,对用户录入的数据要求更低易触达,C端用户友好在用户无法拍摄高质量数据时,提供一种可以快速创建3D虚拟人形象的能力|02RGBD自拍人脸数字化RGBD自拍人脸数字化|RGBD自拍自动选帧几何建模材质建模Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfie
3、s”,ACM Trans.Graphics,2021Step 1 自动选帧算法|Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021Step 2 模型初始拟合|初始形状初始颜色贴图关键点拟合提取脸部区域Unwrap融合参数化拟合Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021Step 3 基于可微渲染的
4、优化|Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021Step 4 纹理/法线贴图合成|Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021Step 5 补头/挂件挂载/渲染|Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB
5、-D Selfies”,ACM Trans.Graphics,2021结果展示结果展示|Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021Step 6 AutoRigging|Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021Step 7 文本/语音驱动|Bao et al,“High-Fidelity
6、 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021论文主页|03如何评估3D人脸重建3D人脸重建Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021传统3D人脸重建评估方法|重建结果GT扫描1.刚性对齐2.最近邻点计算误差传统3D人脸重建评估方法的问题|对齐方法对于局部扰动很敏感对应点关联易错位REALY:新的3D人脸评估Benchmark及评估方法|
7、Chai et al,“REALY:Rethinking the Evaluation of 3D Face Reconstruction”,ECCV 2022REALY包含100对【2D图片-3D扫描模型】,其中每个扫描模型包含语义信息一致的人脸关键点及区域Mask,可以对模型进行分区域的细粒度评估代码及数据新的评估方法|针对问题1:按Mask局部对齐并只计算局部误差针对问题2:引入逆向non-rigid deformation更新对应点关系Chai et al,“REALY:Rethinking the Evaluation of 3D Face Reconstruction”,ECCV
8、2022对于开源单张照片3D人脸重建算法的评测结果|Chai et al,“REALY:Rethinking the Evaluation of 3D Face Reconstruction”,ECCV 2022几个有趣的观察:1.在传统评测方法(gICP)中DECA精度最高,但是用bICP评测结果显示精度最高的方法是Deep3D(与主观评测结果一致)。2.DECA在鼻子区域精度最高,不过嘴巴区域重建精度跟其他方法有很大差距,或许还有较大的提升空间。3.如果我们把所有方法中表现最好的区域拼起来,把拼起来的模型放到主观评测中盲测,该结果明显更像GT。参与评测高质量3DMM基底公开:HIFI3D+|Chai et al,“REALY:Rethinking the Evaluation of 3D Face Reconstruction”,ECCV 2022仅限学术研究使用HIFI3D+Highlights:1.高质量拓扑、全头模型,可以直接用于数字人建模。2.建模来自亚洲、欧洲人种的2000个人头模型。|04Q&A非常感谢您的观看|