上海品茶

4-3 人脸高效率 3D 数字化技术研究.pdf

编号:102444 PDF 30页 13.41MB 下载积分:VIP专享
下载报告请您先登录!

4-3 人脸高效率 3D 数字化技术研究.pdf

1、人脸高效率3D数字化技术研究暴林超腾讯AI Lab专家研究员&虚拟人算法组组长|01人脸3D数字化概览02如何评估3D人脸重建03RGBD自拍数字化04Q&A目录CONTENT|01人脸3D数字化概览腾讯AI Lab高保真3D数字人“小志”|腾讯AI Lab高保真3D数字人“小志”|高保真3D数字人的制作管线|光场扫描高模重建高模制作低模重拓扑表情扫描控制器绑定挂件/材质/渲染语音/文本驱动文本腾讯AI Lab数字人制作方案分级|类别数据采集采集设备制作特点方案目标S级光场影棚扫描质量最高,较多人工美术加工,AI技术进行流程加速和成本优化追求真实感和高品质定制3D写实虚拟人的品质上限A级相机阵

2、列扫描质量较高,AI算法生成为主,加轻量人工参与兼顾高品质和高效率高效定制行业3D写实虚拟人形象B级RGB-D(视频)质量中等,全自动AI算法生成兼顾高效率和低成本消费级设备快速创建3D虚拟人形象C级RGB照片(多张/单张)质量一般,全自动AI算法生成,对用户录入的数据要求更低易触达,C端用户友好在用户无法拍摄高质量数据时,提供一种可以快速创建3D虚拟人形象的能力|02RGBD自拍人脸数字化RGBD自拍人脸数字化|RGBD自拍自动选帧几何建模材质建模Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfie

3、s”,ACM Trans.Graphics,2021Step 1 自动选帧算法|Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021Step 2 模型初始拟合|初始形状初始颜色贴图关键点拟合提取脸部区域Unwrap融合参数化拟合Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021Step 3 基于可微渲染的

4、优化|Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021Step 4 纹理/法线贴图合成|Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021Step 5 补头/挂件挂载/渲染|Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB

5、-D Selfies”,ACM Trans.Graphics,2021结果展示结果展示|Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021Step 6 AutoRigging|Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021Step 7 文本/语音驱动|Bao et al,“High-Fidelity

6、 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021论文主页|03如何评估3D人脸重建3D人脸重建Bao et al,“High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies”,ACM Trans.Graphics,2021传统3D人脸重建评估方法|重建结果GT扫描1.刚性对齐2.最近邻点计算误差传统3D人脸重建评估方法的问题|对齐方法对于局部扰动很敏感对应点关联易错位REALY:新的3D人脸评估Benchmark及评估方法|

7、Chai et al,“REALY:Rethinking the Evaluation of 3D Face Reconstruction”,ECCV 2022REALY包含100对【2D图片-3D扫描模型】,其中每个扫描模型包含语义信息一致的人脸关键点及区域Mask,可以对模型进行分区域的细粒度评估代码及数据新的评估方法|针对问题1:按Mask局部对齐并只计算局部误差针对问题2:引入逆向non-rigid deformation更新对应点关系Chai et al,“REALY:Rethinking the Evaluation of 3D Face Reconstruction”,ECCV

8、2022对于开源单张照片3D人脸重建算法的评测结果|Chai et al,“REALY:Rethinking the Evaluation of 3D Face Reconstruction”,ECCV 2022几个有趣的观察:1.在传统评测方法(gICP)中DECA精度最高,但是用bICP评测结果显示精度最高的方法是Deep3D(与主观评测结果一致)。2.DECA在鼻子区域精度最高,不过嘴巴区域重建精度跟其他方法有很大差距,或许还有较大的提升空间。3.如果我们把所有方法中表现最好的区域拼起来,把拼起来的模型放到主观评测中盲测,该结果明显更像GT。参与评测高质量3DMM基底公开:HIFI3D+|Chai et al,“REALY:Rethinking the Evaluation of 3D Face Reconstruction”,ECCV 2022仅限学术研究使用HIFI3D+Highlights:1.高质量拓扑、全头模型,可以直接用于数字人建模。2.建模来自亚洲、欧洲人种的2000个人头模型。|04Q&A非常感谢您的观看|

友情提示

1、下载报告失败解决办法
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。

本文(4-3 人脸高效率 3D 数字化技术研究.pdf)为本站 (云闲) 主动上传,三个皮匠报告文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知三个皮匠报告文库(点击联系客服),我们立即给予删除!

温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。
客服
商务合作
小程序
服务号
会员动态
会员动态 会员动态:

般若 升级为标准VIP wei**n_...  升级为标准VIP

 185**87... 升级为至尊VIP 131**96... 升级为至尊VIP

琪**  升级为标准VIP   wei**n_... 升级为高级VIP

 wei**n_... 升级为标准VIP    186**76... 升级为标准VIP

微**...   升级为高级VIP 186**38...  升级为标准VIP

wei**n_...  升级为至尊VIP Dav**ch...  升级为高级VIP

 wei**n_... 升级为标准VIP wei**n_...  升级为标准VIP

 189**34... 升级为标准VIP  135**95... 升级为至尊VIP

wei**n_... 升级为标准VIP  wei**n_... 升级为标准VIP

137**73... 升级为标准VIP  wei**n_...  升级为标准VIP

  wei**n_... 升级为标准VIP  wei**n_...  升级为至尊VIP

 137**64... 升级为至尊VIP   139**41... 升级为高级VIP

Si**id   升级为至尊VIP  180**14... 升级为标准VIP 

138**48...  升级为高级VIP 180**08...  升级为高级VIP

wei**n_...   升级为标准VIP wei**n_...  升级为高级VIP

136**67...  升级为标准VIP  136**08... 升级为标准VIP 

 177**34...  升级为标准VIP  186**59... 升级为标准VIP

 139**48... 升级为至尊VIP wei**n_...  升级为标准VIP

188**95...  升级为至尊VIP  wei**n_... 升级为至尊VIP 

wei**n_... 升级为高级VIP   wei**n_...  升级为至尊VIP

微**...  升级为至尊VIP   139**01... 升级为高级VIP

 136**15... 升级为至尊VIP  jia**ia... 升级为至尊VIP 

wei**n_... 升级为至尊VIP  183**14... 升级为标准VIP 

wei**n_... 升级为至尊VIP  微**... 升级为高级VIP 

wei**n_... 升级为至尊VIP Be**en  升级为至尊VIP

 微**...  升级为高级VIP 186**86... 升级为高级VIP

 Ji**n方... 升级为至尊VIP  188**48...  升级为标准VIP 

wei**n_... 升级为高级VIP  iam**in... 升级为至尊VIP

 wei**n_... 升级为标准VIP 135**70...  升级为至尊VIP

 199**28... 升级为高级VIP   wei**n_... 升级为至尊VIP

 wei**n_... 升级为标准VIP  wei**n_...  升级为至尊VIP

  火星**r... 升级为至尊VIP  139**13... 升级为至尊VIP

186**69... 升级为高级VIP  157**87...  升级为至尊VIP

 鸿**... 升级为至尊VIP  wei**n_... 升级为标准VIP 

137**18...  升级为至尊VIP wei**n_...   升级为至尊VIP

wei**n_... 升级为标准VIP 139**24...  升级为标准VIP 

158**25... 升级为标准VIP wei**n_... 升级为高级VIP

188**60... 升级为高级VIP   Fly**g ... 升级为至尊VIP

wei**n_... 升级为标准VIP  186**52... 升级为至尊VIP

布** 升级为至尊VIP   186**69... 升级为高级VIP

 wei**n_... 升级为标准VIP 139**98... 升级为至尊VIP 

152**90... 升级为标准VIP  138**98... 升级为标准VIP 

181**96...  升级为标准VIP 185**10...  升级为标准VIP

 wei**n_... 升级为至尊VIP 高兴  升级为至尊VIP

wei**n_... 升级为高级VIP   wei**n_... 升级为高级VIP 

阿**... 升级为标准VIP   wei**n_... 升级为高级VIP 

lin**fe... 升级为高级VIP  wei**n_...   升级为标准VIP

wei**n_... 升级为高级VIP  wei**n_... 升级为标准VIP 

wei**n_... 升级为高级VIP wei**n_...  升级为高级VIP

 wei**n_... 升级为至尊VIP  wei**n_... 升级为高级VIP