1、在高保真孪生数字人技术中的自动化流程探索张启煊 DEEMOS.com影眸科技 CTO|Investors|我们致力于探索前沿人工智能与元宇宙的结合与应用。我们致力于探索前沿人工智能与元宇宙的结合与应用。打造元宇宙时代的打造元宇宙时代的数字身份系统数字身份系统。|传统手工流程3-5周穹顶光场流程3-5天有点“不务正业”的数字人公司“老婆”生成器|全网千万流量数百万用户有点“不务正业”的数字人公司 元宇宙毕业典礼|有点“不务正业”的数字人公司？|有点“不务正业”的数字人公司？|Chen,Anpei,et al.Sofgan:A portrait image generator with dynam

2、ic styling.ACM Transactions on Graphics(TOG)41.1(2022):1-26.|首个产品级人脸资产数据库（PFA）PRODUCTION-READYFACIAL ASSETDATASET个性化肌肉毛孔级细节完备PBR材质动态贴图独立资产在高保真孪生数字人技术中的自动化流程探索张启煊 DEEMOS.com影眸科技 CTO|扫描PART1|PART1|扫描|A.我们的工作2016Lets do somethingPART1|扫描|A.我们的工作PART1|扫描|A.我们的工作动态DOME（体积摄影）2017Cao,Xuan,et al.Sparse phot

3、ometric 3D face reconstruction guided by morphable models.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2018.PART1|扫描|A.我们的工作Chen,Anpei,et al.Photo-realistic facial details synthesis from single image.Proceedings of the IEEE/CVF International Conference on Computer Vi

4、sion.2019.PART1|扫描|A.我们的工作动态DOME（体积摄影）2017Chen,Zhang,et al.3d face reconstruction using color photometric stereo with uncalibrated near point lights.2020 IEEE International Conference on Computational Photography(ICCP).IEEE,2020.PART1|扫描|A.我们的工作Zhang,Longwen,et al.Neural video portrait relighting in

5、 real-time via consistency modeling.Proceedings of the IEEE/CVF International Conference on Computer Vision.2021.PART1|扫描|A.我们的工作2022毛孔精度PBR材质规整拓扑编辑性强Plenoptic Stage技术亚洲唯一，世界唯二亚微米级皮肤材质扫描，超高精度表情扫描PART1|扫描A.我们的工作|2 0 2 2PART1|扫描A.我们的工作|2 0 2 2代价数千万三角面片吃性能难以渲染对艺术家不友好重拓扑PART1|扫描静态资产B.重拓扑Registration自动?|

6、问题1仍然需要先完成高模重建问题2会产生边角、UV不规整问题3表情不到位 问题4表情贴图抖动PART1|扫描静态资产B.重拓扑|大量新增人工环节仍然需要高模PART1|扫描静态资产B.重拓扑联合研发XZhang,Jiakai,et al.Editable free-viewpoint video using a layered neural representation.ACM Transactions on Graphics(TOG)40.4(2021):1-18.Wang,Liao,et al.Fourier PlenOctrees for Dynamic Radiance Field R

7、endering in Real-time.Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2022.|PART1|扫描静态资产C.PBR材质|级PBR材质Normal（Tangent Space）8K专业级 LookDevRealRenderedRealRendered|皮肤微结构|驱动PART2驱动好 的捕捉好 的=？驱动好 的捕捉好 的=+绑定好 的T R A C K I N GR E TA R G E T T I N G符合角色本人的表情PART2|驱动A.绑定常 规 方

8、 案 基于通用骨骼蒙皮、BlendShape的绑定方案如：使用MetaHuman骨骼蒙皮迁移、Mesh to MetaHuman 参照扫描表情拆分BlendShape或骨骼蒙皮影视级数字替身常用制作方案，如：双子杀手 基于肌肉模拟仿真完成面部驱动如：ZIVA DYNAMICS不符合真人本人表情工作量极大对艺术家水平要求高难以实时解算|F A C I A LA C T I O NC O D I N GS Y S T E M|PART2|驱动A.绑定|PART2|驱动B.动态贴图|首个产品级人脸资产数据库（PFA）PRODUCTION-READYFACIAL ASSETDATASET个性化肌肉毛孔

9、级细节完备PBR材质动态贴图独立资产|毛发？布料？|*合作方本壹数娱合作方本壹数娱|Wang,Cen,et al.Neural opacity point cloud.IEEE Transactions on Pattern Analysis and Machine Intelligence 42.7(2020):1570-1581.Luo,Haimin,et al.Convolutional neural opacity radiance fields.2021 IEEE International Conference on Computational Photography(ICCP).

10、IEEE,2021.毛发？working on it|Zhang,Longwen,et al.Video-driven Neural Physically-based Facial Asset for Production.arXiv preprint arXiv:2202.05592(2022).4D SCAN传统流程优势优势劣势劣势1.微表情精准记录2.无需人工Key帧3.制作周期短1.可编辑性差2.无法复用3.拍摄复杂4.无法获取逐帧PBR1.具备完备PBR材质2.可编辑性强3.能够表演新片段1.制作周期长2.表情细腻度相对不足3.成片受限于面捕精度4.无法获取逐帧PBR非常感谢您的观看|