《【王丽】基于单张 RGB 图片的人脸重建方法.pdf》由会员分享,可在线阅读,更多相关《【王丽】基于单张 RGB 图片的人脸重建方法.pdf(31页珍藏版)》请在三个皮匠报告上搜索。
1、基基于于单单张张R RG GB B图图片片的的人人脸脸重重建建方方法法王王丽丽声网 AI 算法工程师声网 AI 算法工程师2022年加入声网从事 3D 人脸/人体重建相关研究王王丽丽contents013 3D D 人人脸脸表表示示方方法法人脸表示方式有哪些?3D 人脸怎么表示?023 3D D 人人脸脸重重建建算算法法什么是 3D 人脸重建?基于模型的重建流程?03应应用用及及展展望望重建算法应用有哪些?有哪些局限?未来可发展的方向?0 01 13 3D D 人人脸脸表表示示方方法法人人脸脸表表示示方方法法3 3D D 人人脸脸表表示示的的意意义义人人脸脸表表示示方方法法2 2D D 表表示
2、示RGB 图、灰度图、红外线图 2 2.5 5D D 表表示示深度图3 3D D 表表示示点云、网格、3D 模型 人人脸脸表表示示方方法法3 3D D 人人脸脸表表示示深度图映射点云网格人人脸脸表表示示方方法法=,S表示人脸3D形状向量:=1,1,1,2,2,2,TT表示对应点纹理信息向量:=1,1,1,2,2,2,T3D 人脸表示人人脸脸 3 3D D 坐坐标标形形状状向向量量3 3D D 人人脸脸表表示示方方法法3 3D D 人人脸脸模模型型获获取取方方式式软件建模仪器采集三维人脸重建0 02 23 3D D 人人脸脸重重建建算算法法3 3D D 人人脸脸重重建建算算法法1 Learnin
3、g an Animatable Detailed 3D Face Model from In-The-Wild Images.Siggraph2021.什什么么是是 3 3D D 人人脸脸重重建建?=,3 3D D 人人脸脸重重建建算算法法3 3D D 人人脸脸重重建建方方法法传统重建方法基于模型重建方法端到端重建方法传统重建方法单图重建多图重建视频重建基于CNN end-to-end方法VRNetPRNet模型重建方法CANDIDE-33DMM及变种3D人脸重建方法1 Learning Formation of Physically-Based Face Attributes.arXiv20
4、20.3 3D D 人人脸脸重重建建算算法法基基于于模模型型的的重重建建流流程程3D 人脸模型构建3D 人脸渲染网络模型构建,回归人脸模型系数/纹理信息3 3D D 人人脸脸重重建建算算法法基于模型的 3D 人脸重建3 3D D 人人脸脸模模型型构构建建核心思想:人脸可以将形状和颜色进行分离;在三维空间中进行一一匹配,并且可以由其他许多幅人脸正交基加权线性相加而来1 A Morphable Model For The Synthesis Of 3D Faces.S3 3D D 人人脸脸重重建建算算法法基于模型的 3D 人脸重建1 A Morphable Model For The Synthe
5、sis Of 3D Faces.Siggraph1999.3 3D D 人人脸脸模模型型构构建建?=+=11+=11?3D 人脸形状向量人脸属性向量表情向量?=23?1 A Morphable Model For The Synthesis Of 3D Faces.Siggraph1999.3 3D D 人人脸脸重重建建算算法法基于模型的 3D 人脸重建?=,3 3D D 人人脸脸模模型型构构建建3D 人脸形状向量人脸属性向量表情向量3 3D D 人人脸脸重重建建算算法法基于模型的 3D 人脸重建?=,3 3D D 人人脸脸模模型型构构建建3D 人脸形状向量人脸属性向量表情向量1 Learni
6、ng an Animatable Detailed 3D Face Model from In-The-Wild Images.S3 3D D 人人脸脸重重建建算算法法基于模型的 3D 人脸重建3 3D D 人人脸脸模模型型构构建建3D 人脸纹理向量1 A Morphable Model For The Synthesis Of 3D Faces.Siggraph1999.?=+=3 3D D 人人脸脸重重建建算算法法基于模型的 3D 人脸重建网网络络模模型型构构建建与与训训练练3D 人脸重建目标 ,=?+?1 A Morphable Model For The Synthesis Of 3D
7、 Faces.S3 3D D 人人脸脸重重建建算算法法基于模型的 3D 人脸重建EncoderDecoder,?Renderamera,?网网络络模模型型构构建建与与训训练练目标任务定义主干网络设计损失函数构建3 3D D 人人脸脸重重建建算算法法基于模型的 3D 人脸重建网网络络模模型型构构建建与与训训练练目标任务定义面捕与驱动仿真重构EncoderDecoder,?Renderamera,?3 3D D 人人脸脸重重建建算算法法基于模型的 3D 人脸重建网网络络模模型型构构建建与与训训练练主干网络设计Encoder,DecoderAlbedo decoderRenderEncoderDec
8、oder,?Renderamera,?3 3D D 人人脸脸重重建建算算法法基于模型的 3D 人脸重建网网络络模模型型构构建建与与训训练练损失函数构建,系数回归图片重构3D 到 2D 的空间一致性约束EncoderDecoder,?Renderamera,?3 3D D 人人脸脸重重建建算算法法基于模型的 3D 人脸重建声声网网 3 3D D A Av va at ta ar r 实实现现举举例例数据采集 与 3D 人脸模型构建网络构建与训练手机端实时运行与渲染3 3D D 人人脸脸重重建建算算法法基于模型的 3D 人脸重建声声网网 3 3D D A Av va at ta ar r 实实现现
9、举举例例数据采集:苹果X以上人脸模型表示:ARFaceGeometry网格顶点数:1220表情基向量:52个人脸形状属性基表示:与采集数据相关3 3D D 人人脸脸重重建建算算法法基于模型的 3D 人脸重建Backbone2D landmarkFace region3Dparameters声声网网 3 3D D A Av va at ta ar r 实实现现举举例例网络结构主干网络 Backbone双分支辅助训练:人脸表情系数、姿态回归2D 关键点回归3DmeshMLPFine-tuned3Dmesh3D 网格进行微调辅助训练3 3D D 人人脸脸重重建建算算法法基于模型的 3D 人脸重建声声
10、网网 3 3D D A Av va at ta ar r 实实现现举举例例手机端实时运行与渲染1.35ms/300frame on cpu计算量:88M0 03 33 3D D 人人脸脸应应用用与与发发展展3 3D D人人脸脸重重建建应应用用与与发发展展基基于于模模型型的的重重建建局局限限性性精确度和模型构建的特征空间提取和数量相关人脸渲染时的细节信息如皱纹等较难恢复遮挡位置信息恢复较难进行仿真人像渲染时,移动端实时性生成困难头发,耳朵等信息丢失3 3D D 人人脸脸重重建建应应用用与与发发展展3 3D D A Av va at ta ar r 构构建建,照照片片捏捏脸脸虚虚拟拟化化妆妆,贴贴纸纸语语音音驱驱动动 A Av va at ta ar r虚虚拟拟主主播播T TH HA AN NK KS S