上海品茶

您的当前位置:上海品茶 > 报告分类 > PDF报告下载

3-3 元宇宙级数字人驱动与建模技术.pdf

编号:102317 PDF 53页 12.52MB 下载积分:VIP专享
下载报告请您先登录!

3-3 元宇宙级数字人驱动与建模技术.pdf

1、聚力维度创始人&CEO 赵天奇心理学研究表明,在人所接受的全部信息当中,有83%源于视觉,11%来自听觉,其他6%分别来自嗅觉,触觉,味觉。随着3DVR技术逐渐成熟后,在数字世界获取的视觉和听觉信息的全面程度非常接近于现实世界,再结合一小部分触觉信息,可以说95%的信息可以在数字世界元宇宙中获得。这相比之前的pc和手机的信息时代是颠覆性的。元宇宙的价值意味着人类的两大类诉求:消费需求,工作需求,都可以在元宇宙中实现。元宇宙作为数字世界超越了现实束缚,人类无需集中到一起工作或消费,空间成本、时间成本被颠覆性降低,沟通效率、工作效率被颠覆性提升,而人类发展史就是一部效率提高史,下一个时代就是元宇宙

2、。元宇宙的价值农业工业元宇宙电气信息元宇宙的技术奇点还有多远?元宇宙需要的技术:VR、数字人 内容元宇宙:就是看的元宇宙,也就是一部分内容创作者先元宇宙起来 创作者级别当下已经实现 终极元宇宙:就是工作、娱乐、生活、社交 大众使用还需510年5数字人内容生态大变局:+数字人技术=传统数字内容生态元宇宙数字人内容新生态节目制作、综艺、影视、娱乐、偶像、主持、代言、客服、IP宣传会议、演讲、展览、报告、发布会、游戏、社交、居家办公、线上会议设计规划、公共服务、工业制造、教育培训、医疗技术的创新使得在法律上首次可以实现“人”完全属于公司、长久符合公司宣传调性且不会出错的数字人,品牌真正人格化。01.

3、“人”首次可以实现完全属于公司 品牌IP,明星代言,电商带货颜值变得不再昂贵、人设不再难得、真人相隔万里可以同场表演,开会,社交;场景,道具,动作,特效等无所不能。02.数字化,超越物理束缚带来无限可能电视主持,虚拟主播,虚拟偶像,展览展会,报告会议在数字世界中完成真人在现实世界中所有能做的事情数字人追赶真人的价值:那就要求数字人能够出席参加各种活动、能够实现作为人的各种职责、能够像人一样满足我们对内容的各种想象。这就对数字人有很高要求且能够解决内容生态痛点的称之为:元宇宙级数字人市场背景数字人的两大超越真人的价值:内容生态痛点:解决方法 真人痛点1:企业与个人之间版权固有矛盾,个人形象火了就

4、会产生利益纠纷风险,个人行为对企业也有风险 真人痛点2:传统的真人数字内容制作,颜值很贵,人设运营难度大,只能在线下集中工作,特效很贵。数字人痛点:数字人如果做不到好的效果,成本高,应用范围窄,那么给人的感受不好,用不起,满足不了大多数场景需求。技术要求:元宇宙级数字人内容要求技术上满足三个要素7全世界没有能满足这三个要素的,所以需要一个新型数字人内容生产平台来满足这三个要素1.高级别 2.实时驱动 3.普及易用实时驱动数字人实时驱动可以在元宇宙中呈现出活灵活现的人单个数字人成本:万元级普通摄像头,普通衣服轻松易用,人人可用静态达到影视级别,PBR效果逼真动态精准传达真人的喜怒哀厌,说话口型,

5、动作精准,自由多样。有灵魂,有情感,有理解能力技术:数字人技术包含四个模块8建模驱动渲染交互静态重建、高视觉保真度的动态光场三维重建技术动作和表情捕捉、3D数字人动作生成的核心技术PBR渲染技术、重光照等新型渲染技术人与人及人与物交互的重定位技术、物理解算技术针对三要素:不成熟:无边际成本不成熟:有边际成本行业比较成熟不成熟:锦上添花要满足元宇宙级数字人三要素就要实时驱动普及易用,并且满足高级别用得起的建模技术建模的关键是可以驱动,不能驱动的模型没有意义。可以驱动的建模需要多步完成:得到形状模型数据格式确定以及赋予语义拓扑绑定为各种结构:顶点变形,骨骼,肌肉,连带适配驱动算法行业建模技术:多相

6、机系统、单相机(得到形状)10多相机系统 lightstage通过构造相机阵列,以多角度、高精度照片,还原拍摄人物的三维结构,同时获取面部的反射信息,从而在不同环境光下重构人脸模型和光效单相机 IMAvatar用单目视频来重建头部建模的关键是可以驱动,不能驱动的模型没有意义。可以驱动的建模需要多步完成:得到形状模型数据格式确定以及赋予语义拓扑绑定为各种结构:顶点变形,骨骼,肌肉,连带适配驱动算法以上驱动建模成本很高,各种算法无法提升效率,我们把后三步实现了人工智能为主,提升了效率针对人设需求,4步都提升了智能比例,达到了超高效率海量模型聚力维度主要建模方式数字人场景优势行业最高级别建模按具象要

7、求定制01.通过真人扫描02.根据原画雕刻节目制作、企业宣传从启动成本角度让可支付的起高级数字人的企业数量大幅增加 全流程制作仅3周即可完成(其他厂商需3个月)成本为其他厂商的1/2按人设要求选择半自动建模从启动成本降到万元级能支付的起这个成本的高级数字人数量可达百万 级别与百万级没有区别 价格在万元级我们建模技术:行业顶级建模技术,满足各种场景海量数字人需求12具象要求01、传统多相机真人扫描具象要求02、手绘原画设计雕刻聚力维度主要建模方式数字人场景优势行业最高级别建模按具象要求定制01.有具体形象标准、相机真人扫描02.有人设形象定位、根据人设手绘原画雕刻让节目制作、企业宣传更快落地数量

8、可以大幅增加从启动成本角度让可支付的起高级数字人的企业数量大幅增加 全流程制作仅3周即可完成(其他厂商需3个月)成本为其他厂商的1/2(其他厂商的百万级效果)按人设要求选择半自动建模个人Up主,主播从启动成本降到万元级支付的起这个成本的高级数字人数量可达百万 级别与百万级没有区别 价格在万元级我们建模技术:行业顶级建模技术,满足各种场景海量数字人需求13驱动技术的目的:是让数字人按我们的要求做各种表情和肢体动作。不同的驱动来源形成了不同路线。技术路线:全行业各种技术路线对元宇宙级数字人的满足情况15高级别虚拟数字人三要素手K动画 放弃驱动智能对话/播报机器人AI驱动数字分身:真人驱动传统专业捕

9、捉数字人低端玩具类数字人一个普通摄像头实现高级别高级别300个以上微表情支持全身动作能力单一,没有任意动作、表情、角度或情感等300个以上微表情支持全身动作仅52个表情不支持全身动作上千个微表情,精准还原全身超高精度的捕捉能力实时驱动无法实时驱动计算机驱动实时驱动实时驱动实时驱动普及易用制作繁琐:先拍摄后制作成本高:10-100万元/分钟 制作简单成本低制作繁琐:面部贴点、穿动捕服、校准需1小时,换人定制需1周成本高:10+人团队,几十-几百万制作成本制作简单:穿戴轻便成本低制作简单:可穿任意服装,单目摄像头影视级捕捉成本低,技术路线:全行业各种技术路线对元宇宙级数字人的满足情况16高级别虚拟

10、数字人三要素手K动画 放弃驱动智能对话/播报机器人AI驱动数字分身:真人驱动传统专业捕捉数字人低端玩具类数字人一个普通摄像头实现高级别高级别300个以上微表情支持全身动作能力单一,没有任意动作、表情、角度或情感等300个以上微表情支持全身动作仅52个表情不支持全身动作上千个微表情,精准还原全身超高精度的捕捉能力实时驱动无法实时驱动计算机驱动实时驱动实时驱动实时驱动普及易用制作繁琐:先拍摄后制作成本高:10-100万元/分钟 制作简单成本低制作繁琐:面部贴点、穿动捕服、校准需1小时,换人定制需1周成本高:10+人团队,几十-几百万制作成本制作简单:穿戴轻便成本低制作简单:可穿任意服装,单目摄像头

11、影视级捕捉成本低,技术路线:全行业各种技术路线对元宇宙级数字人的满足情况17高级别虚拟数字人三要素手K动画 放弃驱动智能对话/播报机器人AI驱动数字分身:真人驱动传统专业捕捉数字人低端玩具类数字人一个普通摄像头实现高级别高级别300个以上微表情支持全身动作能力单一,没有任意动作、表情、角度或情感等300个以上微表情支持全身动作仅52个表情不支持全身动作上千个微表情,精准还原全身超高精度的捕捉能力实时驱动无法实时驱动计算机驱动实时驱动实时驱动实时驱动普及易用制作繁琐:先拍摄后制作成本高:10-100万元/分钟 制作简单成本低制作繁琐:面部贴点、穿动捕服、校准需1小时,换人定制需1周成本高:10+

12、人团队,几十-几百万制作成本制作简单:穿戴轻便成本低制作简单:可穿任意服装,单目摄像头影视级捕捉成本低,行业驱动技术:AI生成音频,音频驱动口型智能对话/播报机器人:例如:基于AI神经网络感知能力的英伟达会话式人工智能系统Audio2Face,把一段文字变成数字人的面部表情,再自动基于AI实时渲染系统叠加到虚拟人上。文字-声音-动画Nlp tts v2aV2a:1,音素对应口型=离散,不真实2,ai自动生成=平滑,无情感,无理解技术路线:全行业各种技术路线对元宇宙级数字人的满足情况19高级别虚拟数字人三要素手K动画 放弃驱动智能对话/播报机器人AI驱动数字分身:真人驱动传统专业捕捉数字人低端玩

13、具类数字人一个普通摄像头实现高级别高级别300个以上微表情支持全身动作能力单一,没有任意动作、表情、角度或情感等300个以上微表情支持全身动作仅52个表情不支持全身动作上千个微表情,精准还原全身超高精度的捕捉能力实时驱动无法实时驱动计算机驱动实时驱动实时驱动实时驱动普及易用制作繁琐:先拍摄后制作成本高:10-100万元/分钟 制作简单成本低制作繁琐:面部贴点、穿动捕服、校准需1小时,换人定制需1周成本高:10+人团队,几十-几百万制作成本制作简单:穿戴轻便成本低制作简单:可穿任意服装,单目摄像头影视级捕捉成本低,行业驱动技术:传统专业捕捉数字人20光学捕捉:通过多视角捕捉的2d人体关键点,三角

14、化得到3d坐标厂商 国外:VICON/OptiTrack 国内:青瞳视觉,瑞立视特点 捕捉精度较高,成本高昂,只能应用室内捕捉流程:场地搭建和标定动捕服穿戴及反光球补贴角色校准多视角反光点获取及三角化获得3d坐标行业驱动技术:传统专业捕捉数字人21录制动捕数据并导出惯性捕捉:测量身体的运动加速度、方位、倾斜角等特性,完成动作捕捉厂商 Xsens/诺亦腾特点 捕捉精度较高,成本相对较高,对电磁环境敏感捕捉流程:惯性测量单元的穿戴和校准每个测量节点会返回在运动过程中的角速度、加速度和磁力计的测量信息行业驱动技术:传统专业捕捉数字人22跟踪tracker捕捉:测量身体的运动加速度、方位、倾斜角等特性

15、,完成动作捕捉厂商 VIVE/Tundra特点 穿戴简单,成本低廉,捕捉精度有限捕捉流程:跟踪器穿戴和基站布置角色标定通过跟踪器获取关节的位置和旋转从而捕捉动作23行业驱动技术:传统专业捕捉数字人传统基于头盔面部捕捉:测量身体的运动加速度、方位、倾斜角等特性,完成动作捕捉厂商 国外:Rokoko、Faceware、Dynamixyz 国内:facegood特点 捕捉精度低、受外界光线影响大表情程度若弱、配件沉重无法长时间佩戴头盔硬件价格高捕捉流程:人脸2D特征点预测/人脸描绘面部2D特征点人脸表情校准:通过预先做各种极限表情,进行模型表情语义 与真人表情语义映射关系通过对面部2D特征点追踪,进

16、行面部表情捕捉技术路线:全行业各种技术路线对元宇宙级数字人的满足情况24高级别虚拟数字人三要素手K动画 放弃驱动智能对话/播报机器人AI驱动数字分身:真人驱动传统专业捕捉数字人低端玩具类数字人一个普通摄像头实现高级别高级别300个以上微表情支持全身动作能力单一,没有任意动作、表情、角度或情感等300个以上微表情支持全身动作仅52个表情不支持全身动作上千个微表情,精准还原全身超高精度的捕捉能力实时驱动无法实时驱动计算机驱动实时驱动实时驱动实时驱动普及易用制作繁琐:先拍摄后制作成本高:10-100万元/分钟 制作简单成本低制作繁琐:面部贴点、穿动捕服、校准需1小时,换人定制需1周成本高:10+人团

17、队,几十-几百万制作成本制作简单:穿戴轻便成本低制作简单:可穿任意服装,单目摄像头影视级捕捉成本低,我们的驱动技术:高级别的驱动技术效果对比我们的驱动技术:高级别的驱动技术效果26已实现拟真人的数千种微表情、细节捕捉表情与真人高度一致、特别能突显真人情绪输出单个摄像头实现面部上千个微表情捕捉单个摄像头实现全身肢体、手势动作精准捕捉仅靠一个普通摄像头捕捉真人全身肢体动作并通过自研算法精准确定肢体遮挡关系、前后距离精准捕捉每一根手指的手势动作及双脚位置完全拟真人的效果,准确传递真人的动作姿态PBR(Physically Based Rendering):一种基于物理的着色和渲染技术,用于更精确的描

18、述光如何与物体表面互动 工作流程主要分为两种,一种是基于金属的工作流;一种是基于镜面反射的工作流 基础材质贴图包括法线、环境光遮蔽、高度贴图反向渲染器 通过微分反向传播的方式进行模型参数和隐变量的更新,进而进行重建工作NeRF 将一个复杂的静态场景用一个神经网络来建模。在网络训练完成后,可以从任意角度渲染出清晰的场景图片渲染技术:UE5反向渲染器:通过微分反向传播的方式进行模型参数和隐变量的更新,进而进行重建工作渲染技术:反向渲染器渲染技术:像素生成(1)30像素生成驱动:语音转口型wav2lip 图片会说话FOMM渲染技术:NERF31换脸换头渲染技术:像素生成(2)将一个复杂的静态场景用一

19、个神经网络来建模。在网络训练完成后,可以从任意角度渲染出清晰的场景图片交互技术32手交互自身交互多角色之间交互角色和环境交互元宇宙需要人,人在元宇宙里要能做各种事,符合人的感受的内容。就需要交互。Cybactor:世界唯一满足元宇宙级数字人三要素的制作平台世界唯一基于一个普通RGB摄像头即可实现专业影视级效果精准捕捉数字人实时驱动多人直播场景人人可用的影视级数字人建模技术产品Cybactor:支持丰富的功能与模式,产品易用真人可在任意地点,控制不同的数字人,在同一世界互动。支持数字横店社区、网络剧组34核心建模、捕捉驱动功能单摄像头支持多镜头、多机位切换与镜头编辑多机位支持抓取其他界面,包括P

20、PT、各种视频、游戏、弹幕等,供用户进行讲解画中画支持五官、躯干局部调节、局部固定数字人驱动调节栏快速建模:多样的建模方式,最快可上传单张图片建模,即刻生成可驱动模型 捕捉驱动:单目摄像头即可完成的高精度数字人动作捕捉多人连接产品Cybactor:支持丰富的功能与模式,产品易用可以在摄像头捕捉不到的情况下,通过算法的设定完成超出捕捉距离外的行走、跑跳等可以在有遮挡关系的的三维空间里,完成穿过物体的空间移动35数字人可以在实时捕捉录制时、直播连线过程中拿起道具库中的任何物体数字人可以跟自身的部位进行简单的动作交互:双手合十、鼓掌、十指交叉空间移动可以选择需要画的妆容,可全脸换妆、也可单独部分上妆

21、同一个数字人可以切换不同发型同一个数字人可以选择不同服饰妆发变换交互功能产品Cybactor:提供定期更新多样服装、道具、场景等资产库36场景库3D场景含公有世界、私有世界角色库海量角色租赁/买断模式妆容库一键上妆,切换最佳妆容发型库发型配置对应物理动稍动作库提供不适合捕捉的动作道具库手持3D道具,可随人自由移动,静态交互37产品Cybactor:多人元宇宙圆桌会议:虚拟嘉宾/主持38产品Cybactor:直播带货:虚拟主播39功能演示:数字人公司介绍产品Cybactor:40数字人内容生态大变局:+数字人技术=传统数字内容生态元宇宙数字人内容新生态节目制作、综艺、影视、娱乐、偶像、主持、代言

22、、客服、IP宣传会议、演讲、展览、报告、发布会、游戏、社交、居家办公、线上会议设计规划、公共服务、工业制造、教育培训、医疗41阶段目标:2021年中到2022年中:高端直播数字人达到几十2022年中到2023年中:开拓海量高端直播数字人年底上百,下一年初上千促进头部用户完成头部vr元宇宙节目。软件增加批量建模能力,和vr功能2023年中到2023年底:高端直播数字人到10万。促进vr元宇宙型用户上千软件增加第三方角色、资产、特效、游戏mod等自定义功能2024年:高端直播数字人到100万。vr用户达到10万开始往轻量级、社交、日常会议发展第一阶段42元宇宙节目制作:虚拟演播厅/虚拟主持人/虚拟

23、嘉宾全媒体大开讲一虎一席谈虚拟演播厅已经落地&应用的元宇宙场景43企业宣传:元宇宙节目/虚拟主持人/虚拟嘉宾已经落地&应用的元宇宙场景44个人主播UP主:虚拟KOL/虚拟主播/虚拟客服44已经落地&应用的元宇宙场景45元宇宙会议:元宇宙节目/虚拟主持人/虚拟嘉宾已经落地&应用的元宇宙场景46中国移动虚拟偶像-Meet Gu中国电信元宇宙数字员工中国联通头号玩家占据全中国95%用户的三大运营商都选择聚力维度,制作虚拟偶像、数字员工、代言人三大电信运营商中国移动虚拟偶像-尤子希中国移动虚拟偶像-古逸飞中国移动咪咕视频虚拟偶像-麟犀已经落地&应用的元宇宙场景头部用户:全行业最多驱动高级别虚拟数字人直

24、播落地的公司4748生态发展预测:2021年中到2022年中:用户数几十到2023年初:用户数达到上千到2023年底:用户数到10万2024年:用户数到100万第二阶段2022年市场预计49预计在10月份开始元宇宙节目上线,上百数字人日常直播之后会有从百量至千量级的爆发式增长元宇宙节目制作元宇宙会议海量数字人直播50生态发展预测:2021年中到2022年中:用户数几十到2023年初:用户数达到上千到2023年底:用户数到10万2024年:用户数到100万第三、四阶段AI生产端平台:未来双生态共演生态&交易生态52未来元宇宙级数字人可以应用的场景预测:2年内会有10万在元宇宙中创造内容的数字人-主播元宇宙5年内会出现第一批真正在元宇宙中工作的人-工作元宇宙雏形10年内40%的人每天在元宇宙里工作和娱乐-全面元宇宙时代

友情提示

1、下载报告失败解决办法
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。

本文(3-3 元宇宙级数字人驱动与建模技术.pdf)为本站 (云闲) 主动上传,三个皮匠报告文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知三个皮匠报告文库(点击联系客服),我们立即给予删除!

温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。
会员购买
客服

专属顾问

商务合作

机构入驻、侵权投诉、商务合作

服务号

三个皮匠报告官方公众号

回到顶部