上海品茶

您的当前位置:上海品茶 > 报告分类 > PDF报告下载

腾讯研究院:2023数字人产业发展趋势报告-好看的皮囊到有趣的灵魂(102页).pdf

编号:108185 PDF 102页 8.21MB 下载积分:VIP专享
下载报告请您先登录!

腾讯研究院:2023数字人产业发展趋势报告-好看的皮囊到有趣的灵魂(102页).pdf

1、 数字人是当下最前沿、最时尚的前沿技术产品,他不仅有逼真的人的外貌,还能很好地模拟人的行为,而且具备了一定程度的人的思想。数字人也是一个技术和艺术的完美融合体。在技术维度上,数字人是多种前沿科技的集大成者;在艺术上,数字人的制作和表现也需要极高的审美。数字人起源于电影行业,早在本世纪初,数字人的相关技术就在指环王、阿凡达等电影中大量使用了。随着游戏科技的发展,游戏中的一些建模、绑定,动捕,渲染、AI语音识别、图像识别等技术开始赋能数字人产业,极大地提高了数字人的制作效能。从2020年开始,大量的网红数字人出现,尤其2022年冬奥会,数字人在手语解说,节目直播等众多场合亮相,推动了公众对数字人的

2、认知普及,进一步推动了产业的发展。为全面把握数字人产业发展的前沿趋势,腾讯研究院、腾讯云智能和创业黑马联合,先后访谈了数十家从事数字人的创新企业,从价值定位、核心技术、行业应用、C端发展、产业聚集、未来挑战等十个不同维度进行剖析,深度解析产业发展的现状,驱动力、挑战和未来走向。在研究过程中,项目团队也发现了大量的优秀产品、解决方案和行业应用。我们发现,数字人产业日臻成熟,进入了新的发展阶段,其表现为:不同类型的数字人定位明确,生成工具逐渐完善,制作流程管线化,AI驱动的数字人已经在行业中大范围应用。在报告撰写过程中,我们也在进一步思考。诚然,数字人产业的发展,不可避免地涉及了更广泛的产业和社会

3、议题,如,数字人是否是用户的刚需?是否帮助人们缓解了孤独感、带来更多温暖?对于数字人这种新技术的产物,是否也一些肖像权、伦理道德等潜在问题?我们应该如何看待,是否需要让子弹飞一会?展望未来,数字人会正朝几个方向加速迭代:一是外貌更加精致,形象更加逼真,动作更加自然,即“皮囊更好看”,跨越恐怖谷效应后,会使人觉得数字人和真人无异,有利于建立良好的心理连接;二是随着AI技术的不断完善,数字人多模态感知和交互的能力会得到显著提升,数字人未来有可能具备记忆力和判断力,从而更加智能,行为和思想上更趋于接近人,拥有“有趣的灵魂”。此外,数字人产业的加速发展,也需要渲染、动捕等行业开发工具、云渲染等技术支持

4、体系的进一步完善,从而大幅提升制作效能,有效降低制作时间和成本。目前,很多技术已经接近商业化大规模推广的临界点,数字人产业有望进入全真互联的新阶段。在未来,数字人将可能作为我们的分身,成为数字世界的交互入口,为我们带来更智能、更沉浸的“在场”体验。腾讯研究院院长 司晓 2022年11月 PAGE/01序言一PAGE/02序言二 伴随云计算、AI、5G等数字技术的突破进展,全真互联时代正在悄然到来,加速线上线下的跨时空融合。作为全真互联的重要入口,数字人可以推动线上和线下更加全面地一体化,打造出沉浸式的“全真”体验与可操作的“互联”交互。全真互联建基于CV、NLP、ASR、TTS、交互智能等多种

5、人工智能技术,实现对真实世界全面感知、连接、交互,数字人正是聚合这些技术的典型应用之一。去年,虚拟数字技术被纳入“十四五”规划纲要。在数实融合的趋势下,科技企业以技术进步推动应用创新,加速数字人的场景化应用落地。从产业需求出发,我们也提出从数字人智能化升级为“数智人”的方向,通过整合语音交互、自然语言理解、图像识别等AI能力,连接腾讯丰富的内容和服务生态,助力行业客户打造有智能、有形象、可交互的“数智员工”。过去一年,我们看到这类“数智员工”以不同形象出现在金融、传媒、文旅、出行等多个行业中,承担资讯播报、文旅导览、坐席客服等角色。结合行业知识图谱,“数智员工”打通感知、驱动、决策等链路,通过

6、不断的自学习、自适应提升服务能力,为用户带来更智能、更温暖的服务,也为产业、企业创造出更大的实用价值。技术应用的终极价值是“服务于人”。伴随着全真互联的到来,未来数字人应用还将具有哪些可能性,技术路线会产生哪些变化?腾讯研究院、腾讯云智能联合创业黑马,从技术演进、产业应用、政策支持等多方面进行调研分析,形成这份报告,期望能为行业带来启发。也期望未来,与更多行业伙伴一同,以数字人的创新应用,助力更多产业在数智化转型浪潮中以“智”取胜。腾讯云副总裁、腾讯云智能负责人、优图实验室负责人 吴运声2022年11月 互联网产业已经来到了一个新的临界点,无论是用户的使用时间还是手机上的硬件水平,都即将达到现

7、有技术条件下的生物和物理极限。当下,互联网需要新的突破,要增加空间上的体验维度,也要大幅增加既定时间的使用价值,我们正处在从Web2.0到Web3.0的技术拐点上。但是这一变化又必然是长周期的,长期演化过程中,虚拟世界需要有一个抓手,需要有一个跟现实世界的映射点,这就是数字人。在Web3.0的世界里,数字人是每一个用户创建的唯一身份的基本工具。与不同行业融合的深度与广度、数字资产的确权保护、面向C端产品化的能力构成了不同数字人企业之间竞争的主要壁垒。创业黑马作为国内唯一一家在创业板上市的创新型孵化器,创立14年来,建立了一个由遍及全国的77个加速器组成的产业加速器集群,形成了覆盖不同产业、不同

8、发展阶段企业的加速生态。迄今为止,黑马服务了2万多家创业公司,其中有20多家公司在海内外上市,还有50多家独角兽企业。2022年3月,创业黑马集团联合多家产学研机构,共同发起“朝阳黑马元宇宙数字人加速器”,也是在北京市经信局、朝阳区政府的大力支持下打造的最具前沿性的一个产业加速器,目前也是黑马唯一一个虚实结合的实体产业加速器。截止目前招募2期,共有100家数字人企业入驻。实体加速器落地在朝阳区东湖欢乐颂,首期15000平,并获得了北京市授予的“北京市数字人基地”称号。此次,创业黑马、腾讯研究院和腾讯云智能联手对数字人产业的典型企业进行了深度调研与跟踪访谈,结合腾讯研究院的产业洞察、腾讯云智能的

9、专业支持与黑马的产业服务能力,共同形成了数字人产业发展趋势报告(2023)。我们期待,这份报告能为行业提供一些启发与思考,也希望未来有更多的主体,能够参与到数字人产业生态的建设中来,我们共同开启互联网产业新时代的大门。创业黑马集团董事长 牛文文 2022年11月22日 PAGE/03序言三 虚拟人类正在逐步走入真实人类的生活。它的背后,是多领域技术,包括渲染建模、内容生成算法,计算机视觉,ASR/NLP,新终端/交互技术等等的多年发展、积累和成熟,而它的前方,则是内容制作大众化,用户服务自动化,社交形态多样化,IP打造工业化等等非常具体和广阔的应用前景,甚至有机会成为一种新的艺术创作形态(想象

10、一下三体中罗辑在想象中创造小说女主角的过程,这个过程有可能通过虚拟人的创作工具具象化,而非简单的形成文字小说),这些令人兴奋的前景使得数字人逐步成为一个越来越值得关注和投入的领域。这份报告从技术发展、应用场景和社会价值等多个角度对虚拟数字人这一新生事物进行了详实的分析研究,具备非常高的参考价值。腾讯公司副总裁 曾宇 PAGE/04推荐语 目前,我国数字人商业化应用场景越来越丰富,数字人已经在金融、传媒、游戏、文旅等行业做出快速探索。这得益于数字人产业底层技术、应用平台的高速发展,从技术开发到落地应用的产业链也正趋于完善。这其中,我们看到数字人也逐渐进化为融合语言理解能力、表达能力和智能交互能力

11、的服务型数智人。伴随交互智能技术的加速发展,相信数智人还将促进更高效的产业协作,达成更优质的用户体验。这份报告经由深入的行业调研,展现了数字人行业产、学、研领域专家的见解,对技术发展趋势、应用落地方向都提出了前瞻性看法,给予启发。腾讯云副总裁、腾讯云智能平台负责人 李学朝 数字人风起云涌,多项跨领域技术的综合应用成熟是推动数字人发展的底层动力基础。而我们也能看到,越来越多的新兴技术刚一推出就有可能被应用在数字人领域内,推动着形象更加优化、实时互动更具趣味,同时,背后的制作也正在追求更高的效率甚至颠覆原有的制作路径。本报告对数字人背后错综复杂的各项技术和在不同行业的应用场景都进行了详实调研,值得

12、技术开发充分学习了解市场应用和跨领域技术,以综合更低成本、更高效果、更具有实时互动性的技术为目标而努力。此报告深入浅出地分析了数字人技术的现状,并从行业、技术、应用等相关角度提出了对未来的畅想。横观整个行业,AI赋能的三维重建算法以及生成AI技术让数字人拥有更加“逼真”和“好看”的皮囊。然而,皮囊只是基础。如果想要使数字人技术的应用场景更加广阔,数字人需要有“有趣”的灵魂。什么样的灵魂才是“有趣”的?数字人除了“有趣”以外是否需要拥有其他特质去更有效地解决物理世界的人在安全感、归属感、幸福感的需求?与此同时,社会各界对数字人技术的应用有各种担忧(如,真实世界里人与人的交流已日趋减少,社会信任日

13、趋丧失,数字人技术的应用是否会加深已有问题?)。特别是数字人技术目前过于单一的应用场景,并没能带来良好的示范。例如在使用最多的广告行业中,拥有完美皮肤和黄金五官比例的虚拟人,给年轻人带来了更多的容貌焦虑。深入探讨这一系列问题将是数字人“社会化”发展的基本前提。IEEE Fellow、ACM杰出科学家上海科技大学信息科学与技术学院教授、执行院长 虞晶怡Style3D首席科学家、原美国俄亥俄州立大学终身教授2023年ACM计算机动画研讨会(SCA)论文主席、视觉计算期刊(TVCJ)副主编 王华民推荐语PAGE/05北京海百川科技有限公司 CEO 孙博深圳市达旦数生科技有限公司 联合创始人 孙立发深

14、圳臻像科技有限公司 COO 孙雪君数字王国虚谷未来科技(北京)有限公司 CEO 唐佳娴北京本壹数字信息技术有限公司 CEO 陶茜影眸科技(上海)有限公司 CEO 吴迪上海积鋆文化传媒有限公司 创始人 王思懿唯物科技(杭州)有限公司 CEO 吴靖仇一隅千象 CEO 魏娉婷凌云光技术股份有限公司 立体视觉事业部总经理 熊伟世优(北京)科技有限公司 合伙人 燕建军&紫郁北京梅小西科技文化有限公司 CEO 尹玫北京聚力维度科技有限公司 CEO 赵天奇梅兰芳文化科技有限公司 联合创始人、CEO 张宏飞北京圣承科技有限公司 CEO 张胜感谢以下专家在此次研究中给予的指导和支持(按姓氏拼音排序)北京中科深智

15、科技有限公司 CEO 成维忠 海南超次元数码科技有限公司 CEO 陈坚 浙江凌迪数字科技有限公司 数字战略总监 陈梦婕 重庆上丞科技有限公司 CEO 方桐 北京国承万通信息科技有限公司 创始人、CEO 郭成北京容积视觉科技有限公司 CEO 郭松杰Nreal 副总裁 呼显龙杭州优链时代科技有限公司 创始人CEO 蒋亚洪神秘绿洲文化科技(深圳)有限公司 CEO 贾田北京诺亦腾科技有限公司 商务负责人 孔勇花脸数字技术有限公司 创始人 刘威蓝色光标元宇宙业务负责人&蓝色宇宙技术生态合伙人 刘方铭北京云舶在线科技有限公司 创始人&CEO 梅嵩深圳位形空间科技有限公司 CEO 彭俊熙杭州纳视文化创意有限

16、公司 创始人 孙坚PAGE/06特别感谢发展现状产业趋势应用案例目 录PAGE/07PAGE/08数字人定义数字人是指以数字形式存在于数字空间中,具有拟人或真人的外貌、行为和特点的虚拟人物,也称之为虚拟形象、数字虚拟人、虚拟数字人等。数字人的核心技术主要包括计算机图形学、动作捕捉、图像渲染、AI等。数字人可以打造更完美的人设,为品牌带来正向价值。互联网、金融、电商平台、消费品牌、汽车出行等领域纷纷推出数字人,用于品牌营销、智能客服等方向。数字人可以按照不同维度进行分类:根据人物图形资源的维度,数字人可分为2D和3D两大类,从外形上又可分为2D真人、2D卡通、3D卡通、3D风格化、3D写实、3D

17、超写实、3D高保真等多种。根据驱动的维度,可分为真人驱动和AI驱动两种。根据商业和功能维度,可分为内容/IP型、功能服务型和虚拟分身等三种。3D超写实真人采集2D真人2D绘制2D卡通3D建模真人扫描+3D建模+美型加工3D写实3D建模3D风格化3D卡通3D建模类 型示 例创建方式真人扫描+3D建模+1:1复刻3D高保真PAGE/09爆点事件推动数字人产业被用户认知,底层是技术推动、用户需求、生态建设和标准等支撑爆点事件推动数字人认知的普及和深化技术、需求、生态和标准等底层支撑产业发展第一动力技 术CG、光场采集、动捕、AI等关键技术持续迭代,推动产品升级。大厂入局,加速产业发展,并通过完善工具

18、和应用生态,引导良性发展。加速器生 态C端普及网红数字人频出网红数字人大量出现,推动数字人在C端用户的认知和普及。助推力资本不断投入资本不断投入,数字人赛道成为融资领域热点,用户感知度不断提升。引 领专项政策出台数字人专项政策发布,支持行业健康有序发展,影响力进一步提升。认知支撑新需求用 户Z世代成为互联网用户的重要玩家,互联网原生一代对体验有新需求。通过标准建设为行业提供夯实的技术底座,助力创新。标 准底 座PAGE/10网红数字人推动C端直观认知和概念普及星瞳、艾灵等网红数字人的爆红和超级QQ秀为代表的虚拟空间中虚拟分身产品大量出现,推动数字人在C端用户中的认知普及。进入2022年以来,数

19、字人在诸多应用场景大放光彩,特别是在北京冬奥会的开幕式表演、气象播报、手语解说中频频现身,使其用户基础不断扩大。虚拟偶像-星瞳和平精英虚拟解说-占乐乐AI歌姬-艾灵3D手语数智人-聆语超级QQ秀数字航天员-小诤网红数字人 数字人热点事件 虚拟分身推广 重大赛事活动中数字人PAGE/112021年,有20家以上的数字人企业获得新一轮融资,2022年,数字人继续成为融资热点领域。2月世悦星承完成Pre-A轮融资慧夜科技Pre-A轮融资,金额数百万美元燃麦科技AYAYI完成Pre-A轮融资,金额数千万人民币博宇盖乐完成A轮融资,金额1000万美元汇智互娱智能完成天使轮融资,金额千万级人民币次世文化完

20、成A+轮融资魔珐科技Xmov完成B轮融资,金额2000万美元影眸科技完成Pre-A轮融资,金额数千万人民币魔珐科技Xmov完成C轮融资,金额1.1亿美元1月3月6月融资事件频繁及专项政策的出台进一步加深对产业的认知心识宇宙完成天使轮融资,金额数千万元八点八数字完成Pre-A轮融资,金额数百万元4月2022年7月,在2022全球数字经济大会上,北京市发布了北京市促进数字人产业创新发展行动计划(2022-2025年)并进行详细解读。该计划是国内出台的首个数字人产业专项支持政策,从构建数字人全链条技术体系、培育标杆应用项目、优化数字人产业生态等方面为支持数字人产业发展提供了指引,进一步加深数字人在用

21、户中的认知。1月IMVU APP完成战略投资,金额3500万美元ISEC完成战略投资,金额1亿日元燃麦科技AYAYI完成Pre-A轮融资,金额数百万人民币 3月小冰完成A轮融资,金额数亿人民币次世文化完成A轮融资,金额500万美元半人猫完成天使轮融资,金额千万级人民币次元潮玩完成天使轮融资,金额数百万人民币ACE虚拟歌姬完成Pre-A轮融资,金额数百万美元次世文化完成A+轮融资,金额数百万美元世悦星承完成天使轮融资,金额1000万人民币8月10月9月12月7月2月中科深智完成A轮融资,金额数千万人民币创壹科技完成股权融资,金额千万级人民币中科深智完成A+轮融资,金额数千万人民币6月万象文化完成

22、A轮融资,金额数百万美元4月代码乾坤完成战略融资,金额一亿元5月STEPVR完成A+轮、B轮融资,金额近亿元云舶科技完成A轮融资,金额数百万美元追一科技完成战略融资,金额数亿人民币 云舶科技完成A+轮融资,金额数百万美元追一科技完成战略融资,金额未披露虚拟影业完成PreA轮融资,金额超千万人民币万像文化完成战略融资,金额未披露中科深智完成B轮融资,金额千万级美元万像文化完成A+轮融资,金额数千万美元相芯科技完成战略融资,金额7000万人民币头号偶像完成战略融资,金额未披露11月PAGE/122021年2022年技术发展是数字人第一推动力数字人是多技术综合产物,数字人近年的发展来源于CG(Com

23、puter Graphics,利用计算机进行视觉设计和生产)、语音识别、图像识别、动捕等相关技术的共同成熟。数字人具有以下三方面特征,分别是由建模、物理仿真、渲染、动捕、面捕和AI等技术支持,各项技术不断迭代,推动数字人制作效能和智能水平提升,其中通过AI技术实现高度拟人化的“思想和行为”,进而给用户带来亲切感、参与感、互动感和沉浸感是未来发展的重要方向。(1)人的外观,具有人的相貌、性别和性格等人物特征。(2)人的行为,具有语言、面部表情和肢体动作的能力。(3)人的思想,具有识别外界环境,并与人交流互动的能力。物理仿真面捕动捕AI驱动形似人人的外观人的行为人的思想神似人AI驱动外在内在数字人

24、技术渲染建模好看的皮囊有趣的灵魂PAGE/13角色形象动画生成模块语言生成模块音视频合成显示模块交互模块角色制作识别感知合成显示 角色表达分析决策建模绑定等语音生成、动画生成(驱动、渲染)等终端显示技术语音语义识别、人脸识别、动作识别等知识库、对话管理等建模 绑定等动作捕捉动画渲染引擎应用AR/VR技术AI语音理解AI图像识别数字人通用框架数字人技术游戏技术游戏科技不断赋能数字人制作PAGE/14Z世代用户崛起数字人和虚拟空间为互联网原生一代提供新体验91.3%83.9%82.6%74.6%71.6%70.0%54.7%49.2%48.7%41.8%2021年6月Z世代人群兴趣偏好活跃占比 T

25、OP102.132.532.773.143.--062022-06Z世代用户规模变化趋势单位:亿作为互联网原生一代,Z世代用户增长速度较快,规模已达到3.42亿,已成为移动互联网的重度用户,他们对社交、视频、音乐、网购等兴趣爱好使用深度和广度的上遥遥领先于全网平均水平。Z世代对新形式的互联网产品需求更大,而数字人突出人物个性,强调体验感和交互性,与Z世代用户可以产生情感链接,并产生情绪共振和文化认同。特别是数字人和虚拟空间相结合,孵化新玩法,带来新体验,因此Z世代用户为数字人的核心用户群体。Z世代,通常是指1995年后出生的一代人Source

26、:QuestMobile GROWTH用户画像标签数据库2021年6月&2022年6月2%76%19%2%1%年龄分布17岁及以下18-24岁25-30岁31-35岁36岁及以上保密星瞳粉丝:核心为18-24岁群体,达76%Source:星瞳用户画像标签社交 视频 音乐 网购 团购 游戏 学习 阅读 时尚 办公 1%PAGE/15头部企业从工具、平台和应用多维度入局引领数字人产业发展Epic Games MetaHumanNVIDIA Omniverse腾讯云智能播报数智人平台Meta Horizon Worlds 社交平台头部企业通过打造数字人制作工具和平台、数字人应用平台等引领产业快速发展

27、PAGE/16类型组织项目名称行业标准金标委证券分委会证券期货业虚拟数字人应用建设指南行业标准北京金融科技产业联盟虚拟数字人金融应用建设指南团体标准人工智能产业发展联盟虚拟数字人指标要求和评估方法系列标准行业标准中国通信标准化协会虚拟数字人指标要求和评估方法系列标准团体标准人工智能产业发展联盟数字人系统基础可信能力要求及评估方法团体标准中国电子工业标准化技术协会人工智能 深度合成图像系统技术规范国际标准ITU-T(国际电信联盟)Requirements and evaluation methods of noninteractive 2D real-person digital human a

28、pplication systemsFramework and metrics for digital human application systems发布或制定过程中的数字人相关标准标准制定引导产业规范发展针对数字人通用技术,通过可信能力、指标和评估能力等对产品进行规范和引导,支持产业健康发展。在垂直行业中,如金融行业,在证券期货、金融应用等方向陆续出台相关应用建设指南,推动落地应用。PAGE/17IDC在中国AI数字人市场现状与机会分析,2022报告中预计,到2026年中国AI数字人市场规模将达到102.4 亿元中国AI数字人市场规模预测,2021-2026单位:亿元人民币来源:IDC中

29、国,2022数字人市场将呈现高速增长态势数字人市场增长迅速,根据市场分析机构预测,其中AI数字人市场规模在2026年将达到102.4亿元。PAGE/18PAGE/19价值定位技术迭代AI赋能融合发展行业应用十大趋势C端模式硬件载体发展路径产业集聚合规前置PAGE/20数字人产业发展十大趋势 数字人制造和运营服务的B端市场不断扩大,将面向更广大的C端用户提供服务,各类数字人价值定位和商业模式有差异。技术集综合迭代驱动数字人形似人,制作效能将继续提升 AI技术驱动数字人多模态交互更神似人,并逐步覆盖数字人全流程 数字人技术与SLAM、3D交互、体积视频、空间音频等技术深度融合,渲染将从本地到云端

30、千行千面的数字人将成为人机交互新入口,但深度上仍需挖掘 UGC数字人将加速出现,成为未来产业的增量空间 数字人仍以2D显示设备为主,3D显示设备成为特定领域的新解法 在场是数字人发展的高级阶段,将与应用场景深度耦合 艺术和技术双轮驱动,北京有望成为产业新高地 数字人版权保护及行业合规体系需同步建设,推动实现可用、可靠、可知、可控价值定位技术迭代AI 赋能融合发展行业应用C端模式硬件载体发展路径产业聚集合规前置腾讯研究院、腾讯云智能和创业黑马:数字人产业发展趋势报告(2023)PAGE/21趋势1:数字人制造和运营服务的B端市场不断扩大,将面向更广大的C端用户提供服务,各类数字人价值定位和商业模

31、式有差异数字人的最终服务对象为C端用户,在B端的应用领域从电影动画向广告营销、电商直播、虚拟偶像等领域不断扩展。未来,以虚拟分身为代表的应用潜力巨大。从需求角度,数字人制造和运营服务在B端市场不断扩大领域和规模,面向更广大的C端用户提供服务,而制作方式也从PGC向UGC发展。在20世纪80年代电影、动画等领域早期的手绘数字人最先出现,伴随着21世纪初计算机动画和动捕技术的成熟,内容/IP型数字人大量应用在影视行业中,主要是增强影视中观众的体验效果,随后逐渐在文娱、市场营销、文旅、虚拟偶像等场景推广应用。近年,伴随AI驱动技术的成熟,功能服务型数字人陆续出现,主要应用于行业服务场景,如金融数字人

32、客服、传媒数字人口播等。在虚拟空间中的虚拟分身数字人大范围出现相对较晚,虚拟空间的技术和产品还在发展中,待产业进一步完善,此类应用潜力巨大,是数字人市场的增量空间。80年底初21世纪初2018年-现在电影制作动画方向游戏、电影制作方向形态:内容IP型技术路线 传统手绘投入成本 人工密集型驱动,学习和管理的成本高,单个电影制作,投入几百万至千万美金不等技术路线 投入成本 动捕设备、计算机动画内容IP型:网红型数字人大量出现。功能服务性:以金融、传媒作为起点,进入行业服务。虚拟分身:虚拟场景中虚拟分身大量出现形态:内容IP型/功能服务型/虚拟分身技术路线 动捕设备、AI驱动算法,驱动模型,2D驱动

33、,3D AI建模投入成本 人力、GPU,数据采集,算法投入 AI驱动部分不再依赖人力和设备,减少大规模商用成本手工绘本内容生产,效率较低、效果较差第一需求方:各行各业等B端企业制作方式:PGC第一需求方:C端用户制作方式:UGC第一需求方:文娱公司等B端厂商制作方式:PGC文娱产业 打造虚拟偶像,塑造IP价值虚拟分身虚拟空间的分身企业服务提升技术服务,为企业降本增效第一需求方:影视、游戏公司等B端厂制作方式:PGC影视游戏增强体验效果PAGE/22趋势1:数字人制造和运营服务的B端市场不断扩大,将面向更广大的C端用户提供服务,各类数字人价值定位和商业模式有差异产品分类内容/IP型功能服务型虚拟

34、分身(Avatar)制作方式PGC为主PGC为主UGC为主产品定位偶像,用于娱乐、科教等数字员工,提供拟人化服务在虚拟空间中的身份代理代表应用虚拟偶像、数字航天员、品牌代言人虚拟主播、数字客服、数字专家游戏身份如VRChat、虚拟演唱会观众应用行业电影、电视、综艺、科普纪录片等金融、文旅、零售、直播游戏、VR应用核心价值虚拟IP/偶像身份的具象化人工作的增强和辅助,降低企业成本,提供自动化、智能化和标准化服务虚拟空间中的交互入口,推动虚拟内容生产核心竞争力形象的艺术性、IP的打造和运营能力 智能交互能力沉浸化、实时化、体验感驱动方式中之人驱动AI驱动/中之人驱动中之人驱动/指令驱动按照商业和功

35、能应用维度划分三种数字人(内容/IP型、功能服务型和虚拟分身型)在产品定位、应用行业、核心价值、竞争力等方面存在显著差异。其中,内容/IP型主要应用于影视、文娱和市场营销等场景,功能服务型主要应用于行业服务场景。这两种类型数字人制作方式以PGC为主,从数字人制作厂商角度,更多是面向B端。此外,虚拟分身类型数字人(Avatar)一般为C端用户制作虚拟形象,应用于C端用户在虚拟空间中的形象分身和代理。虚拟偶像、虚拟网红虚拟代言人、虚拟品牌官.虚拟主持人虚拟主播.虚拟客服、虚拟导游虚拟专家、虚拟讲解员.虚拟空间超级助手/入口真实世界底层逻辑增强连接建模精细化内容多元化交互实时化载体多样化产业融合深化

36、知识图谱全能化演进方向生产平台化内容场景化AI交互情感化PAGE/23趋势1:数字人制造和运营服务的B端市场不断扩大,将面向更广大的C端用户提供服务,各类数字人价值定位和商业模式有差异项目制产 品内容/IP型功能服务型虚拟分身人设打造数字人制作中之人/AI训练B端客户需求/C端用户需求B端客户需求数字人制作视频推流IP运营商业变现AI训练平台上架各种数字人典型的商业流程和制作方式C端用户需求使用场景打造用户定制形象结合虚拟空间设定进行流量变现交付并商业变现产品结合定制化IP运营,客户服务和流量变现是当前主要的三种商业模式:内容/IP型数字人主要依靠数字人的商业IP运营实现商业变现,功能服务型是

37、交付给客户实现变现,而虚拟分身则需要结合虚拟空间的设定和规则进行流量变现。数字人的制作成本和周期也伴随定制化程度的下降而递减:三种数字人的制作方式和周期也存在差异,内容/IP型数字人更多是项目制,以定制为主;功能服务型是产品和定制化相结合,在通用产品上,进行定制化开发;而虚拟分身更多是产品制,用户利用平台工具产品进行数字人形象的制作并在相应虚拟场景内进行活动,一般而言内容/IP型数字人的成本和周期最高,虚拟分身型数字人最低。平台对接场景规则设定从数字人制作角度从数字人制作角度注:内容注:内容IP型以视频播放场景为例型以视频播放场景为例PAGE/24趋势2:技术集综合迭代驱动数字人形似人,制作效

38、能将继续提升建模技术数字人形似人建模技术发展推动外貌更接近人的超写实数字人制作门槛和周期进一步下降渲染引擎的迭代发展和GPU算力的提升推动数字人渲染画面更加精细和实时化物理仿真算法迭代推动服装动态展示趋向真实工具AI技术人的外观人的行为(中之人驱动动作和表情)人的思想数字人神似人管线化流程物理仿真渲染技术制作效能提升算法的优化推动动捕技术门槛下降,使用将会更加轻量,视觉动捕在C端应用潜力更大动捕技术面部捕捉技术向更简单的硬件、更细腻的表情、更自动化的流程方向发展面捕技术PAGE/25趋势2:技术集综合迭代驱动数字人形似人,制作效能将继续提升数字人类型生成/建模方式精度建模/扫描时间特点数字人外

39、 形方向应用领域技术成熟度 2D数字人 深度学习 完全 复刻 小时-天可以定制形象或者融合形象,均和真人无异真人传媒、金融、政务 相对成熟 3D数字人 手工建模 0.1 毫米 月人工操作,建模时间相对较长,人物建模主流方式各种类型电影、传媒、行业应用 成熟 相机阵列扫描建模 毫米 高速,后续需要人 工进一步完善模型重建数字人三维模型重建数字人纹理贴超写实电影、传媒 相对成熟 光场扫描 微米 高速重建数字人三维模型、纹理贴图、法线贴图、材质贴图、动态网格超写实电影、传媒 落地完善中 AI建模(上传照片/视频生成 写实类型数字人)相对 较高 1分钟生成成本低,可定制,1分钟生成,实现千人千面,简单

40、易用,零基础使用写实互联网发展中,需要多种技术路径验证2D数字人和3D数字人生成/建模方式不同,2D数字人本质是生成图像,因此主要方式是利用深度学习技术根据视频生成与真人相同的图像,技术相对成熟。3D数字人需要建立3D模型,主要是利用软件传统的手工建模、静态扫描建模(相机阵列扫描建模)、动态光场或者AI建模(3D重建技术)生成3D模型。目前手工建模和静态扫描建模技术较为成熟且应用广泛,利用3D重建技术或动态光场重建可极大节约建模时间,提升建模效率,是未来重要布局方向。其中动态光场重建优势在于重建人物的几何模型同时 还可一次性获取动态的人物模型数据,并高品质重现不同视角下观看人体的光影效果。AI

41、建模目前已经初步实现产品化,目前精度可以达到次世代游戏人物级别,优势是可以开放程序接口,对接各种应用,因此潜力较大,范围较广,特别是C端的应用,可以通过便捷化的上传图片即可生成3D数字人面部模型。未来发展方向是通过算法驱动提高精度,优化建模效果,比如:偏移矫正、阴影修复等。2.1 建模技术发展推动超写实数字人制作门槛、成本和周期进一步下降趋势减低建模时间PAGE/26光场是三维世界中光线集合的完备表示,包含光的位置、方向、光谱、时间等七个维度信息,采集并显示光场就能在视觉上重现真实世界。数字人光场建模就是利用多角度摄像机、多角度光源模拟拍摄真人各种条件下的影像,解算人体表面形貌特性的技术。基本

42、原理:人脸皮肤反射(I)与反照率(k)入射光方向(L)与皮肤反射方向(n)相关,符合I=kLn的关系。拍摄时,光场设备模拟x,y,z三个方向不同偏振态(或RGB不同色彩光照)的球形梯度光照拍摄人脸,采集不同偏振态的数据。由于梯度光照的对称性,可以简化多光源的共同作用,以I=nC(C为常数)的公式根据照片迅速地计算人脸各处对入射方向的光线的反射状况n,即法向信息。梯度光光场可以重建出精确而真实的多层皮肤材质(漫反射材质、高光反射材质、法向信息),让渲染出的人脸皮肤展现出更加逼真的质感。光场建模维度提升带来影视级数字人制作周期大幅缩减,AI技术是未来发展重点影眸面部光场扫描系统大型光场系统相机阵列

43、系统数字人制作周期:1-2月上海科技大学相机阵列系统硬件系统高分辨率相机阵列+频闪光源系统功能重建数字人三维模型重建数字人纹理贴图系统指标计算速度:毛孔多维光场重建数字人制作周期:1周(不含精修时间)硬件系统高分辨率摄像机阵列+变光照光源系统功能重建数字人三维模型、纹理贴图、法线贴图、材质贴图、动态网格系统指标计算速度:皮肤噪波光场未来研究重点:AI加持、数据驱动与神经渲染技术结合的重建技术目标更简单的硬件设备、更高的精细度、更丰富的材质信息可驱动、可重打光、可编辑代表工作Google带动态材质的体积摄影技术The relightables:Volumetric performance cap

44、ture of humans with realistic relighting,SIGGRAPH 2019影眸科技AI驱动的面部材质与几何资产Video-driven Neural Physically-based Facial Asset for Production,SIGGRAPH asia 2022上海科技大学神经渲染相结合的可驱动重建Human Performance Modeling and Rendering via Neural Animated Mesh,ACM SIGGRAPH 2022Meta手机扫描的Codec Avatar生成Authentic Volumetric

45、 Avatars from a Phone Scan,ACM TOG 41.4(2022):1-19.PAGE/27趋势2:技术集综合迭代驱动数字人形似人,制作效能将继续提升布料仿真一直是CG动画中的研究热点与难点,对提高动画质量以及用户体验具有重要意义。虚拟世界中虚拟角色强烈的视觉真实感主要来源于逼真的虚拟人物的服装动画,布料的仿真程度很大程度上可以增强用户的体验感。将服装通过骨骼绑定驱动的方式是市场上最为常见的应用方式。这种应用方式下,数字服装作为刚性物体被驱动,只能进行拉伸,好处是对于服装解算没有算力消耗,因此,更常见于实时互动应用中。基于位置的动力学(Position Based Dy

46、namics,PBD)技术,面数较大容易出现网格穿模,动力学表现生硬,且较难区分不同面料质感的物理差异,修型的工作量极大,单件服装的效果调优无法被负责且较难体现布料细节褶皱。物理仿真算法的服装动力学解算能够无限接近真实世界的服装表现,能够很好的表达服装的物理质感,服装与人体的关系,同时也不依赖于美术的高复杂且繁重的美术工作,但是过于依赖端的计算能力,移动端只能够通过云端服务器的计算然后进行数据网络传输,进而对网络传输速度也有了极高的要求。基于AI算法的服装动态模拟在学术上有所表现,但是成熟度较低,目前无法较好的处理多层级服装的效果解算,服装的细节表现也较弱,但是仍有较大的潜力与可能性。2.2

47、物理仿真算法迭代推动服装动态展示趋向真实类型仿真程度仿真速度算力开销数据依赖骨骼绑定无快无无position-based dynamics(PBD)缺乏物理意义较快适合移动端,面数大问题明显无Physically-based Simulation 物理仿真基本接近真实物理效果较慢应用开销大无AI仿真有一定物理意义较快训练开销大,应用开销尚可提前进行大量数据训练PAGE/28趋势2:技术集综合迭代驱动数字人形似人,制作效能将继续提升渲染是对3D数字人或虚拟场景加入几何、视点、纹理、照明和阴影等信息从而达成从模型到图像的转变,渲染决定了最终数字人的质量,而渲染引擎和GPU算力的发展推动数字人渲染更

48、加信息和实时化。目前离线渲染比较成熟,应用较为广泛。而实时渲染尚有提升空间,伴随GPU算力的不断提升和渲染引擎的优化,将推动实时渲染的速度和真实度,未来实时渲染技术的发展也为数字人的实时交互提供了极大助力。主流的3D 渲染引擎UnrealEngine 和Unity 3D版本不断迭代,推动数字人皮肤纹理、3D 效果、质感和细节等方面渲染效果更佳,同时生产效率更高。2.3 渲染引擎迭代和GPU算力提升推动数字人画面更加精细和实时化趋势渲染方式离线渲染实时渲染定义在计算出画面时并不显示画 面,计算机根据预先定义好的光线、轨迹渲染图片,渲染完成后再将图片连续播放,实现动画效果图形数据实时计算与输出,每

49、一帧都是针对当时实际的环境光源、相机位置和材质参数计算出的图像渲染时间长,花费几十分钟甚至更长时间 渲染一帧画面 短,每秒至少渲染30帧 计算资源多,受时效限制有限,可临时调配更多计算资源 少,受限于时效要求,计算资源一般不能及时调整 渲染质量高中数字人交互无无交互/有交互数字人文件格式视频视频或程序优缺点强调“美学和视觉效果”,主要优点是渲染时可以不考虑时间对渲染效果的影响缺点是渲染画面播放时用户不能实时控制物体和场景强调“交互性和实时性”,优点是可以实时操控,缺点是要受系统的负荷能力的限制,必要时要牺牲画面效果(模型的精细、光影的应用、贴图的精细程度)来满足实时系统的要 求。应用领域广告营

50、销/影视等预先设计好的模式的演示 直播/行业数字客服/游戏等无预定脚本场景算力是渲染质量和实时性的根本驱动力 1998年 2002年 2005年 2007年 2009年 2010年 2011年 2012年 2014年 2015年 2016年 2017年 2018年 2019年 2020年 2021年 2022年 UE1UE2UE3UE4UE5Unity1.0Unity3.0Unity2017Unity2018Unity2019Unity2020Unity2021Unity20221、UE5主要是做了两大核心功能的更新,第一个是Nanite(虚拟微多边形几何体技术)以及lumen(流明技术)。流

51、明技术(lumen)是虚幻五的全动态实时光照解决方案核心亮点,不需要性能强劲的显卡,也不用场景预渲染,就可以达到类似于光线追踪的实时效果。多边形虚拟化技术(Nanite)可以被实时流送和缩放,无需再考虑多边形数量预算、多边形内存预算或绘制次数预算了;也不用再将细节烘焙到法线贴图或手动编辑LOD,画面质量不会再有丝毫损失。2、虚幻5成本小,效率更高,效果更好,更加人性化,更加智能。1、UE4 采用了目前最新的即时光迹追踪、HDR 光照、虚拟位移等新技术,而且能够每秒钟实时运算两亿个多边形运算,效能是目前“Unreal Engine”的 100 倍,而通过 NVIDIA 的 GeForce 680

52、0 显示卡与“Unreal Engine 3”3D 引擎的搭配,可以实时运算出电影 CG 等级的画面。2、重新设计了整个架构,对移动平台提供了更好的支持,UE4废弃了UnrealScript,统一使用C+开发,并革命性的引入了代码的热更新。1、UE3整合了由 Ageia 所提供的“NovodeX”物理模拟技术,让展示场景中的对象呈现出如同实际物体般的反应,像是弯曲、抖动、晃动、碰撞、弹跳 等,并以常见的连锁机关方式来展示这些真实物理反应模拟所能做到的效果。2、UE3引擎的进步之处在于在游戏的制作阶段,引擎可以支持制作人员创建一个数百万多边形组成的超精细模型,并对模型进行细致的渲染,从而得到一张

53、高品质的法线贴图,这张法线贴图中记录了高精度模型的所有光照信息和通道信息。1、Unity简化了对象的创建,尤其是分层的对象结构和依赖,并简化了应用程序代码。2、支持需求的抽象,这允许开发人员在运行时或者配置中指定依赖,并简化了横切关注点的管理。3、通过延迟将配置组装到容器来提高灵活性。4、服务定位功能允许客户代码保存或者缓存容器。这在开发人员可以持久化容器到 ASP.NET Session 或者 Application 中的 ASP.NET Web 应用程序中特别有用。1、在 Unity 3.0 版本中(2013年),新增了基于约定的自动注册机制(Registration By Convent

54、ion),以使 Unity 容器的装配过程变得更加简单,并且减少冗余代码。2、Unity 3提供一个新的延时光照系统,支持在场景中实现上百个点光源。同时开放了延时光照需要的G-Buffers,开发者可以重用到其他高端图片效果上,而没有额外的性能损失。Unity2.0Unity 4.0Unity5.01、Unity 5.0 物理系统的预计工作速度是以前版本的 2 倍,基于物理的标准着色器使材质在任何照明环境中看起来一致。基于 Geomerics Enlighten 技术的实时全局照明。音频混合器,可大幅改善游戏中的音频。2、Unity 5.0 中,Cloth 不再对场景中的所有碰撞器做出反应,也

55、不再将力应用回世界。相反有一个更快、多线程、更稳定的角色服装解决方案。当添加它时,新的 Cloth 组件不再对任何物体做出反应。1、Unity 2022.1中最大的变化之一是新的材质变体系统,它适用于HDRP和URP渲染管线,它允许艺术家创建材质模板,其中子材质与父材质共享公共属性,并仅覆盖那些不同的属性。2、Unity 2022.1引入了一个新的Splines包,包括在Unity编辑器中创建和操作样条线所需的工具,以及自定义这些工具所需的框架,它是一个通用工具集,用途包括生成用于3D建模的基本曲线、创建动画路径或在布置环境时沿样条线实例化预制件。初代虚幻引擎将渲染、碰撞侦测、AI、图形、网络

56、和文件系统集成为一个完整的引擎。将虚幻竞技场2004中改进载具模拟的Karma physics SDK集成在一起,也强化了许多元素。UnityUEPAGE/29类型定位精度传感器数量抗遮挡对场地空间要求移动性硬件成本算法难度适用场景光学动捕高高低高低高中电影、动画惯性动捕中中高中中中低电视台节目激光+惯性动捕高中高中中中中影视、训练、虚拟直播视频动捕低无无低高低高虚拟直播动作捕捉是指通过数字手段记录现实中的运动过程,特点是动作灵活、互动效果觉好,多用于内容/IP型数字人,场景多为直播、路演等互动性活动,其本质上是传统影视制作CG技术的演进,目前主流的方式是光学动捕和惯性动捕,而基于计算机视觉的

57、视频动捕发展速度较快。此外,多种方式相结合的混合动捕方式也是未来重要的发展方向,如光学动捕和惯性动捕的结合,视觉动捕和VR头显/手柄的结合等。光学动捕是最早出现的动捕技术,同时发展也最为成熟,需要多个专业动捕摄像机结合穿动捕服的中之人。未来会向专业化和便捷化两个方向发展:专业化方向,将实现更高的分辨率和更远的探测距离,动作的还原度更高,更加逼真和稳定,同时将数据在云上处理;便捷化方向将和视频动捕趋同,采用数量较少的消费级摄像头,无需穿戴设备。惯性动捕是采用传感器结合算法的方式,由于精度较高,对场地要求适中,因此是B端主流方式,未来伴随算法的不断完善,传感器数量将呈下降趋势,对中之人和场地的限制

58、也会越来愈少。激光+惯性动捕方式,采用激光传感器结合惯性传感器的方式,对抗电磁干扰能力强,可连续24小时稳定工作,适合大空间内动捕定位,未来向更低使用门槛发展。视觉动捕显著降低了使用门槛,从最初的利用深度摄像头,到利用多目摄像头到现在的利用单目普通摄像头,对设备的要求逐渐降低,未来发展方向是在C端不断提高定位精度和准确度,适用于UGC的使用场景。另一发展方向是通过增加摄像头的数量,向专业化发展,与光学动捕中便捷化发展趋势趋同。趋势2:技术集综合迭代驱动数字人形似人,制作效能将继续提升 2.4 算法的优化推动专业动捕设备趋向便捷化,视觉动捕在C端应用潜力更大两者发展方向趋同惯性动捕光学动捕视觉动

59、捕传感器数量下降专业化便捷化更高的分辨率和更远的探测距使用消费级别摄像头,无需穿戴设备专业化便捷化增加摄像头数量,提高精度利用单目摄像头和手机算力发展方向激光+惯性动捕专业化便捷化更多的激光发射器和传感器穿戴方便、零校准、低使用成本PAGE/30趋势2:技术集综合迭代驱动数字人形似人,制作效能将继续提升追踪:从传统计算机视觉算法到基于深度学习的方案2.5 面部捕捉技术向更简单的硬件、更细腻的表情、更自动化的流程方向发展驱动一个数字人往往被拆分为追踪(Tracking)与重定向(Retargeting)两个环节。追踪由专业的面部捕捉设备及其辅助算法完成,负责记录演员的面部动作信息,重定向则是将捕

60、捉到的面部动作信息迁移到新的角色。重定向:从艺术家手工绑定到自动绑定方案硬件:多目红外摄像头/深度传感器装备:面捕头盔+面部标记点(也有一些不需要标记点)主要原理:基于传统计算机视觉的关键点追踪、双目视觉技术、结构光技术备注:由于采用传统算法,对输入内容的质量比较严苛,所以往往要求更好的硬件与光照环境(红外)或者额外的深度信息作为辅助,成本居高不下硬件:单目摄像头装备:面捕头盔/手机主要原理:在二维、三维数据集上,通过可微分渲染、深度学习等技术实现备注:基于深度学习的算法对输入数据具有更强的鲁棒性,对捕捉设备的要求有所下降;同时,由于神经网络出色的表达性能,能够更准确的对微表情进行捕捉。基于通

61、用骨骼蒙皮、BlendShape的绑定方案+艺术家手动调整的绑定方案(如:使用MetaHuman骨骼蒙皮迁移、Mesh to MetaHuman)参照扫描表情拆分BlendShape或骨骼蒙皮(影视级数字替身常用制作方案,如:双子杀手)基于肌肉模拟仿真完成面部驱动(如:ZIVA DYNAMICS)不符合真人本人表情工作量极大对艺术家水平要求高难以实时解算Data driven的面部绑定依据,如依靠4D连续帧数据与追踪算法强关联的自动化绑定具有解剖学依据,符合肌肉动力学采用更高级别的表达方式还原微表情,如BlendShape与骨骼混合,甚至是神经网络的隐式表达实时影眸科技最新微表情级面部捕捉技术

62、,使用神经网络对4D数据进行学习代替传统绑定,计算机图形学顶会SIGGRAPH Asia 2022 接收为Technical Paper-Journal Track并受邀作报告分享。量子动力推出AVATARY绑定系统。AutoFace和Rigger功能模块支持面部表情模型、骨骼和控制器的快捷生成和绑定,完成了从BS生成到骨骼绑定、控制器绑定的流程,高效实现了面部模型的生成和绑定。ZIVA DYNAMICS推出ZIVA FACE TRAiNER在线Sass服务,通过4D扫描技术得到的训练数据,使用机器学习技术实现自动化绑定。传统方式发展趋势传统方式发展趋势PAGE/31数字人技术扩散,数字人各项

63、技术如动捕、布料仿真等,在数字人制作过程中发挥重要作用外,也溢出到其他产业,发挥重要作用动作捕捉技术在击剑训练中使用,定位精确辅助训练设备,解决了以往视频分析等手段中存在的实时性问题,能对运动员的身体状态、运动机能等关键要素直观、可视化地展示,从而帮助教练与选手展开个性化、精准化的训练。动作捕捉技术和布料仿真等技术在服装设计过程中可以还原人体尺寸和动态效果,使服装的设计无需经过实物打样生产制作,即可通过数字人及其一系列动态来直观反映服装设计的设计美感与工业适配性。通过工业孪生的数字人和服装,降低服装设计开发的成本和周期。Style3D 凌迪科技将布料仿真技术应用于服装设计影眸科技联合上海科技大

64、学、上海市第九人民医院合力构建了符合解剖学规则的参数化人脸生成模型SCULPTOR,它对头骨、脸部几何形状和脸部外观进行联合建模,仅通过一张照片/一个人脸模型即可推测角色骨骼形状,并以此为依据进一步调整角色相貌;该技术将被应用于数字人创作、整形预测等多个方向,为文化娱乐与医疗美容行业提供技术解决方案。国承万通将动作捕捉技术应用于机器人驱动,解决了以往在开放环境中,机器人末端难以通过传感器实现空间精准定位的问题,在现有机器人感知框架内,能够训练机器人细节精准抓取的动作,从而帮助服务型机器人更快的走进千家万户,彻底提升人们的生活品质。国承万通将动捕应用于机器人驱动PAGE/32趋势2:技术集综合迭

65、代驱动数字人形似人,制作效能将继续提升目前2D数字人的定制自动化程度逐步提升,通过定制管线可完成从训练到播报、交互应用平台的上架。2.6 伴随数字人制作流程更加管线化和智能化,制作效能不断提升2、数据采集&录制4、AI模型训练-文本&声音驱动数字人5、工程开发&测试上线腾讯2D数字人自动化管线生产流程3、自动化数据标注、预处理3分钟视频素材经过天级别的AI训练,便可生成各行各业的数智人分身,适用于内容讲解、口播视频生产、直播带货等场景。专业影棚录制的视频,经过AI自动训练即生成用于播报&交互、动作可配的专业数智人,用于业务办理、信息咨询、主播等场景。PAGE/331、模特人选及妆发确定趋势2:

66、技术集综合迭代驱动数字人形似人,制作效能将继续提升3D数字人制作涉及众多技术领域、制作方法尚未完全定型,自动化程度相对较低,需要大量的人工参与,高效率的生产高质量难度较大,目前领域内部正通过管线化生产的方式对生产流程进行标准化,以提升制作效能。未来将在管线化生产的基础上,通过算法优化和更加便利的工具,如自动化的骨骼和表情绑定工具,使制作更加简单化和一体化,特别通过AI技术提升制作的智能化水平,减少人工参与编辑和调优。前期以超高的精度与超快的速度动态扫描面部材质、捕捉表情变化时的肌肉运动,基于微米级面部光场扫描,输出精细到皮肤微结构的逐帧面部几何与材质,并快速完成脸部细节精修、材质制作、毛发制作

67、及瞳孔制作,重拓扑后投射置换贴图,令虚拟人模型达到噪波级细致的毛孔以及超高度的皮肤质感与精度。将超写实数字人制作周期提速到3-4周左右(没有动捕和表情)毛发制作白模制作面部修型眼部修型衣服制作绑定/材质贴图光影精调采用Maya技术精确塑造模型,结合虚幻引擎技术渲染材质,塑造高质量写实模型。同时采用绑定系统,高效完成人体肌肉搭建及口型精准制作;配给布料物理专业人才,同时采用全套捕捉系统,解决动捕过程中肢体动作及服饰动感等技术难题,使得虚拟人迅速投入商业场景的应用。2.6 伴随数字人制作流程更加智能化和管线化,制作效能不断提升传统手工建模方式制作数字人典型管线皮肤材质渲染3D+4D扫描数据采集及处

68、理眼珠及瞳孔结构制作模型精修及多层渲染毛发拓扑光场扫描方式制作数字人典型管线1.选择已有形象模版2.形象创作3.选择头发4.选择体型及服装5.在UE中下载MetaHuman资产通过快速和容易地创建独特高保真的数字人类的工具,直接操纵面部特征,调整肤色,并且从预设的身体类型、发型、服饰等范围中选择,在角色制作完成后,会包含完整的绑定并可以直接在虚幻引擎或者maya中制作动画。一站式制作数字人典型管线资产制作管线AI驱动中之人驱动PAGE/34腾讯NExT Studios自研的xMoCap 3A级动捕动画全流程管线集角色绑定、动作捕捉、动画工具、资产管理及动捕数据库为一体,支持大型团队协作、云端海

69、量资产管理、高保真3D角色动画生产,符合3A游戏的开发需求。腾讯NExT Studios自研的xFaceBuilder 数字角色制作管线通过极致的算法优化,便利工具的研发,提升了高保真人脸制作效率,打磨成了一套影视级别的建模、绑定、动画在内的高保真人脸制作全流程管线,可以运行于手机,主机,PC等平台。不仅支持从手游到3A游戏角色的不同制作标准,也应用到了影视、科教等更多领域。腾讯NExT Studios自研xMoCap 3A级动捕动画全流程管线和xFaceBuilder 数字角色制作管线PAGE/35趋势3:AI技术驱动数字人多模态交互更神似人,并逐步覆盖数字人全流程目前主流方式是围绕NLP技

70、术进行文本驱动,NLP是数字人的大脑,直接影响交互体验。CV决定数字人面部表情和肢体动作。目前声唇同步技术相对完善。自然语言处理(NLP)计算机视觉(CV)数字人神似人人的外观数字形似人人的思想人的行为(AI驱动表情动作)PAGE/36趋势3:AI技术驱动数字人多模态交互更神似人,并逐步覆盖数字人全流程当前数字人对语言理解还是以文本为主,动作合成上声唇同步较为完善:AI驱动数字人是指数字人等语音表达、面部表情和动作形态等通过深度学习模型进行运算,并将其结果实时或者离线驱动,并进行渲染。目前主流的方式是围绕NLP能力通过文本驱动,本质是通过ASR-NLP-TTS等AI技术进行感知-决策-表达的闭

71、环来驱动数字人交互,同时需要预先设置相关的知识图谱或问答库等,与数字人的对话系统对接,但目前NLP在通用性场景的能力还需要进一步完善。计算机视觉(CV)目前数字人声唇同步技术相对完善,在游戏中已经大量应用;而其他表情和动作还需要描述性的数据或者标签驱动,尚未智能合成,表情动作也是是AI驱动未来发展的重点方向。技术 阶段 作用和目的 发展趋势语音理解ASR 感知阶段将人的语音转换为文本相对成熟NLP 决策阶段处理并理解文本,以对话能力为核心,为数字人的大脑配合知识图谱,应用于特定场景,未来通用型模型还需要完善TTS 表达阶段将需要输出的文本合成为语音相对成熟,未来方向增加断句、多音字的准确度,增

72、加情感,更加似人动作合成AI驱动嘴形动作 表达阶段建立输入文本到输出音频与输出视觉信息的关联映射,主要是对采集到的文本到语音和嘴形视频(2D)/嘴形动画(3D)的数据进行模型训练,得到相关模型,并智能合成随着写实度的提高,微表情更多,超写实对精度要求更高,超写实还需要进一步完善AI驱动其他动作 表达阶段动作是采用随机策略或者脚本进行预设,需要人工配制描述性的数据或者标签尚未实现智能合成重返帝国游戏画面代号破晓游戏画面腾讯AI Lab的数字人AI口型驱动技术已经应用到重返帝国、代号破晓等多款游戏中,其中大量游戏角色的脸部口型动画都是通过AI技术自动生成腾讯智影平台联合王者荣耀,实现王者荣耀自有I

73、P为2022KPL春季赛提供手语解说。当天观赛人数突破1300万;后续该能力也将作为王者赛事的通用能力,输出到包括世冠在内的多个国际及海外赛事中。PAGE/37趋势3:AI技术驱动数字人多模态交互更神似人,并逐步覆盖数字人全流程多模态AI技术是未来数字人发展的最大推动力,驱动数字人“思想”更像人:未来AI技术的重点方向是在输入端实现多模态感知输入,在输出端提升多模态交互能力,综合提升数字人的表现力,从目前的基于文本的交互,转化为基于语义的交互,特别是需要强化对人情绪的感知和表达。注:黑色部分为近期和中期目标,红色部分是AI发展中长期方向AI驱动数字人未来发展方向示意图多种唤醒方式肢体动作面部表

74、情口型声音表情感知语义声唇同步 自主学习能力图像空间感知肢体感知AI大脑输入分析思考语音语气记忆多模态分析模型动作信息表情信息情感信息重音位置激动程度语言学特征输出推理和决策能力PAGE/38高兴难过惊讶厌恶生气害怕常态可疑常态生气害怕难过厌恶惊讶开心怀疑支持多种丰富立体情绪表达腾讯数智人强大的形象表现力、识别力、理解能力和服务性能语音技术ASRTTSAI降噪方言识别视觉技术人像、环境识别捏脸技术图像对比手势、表情识别自然语言处理自然语言生成场景知识库意图识别词槽抽取知识图谱知识定义知识抽取知识管理图谱可视化驱动建模文本驱动人像生成声音驱动4D建模面捕驱动自动绑定动捕驱动动作迁移情绪特征情绪变

75、化用户状态异常行为知识问答表格图谱寒暄库信息传递会话AI情绪识别腾讯3D超写实数智人拥有超细微的面部表情,超强的情绪表现力,精通多种语言,能够生动地表达情绪,可以满足各类场景需求,数智人有个性、有情感、更真实生动。腾讯数智人AI能力示意PAGE/39趋势3:AI技术驱动数字人多模态交互更神似人,并逐步覆盖数字人全流程AI技术正在覆盖数字人制作的全流程:除了利用ASR-NLP-TTS等技术驱动数字人交互外,AI技术也应用在2D数字人的视频生成、3D数字人的建模、视频驱动、物理仿真等多个环节。利用AI技术,小K视频动捕无需穿戴任何硬件动捕设备,仅需普通RGB摄像头即可实时高精度捕捉人体身体,手指,

76、表情等全栈3D运动数据;用户可以方便的驱动数字人形象进行动作表达,极大降低了动捕技术的使用门槛。腾讯云智能利用多模态合成AI技术,能通过真人录制的视频数据快速生成2D真人数智人,具备与真人无异的交互和播报能力。同时2D真人形象不仅高度还原真人模特,也可通过融合技术创造世界不存在的形象。视频生成:通过视频和AI算法生成2D数字人的形象视频驱动:由视频驱动数字人的表情和动作生成数字人形象对于数字化纺织物制造商来说,以往靠悬臂法来测试,一块布条的测试至少需要15分钟,凌迪Style3D通过AI技术将采集速度提升了5倍。布料仿真:通过AI预测的方式生成布料形态、动力学形变物理仿真驱动AI 3D建模:通

77、过AI的算法,由视频自动生成3D模型和相关纹理2D数字3D数字人PAGE/40腾讯AI Lab提出的通过手机自拍自动创建高保真3D数字人技术,用户可以通过手机自拍一段脸部视频,然后将其输入到三维建模算法和AI推理模型中,可以自动生成高保真的3D数字人头部模型及相应的高清纹理、法线贴图等数字资产,具有毛孔、唇纹、毛发级别的细节,再借助UE或Unity等基于物理的渲染引擎,可以得到高真实感的3D写实数字人。趋势4:数字人技术与SLAM、3D交互、体积视频、空间音频等技术深度融合,渲染将从本地到云端 数字人作为3D呈现的一种方式,未来将与其他3D技术如SLAM(即时定位与地图构建)、体积视频、空间音

78、频等融合,进一步完善数字人和真实空间的交互。例如在直播场景中虚拟/真实空间中真人和数字人的交互,数字人对真实空间的感知等。同时由于数字人对渲染能力要求较高,未来云端渲染是重要的方向,将推动云服务商从算力(CPU)云服务,到渲染力(GPU)的云服务。但成本仍是云渲染普及的关键阻碍,需要突破。容积视觉和跆拳道世界冠军刘哮波合作,通过体积视频技术在其道馆可以随时随地把虚拟的自己召唤出来和小朋友进行对战,甚至和他互动合影。小朋友还可以通过体积视频技术直接在家里观看他各个招式的分解动作。云端分发服本地渲染输出画面本地渲染输出画面本地渲染输出画面用户A-手机用户B-PC渲染画面用户C-VR渲染画面云渲染节

79、点1云渲染节点2视频流E视频流D用户D用户E结构化数据互联网 分发本地渲染云端渲染云端渲染成本下降腾讯仿真风数字人技术,将虚拟人物投射到现实环境中,通过SLAM、实时3D渲染、混合现实等技术,让虛拟内容的生产者可随时在日常环境中取材和创作,同时打通移动端与云端能力;以PaaS化形式将端云渲染混合解决方案作为基础设施服务输出给业界。凌云光数字员工沐岚的XR虚拟直播使用凌云光运动捕捉系统扩展了摄影机跟踪功能,系统在完成数字人动作捕捉的同时,利用SLAM技术对演播室多台摄影机进行同步跟踪定位与大屏建模,一键完成多系统亚毫米级精准融合标定。众多黑科技的加持,让数字人沐岚的直播充满未来感及技术创新。PA

80、GE/41腾讯视频自研的虚实交互技术,无需硬件外设辅助,任何人通过一台相机/手机就可以把自己融入到虚拟世界中,极大降低了使用门槛和成本的同时,高品质的人物抠图、清晰稳定的画面、创新酷炫的互动也为内容创作带来无限发挥空间,具有广阔的应用前景和社会价值。故宫讲坛真人虚景项目利用虚拟运镜跟踪、二维码空间定位技术,可以实时渲染真人在虚拟空间中的位置,阴影。不仅可以保证人物和虚景地面的贴合。同时也可以保证在无需定位器的前提下,实拍摄像机和虚拟摄像机的运动同步。冬奥会数字人贝贝在数字人项目中,同样可以运用自研的抠图、相机跟踪、虚实交互的技术实现虚拟稳定器,实现虚拟推拉镜头,3d特效前景等功能并且让基于普通

81、摄像头形象驱动的AI数字人可以和真人同步运动,实现高质量的互动效果。腾讯视频自研虚实交互技术,可低成本、高画质的连接真人和数字人高质量绿幕/无绿幕抠图无硬件高质量相机跟踪算法相机运动轨迹示意图相机运动轨迹示意图虚实交互-实现对虚拟物体的操纵/踢/推等特效人体空间定位&虚拟阴影支持3D/全景背景的替换支持2D/3D/VR视频的渲染虚拟稳定器可AI运镜,效果媲美实体稳定器PAGE/42趋势5:千行千面的数字人将成为人机交互新入口,但深度上仍需挖掘机器人人人数字人AI驱动的数字人通过AI能力建立人与大数据的连接,提高效率并满足人情感交流需求,提升用户体验,将成为人机交互新入口:应用广度上:目前使用文

82、字或语音交互的场景都可用AI数字人软着陆的方式替代,不需要改变原有的业务逻辑和商业模式,大众接受成本较低,并提供更好的用户体验,未来应用场景非常广泛,可以与各种领域相结合,实现服务规模化和标准化。应用深度上:数字人作为企业的数字资产,是对员工工作的增强,具有生产力的属性,可以进一步释放生产力,同时降本增效。未来数字人将根据不同行业的业务特点和应用场景进行更深度结合,孵化千行千面的数字员工,提供智能化服务。数字人提升人机交互体验当前方式未来趋势当前方式未来趋势数字人增强客服人员的效能人人数字人机器PAGE/43趋势5:千行千面的数字人将成为人机交互新入口,但深度上仍需挖掘银行资管保险传媒市场营销

83、文旅政务教育家居交通出行互联网IP/内容型、功能服务型、虚拟分身型等不同类型的数字人应用领域非常广泛,其中AI驱动的功能服务型在在行业应用仍处于探索阶段,但已经迅速扩展到金融、传媒市场、公共服务、生活服务、互联网等,正向多元化发展。影视传媒和市场公共服务生活服务互联网金融影视功能服务型IP/内容型虚拟分身型数字人行业应用全景图PAGE/44生活服务AI气象主播搜狗输入法上线“AI气象主播”,覆盖了40个省会城市和热门旅游城市,不仅与中国气象网保持实时同步,而且内容丰富,除了涵盖天气情况、气温等基本信息外,还有感冒指数、穿衣指数等个性化内容。传媒行业-AI主播“新小萌”腾讯与新华社推出全球首个A

84、I女主播“新小萌”。目前合作开发的三位主播都已在新华社APP上岗,参与了包括进博会等若干重要报道,并且两次参加服贸会,作为媒体融合的典型案例进行现场演示。腾讯云智能和腾讯智影平台合作,在数字人的形象、表现力、场景化能力上有丰富的储备,在toB、toG方向有多年积累,特别在传媒,金融,政务等领域实现开创性和规模化的应用。会展行业-VR大会虚拟主持人现场互动 2020世界VR产业大会在江西南昌拉开帷幕,全息投影技术首次被应用在开幕式AI虚拟主持人和嘉宾论坛演讲的环节之中,观众可以通过全息投影,身临其境地感受由机器算法叠加的“超越时空”的世界。作为此次云峰会的硬核技术之一,AI虚拟主持人“钟石”与大

85、会现场主持人进行实时互动,虚拟与现实无缝切换,演示了一场未来智媒全息直播的场景。司法行业-首个AI法官腾讯制作首个AI法官,用户从北京互联网法院的诉讼服务中心平台的电子导诉板块,或直接进入“移动微法院”微信小程序,AI法官可以为当事人提供智能导诉服务。证券行业-首个AI证券主播AI证券主播参与广发证券易淘金APP上播报每日的早盘视点、盘中热点和收盘点评等实时资讯。只需要输入准备好的文字脚本,等待2-3分钟,即可生成一个精美的AI主播的视频资讯。健康行业-首个AI营养师腾讯基于积累超过15年的知识计算能力与自然语言处理能力,在权威机构中国营养学指导下,通过模拟真人与用户进行语音交互对话,724小

86、时在线解答用户关于饮食健康的问题,构建覆盖全人群、全食材、全疾病的权威知识库,为用户提供个性化的饮食问题解答和膳食指导。文旅行业-数字云平台IP虚拟科普员针对“大运河国家文化公园数字云平台”,江苏文投与腾讯基于知识图谱、人工智能、多媒体等现代信息技术,通过“科技+文化”的形式构建多个数字文化领域的国内创新平台和应用。公众服务端发挥线上空间优势,分为“知运河”、“探运河”、“游运河”三大板块,数字萌宠“霸下”以知识普及、趣味互动、智慧文旅等不同方式创新传播运河文化,与用户互动,吸引了不少目光。用户可以一站式体验大运河里的中国故事和中国智慧。腾讯在传媒、金融、政务等多个行业实现了开创性、规模化的应

87、用PAGE/45本次互联网公益峰会启用手语数智人进行解说,由腾讯3D手语数智人“聆语”与著名主持人杨澜共同主持,向全球超过100万观众提供了专业、实时、准确的手语解说服务,让处于无声世界中的特殊人群更好地参与公益事业共建。2022年世界急救日上,腾讯AI Lab团队携手天美工作室王者荣耀团队、腾讯SSV未来课堂、社会应急实验室共同打造的急救知识动画科普课程,其中的数字人讲解员是利用AI技术驱动的王者荣耀游戏中“云缨”角色。通过虚拟讲师结合动画的形式,寓教于乐,帮助更多人了解关于急救与AED的使用小技巧。腾讯王者荣耀“云缨”助力2022世界急救日除了在商业中应用外,在公益行业中也大量使用,发挥社

88、会价值腾讯智影平台联合中国聋人协会联合推出手语版万疆,不仅能帮助广大听障手语使用者表达出自己对党和国家的心意,同时也能提升社会各界对听障手语使用者的关注,帮助更好融入社会,通过科技去弥补“无声世界”的遗憾。PAGE/46趋势6:UGC数字人将加速出现,成为未来产业的增量空间UGC数字人生产工具 虚拟直播平台/虚拟空间 视频驱动技术更加成熟技术门槛下降制作成本下降云舶科技推出的免费3虚拟直播软件小K直播姬实现零成本UGC虚拟人互动腾讯推出的U82 APP,在手机端成功实现了仿真风数字人的自定义外观(捏脸/换装)和基于手机摄像头的驱动(动面捕),为UGC用户开启了一扇免费定制、运营、打造数字人IP

89、的大门。同时U82中可将数字人通过AR技术投射到现实环境中进行照片/视频的拍摄,实现了“虚实共创”“虚实相生”,为数字人未来使用场景的拓展提供了丰富的想象空间。未来1-2年技术门槛和成本将快速下降,会出现更开放的创作者生态、更丰富的UGC内容和商业模式,UGC将成为数字人的增量空间,同时也是数字人在C端应用的主要生产方式:二次元、写实风格等不同风格的UGC数字人生产工具和平台,C端用户可以更加便利生产数字人。数字人直播平台、自定义虚拟空间平台等不断涌现,使得UGC数字人的使用场景更加丰富。视频驱动等轻量级动捕技术的成熟,通过手机的单摄像头和算力可以获得更高精度的动作和表情数据。C端使用场景更加

90、丰富用户体验更加完善当前未来趋势发展方向PGCUGCPGCPAGE/47趋势6:UGC数字人将加速出现,成为未来产业的增量空间数字人+虚拟空间将成为未来C端主要的形式和增量市场,并孵化出新型的商业模式。虚拟空间的设定、规则和权益,会吸引特定的人群参与,并打通虚拟空间到真实空间。社交购物广告场景设定玩法规则用户权益虚拟空间数字人新型商业模式和体验PAGE/48虚拟形象 Avatar制作和换装 虚拟场景 小窝/小岛/城市 社交互动 派对/听歌/观影/钓鱼/种田.百变造型,深度定制构建Z世代沉浸式虚拟生活空间,让想象触手可及播放视频 听音乐钓鱼会议看秀种田邀请好友到小窝来做客和好友一起看视频影像 给

91、喜欢的小窝点赞 给小窝主人留言 基础功能 购买/收藏逛到的喜欢物品文字、语音群聊 给其他人发送打赏动作 拍照截图.举办婚礼 举办毕业典礼观看体育盛会 举办私人派对 进阶功能 开展个人播客玩桌游 才艺表演 钓鱼比赛 超级QQ秀通过虚拟形象,用户得以跳脱现实,畅游在充满想象的虚拟场景中,进行沉浸式互动社交 PAGE/49TMELAND:乐迷通过虚拟形象在虚拟空间进行社交、消费及共创音乐内容超高自由度,专属虚拟形象导入及定制虚拟形象互动、3D动作捕捉虚拟表演等多元场景无缝切换,虚拟世界沉浸体验多终端体验:移动端/PC端/小程序端/TV端携手央视五四晚会,尼格买提化身数字人穿越TMELAND会场为广大

92、青年加油打气,超百万青年进入虚拟音乐世界,与真实舞台同屏联动。虚拟Livehouse场馆首次落地,超400万歌迷以全新升级的虚拟形象与虚拟偶像团体 TEAM PEPSI 一同夏日狂欢。音乐会现场根据歌曲的不同风格切换多种氛围场景,实现首个沉浸式虚拟3D演出。TMELAND 元宇宙都市打造逛、看、听三重体验,320万网友以提前生成的OZ 流动体 形象欣赏欧阳靖和朴宰范(Jay Park)带来的虚拟演出,感受虚拟与现实之间流动性的数字体验。业内首创以小程序方式实现的元宇宙互动街区,用户化身数字居民在街区进行浏览、娱乐、社交,同时TMELAND小程序实现了与“可口可乐吧”小程序的打通,用户体验门槛进

93、一步降低。PAGE/50上海科技大学2022届毕业生颁证仪式在各学院举行。由于不少的毕业生无法前来参加毕业典礼,为了不让大家留有遗憾,影眸科技团队使用数字人技术设计了一场生动有趣又温馨的“云颁证”。在线上云平台的加持下,使用风格化数字人观看直播参与线上互动,打通线上线下双会场。CReal 元空间结合宜家中国家具新品的发布,联动线下展览开展线上虚拟卖场活动。通过云渲染、多人协同技术实现线上同游购买一体化的三维电商体验。通过游戏体验的植入,玩家可以通过打卡虚拟场景中的9个产品介绍点位兑换指定优惠券与礼品,并促进线下消费与兑换,实现线上与线下的营销联动。在项目上线的前三天,访问用户达1.87万人,平

94、均游玩时长7.2分钟。实现客户电商倒流转化率10%,客户留资率25%。数字人和虚拟场景结合,推动虚实链接CReal 元空间帮助宜家联动线上线下车企用户日趋年轻化,加之疫情时代到店成本攀升,用户开始倾向通过线上渠道了解、体验最新车型。一汽-大众在积极探索数字化转型的进程中,发现传统线上服务人工成本高、转化低,且很难满足日益增长的用户体验需求。腾讯云助力一汽-大众推出全新云展厅,结合web3.0时代前沿技术,首创“虚拟空间+交互数智人”行业解决方案。将线下门店搬到云上,打造“数智导购”Ida,提供从看车-选车-聊车-购车的全链路服务。项目上线后,助力一汽-大众获取品效合一的增长新动能,极大地缩短了

95、新车认识-理解-好感-购买的购车链路,将用户在线浏览时长提升至10分钟+,用户留资率取得突破性提升,超过13%。PAGE/51数字人+手机直播数字人目前在手机、PC端的绝大部分应用场景都在虚拟直播上,世优科技的消费级虚拟直播方案,只需要两部手机即可驱动数字人进行实时直播。数字人+全息裸眼3D数字人+现场大屏展示2021年中关村科技向北音乐节,虚谷未来科技运用自研的数字人轻量级直播系统通过现场大屏,呈现了一场精彩绝伦的数字人表演。全息技术可以实现数字人裸眼3D视觉呈现,虚谷未来科技的数字人班长小艾与全息盒子结合,成为粉丝虚拟陪伴。数字人+XR设备用户通过XR设备在VRChat平台中创造游戏里的场

96、景世界、人物形象和头像等。数字人+交互大屏数智人在交互大屏上展示,兼具科技感与人性化,可应用在线下智能迎宾场景、业务问询助手、业务办理、展厅导览等。趋势7:数字人仍以2D显示设备为主,3D显示设备成为特定领域的新解法数字人的显示载体包括手机、平板电脑、AR/VR眼镜、智慧大屏或线下一体机等多种终端设备。PC、手机、智慧大屏、银行VTM机等2D主流显示设备仍是数字人显示的主要载体。数字人和3D的数字内容,对于裸眼3D、VR、AR等3D显示设备的普及具有推动重要。特别在VR/AR设备中,6DoF交互更突出数字人特点,因此会在特定领域成为新解法,如在XR设备中的线上演唱会、展会和会议等应用场景。PA

97、GE/52趋势8:在场是数字人发展的高级阶段,将与应用场景深度耦合离线阶段-目前数字人产业正处于快速发展期间:离线渲染、非交互类型的数字人仍是主流,在数字化营销、文娱等领域应用广泛;而AI驱动的数字人在行业服务领域以及虚拟分身数字人在虚拟空间的应用都处于爆发前期。在线阶段-伴随数字人快速发展和大量使用,用户将很快进入体验突破阶段,在此阶段利用AI驱动提供初级的实时交互和实时渲染技术不断突破。在场阶段-实时交互,更加智能的数字人,并结合更深的行业理解,带来更真实的沉浸感和更大的价值。分发:互联网内容分发平台把离线渲染的数字人偶像作为数字内容的构成融入到现有的业务逻辑中 融合:在电商直播、数字服务

98、领域使用实时AI驱动的数字人作为新型的交互方式,提供体验的升级 原生:社交、电商、VR应用等会出现以虚拟分身为入口的新型业务逻辑,更加智能的数字人给用户带来更真实的沉浸感PAGE/53互联网不断赋能数字人产业趋势9:艺术和技术双轮驱动,北京有望成为产业新高地作为科技产品,数字人需要技术研发、人工智能、产品设计、运营、融资环境等多方面人才,因此互联网发展较好的区域,如北京、深圳、杭州、成都、重庆等互联网和数字内容高地,将成为数字人产业的重要聚居地。在众多因素中,艺术和科技是最强驱动力,北京艺术资源相对集中,拥有中国传媒大学、中央美术学院头部艺术类院校和专家资源;科技产业优势突出,互联网企业数量较

99、多,聚集了大量技术研发、AI算法等方面的人才;同时政府高度重视数字人产业,第一个发布数字人发展政策。在产业和政策的推动下,有望成为数字人产业聚焦的新高地。关键技术:建成10家校企共建实验室和企业技术创新中心共性技术平台:云端渲染、交互驱动、智能计算、数据开放、数字资产流通典型应用:在文旅、金融、政务等领域培育20个数字人应用标杆项目园区建设:建成2家以上数字人园区和基地研 发融 资运营高端人才成熟氛围专业人才 AI互联网环境艺 术文化生态序号公司名称领域城市1数字栩生数字人底层技术基础设施服务商/超写实数字人创作平台北京2虚谷未来科技高品质数字人制作、数字全案服务、虚拟IP运营北京3世优科技数

100、字人全案营销、动捕设备软硬件、虚拟演播室全案服务北京4云舶科技平台、动补北京5本壹数娱运营北京6凌云光光场采集硬件设备、动捕设备北京7海百川数字人制作、动补北京8易塔奇数字人制作、数字营销北京9中科深智引擎、平台北京10容积视觉容积视频拍摄,全真数字人采集北京11诺亦腾动作捕捉技术/数字人制作北京12国承万通动作捕捉设备软硬件、数字人全案营销北京13北京齐乐无穷数字人制作/UGC虚拟创作平台/虚拟空间SAAS平台北京14圣承科技虚拟空间新生部落设计与运营北京15梅小西数字人制作、数字营销北京16Style3D 凌迪科技数字服装硬件、数字服装制作软件、高写实时尚类资产库、实时布料仿真SDK杭州1

101、7花脸数字数字人制作运营平台/虚拟空间SaaS平台杭州18纳视文化数字人制作、运营杭州19奇幻科技虚拟人智能生成技术/虚拟人内容的创作软件及分发平台北京/杭州20NextHuman唯物科技消费级超写实数字人创作和互动平台杭州21拟仁智能全渠道AI虚拟人SaaS平台杭州22优链时代真人3D数字人拍摄制作杭州23倒映有声AI语音杭州24黑镜科技秒级人脸重建3D虚拟人,虚拟空间场景厦门/杭州25影眸科技DEEMOS数字人底层技术上海26梅兰芳文化科技 IP、运营上海27积鋆文化IP、运营上海28小i机器人智能交互数字人/政务企业金融数字人/虚拟空间数字人上海29环球数码数字虚拟人制作/视频/直播/I

102、P/虚拟空间内容基建深圳30达旦数生虚拟真人制作,引擎深圳31超次元平台、运营、IP广州32八点八数字虚拟人全链内容创作平台 IP南京33普罗米修斯视觉 体积视频核心技术研发和应用/体积视频超写实动态数字人珠海34风鱼动漫影视动漫、虚拟人全案解决方,代表:僵小鱼、狐璃璃等福州北京市促进数字人产业创新发展行动计划(2022-2025)链接数字人技术、艺术与产业生态,形成北京市数字人技术创新与场景应用的领先优势,打造北京数字人科创示范基地。北京市数字人基地政策产业PAGE/54趋势10:数字人版权保护及行业合规体系需同步建设,推动实现可用、可靠、可知、可控数字人合规 合格前置,合规与数字人应用或平

103、台的研发设计、管理相互共生 加强数字人+虚拟空间场景设定、规则玩法和内容等方面合规管理 AI驱动数字人应做到可用、可靠、可知、可控最高人民法院公布的“民法典颁布后人格权司法保护典型民事案例”,已认定人工智能软件擅自使用自然人形象创设虚拟人物构成侵权不得制作发布含有反对宪法所确定的基本原则、危害国家安全等违法信息;自觉防范和抵制炒作绯闻、劣迹,宣扬低俗内容的不良信息。运营主体必须遵循最小必要原则,对于个人敏感信息,只能在取得用户单独同意的情况下才能对其个人信息进行处理。运营主体对所处理数据的安全负责,陆星数据安全保护义务。采取备份、加密、访问控制等必要措施,保障数据免遭泄密、窃取、篡改、损毁、丢

104、失、非法使用。运营主体者应当在提供服务之日起十个工作日内通过网信办互联信息服务算法备案系统履行备案手续。企业合规体系建设内容生态安全个人信息保护数据安全算法合规数字人行业总体还在快速发展阶段,发展和生存是企业的重点和方向,数字人著作权、外观设计专利、商标等知识产权保护体系亟待完善。数字人使用自然人肖像、声音、姓名等一般人格权需要得到授权。最高人民法院公布的“民法典颁布后人格权司法保护典型民事案例”,已认定人工智能软件擅自使用自然人形象创设虚拟人物构成侵权,应当引起充分重视。此外,数字人产品涉及到内容传播以及人工智能,需要在内容生态、隐私保护、数据安全等方面同步做好合规建设,更好践行“科技向善”

105、理念,力求规避、防范可能引发的风险。PAGE/55典型产品新型显示解决方案行业应用PAGE/56 典型产品:数字人播报SaaS工具、数字人UGC制作工具、数字人生产工具、快速数字分身生成工具、C端数字人直播工具、布料实时仿真工具、AI驱动数字人直播工具、视频实时驱动产品、AI 驱动业务中台、虚拟空间产品 新型显示:AR眼镜、裸眼3D屏幕、沉浸式裸眼3D交互 解决方案:腾讯云数字人整体解决方案、中之人驱动直播方案、超写实数字人制作方案、高品质数字人制作和直播方案 行业应用:金融、传媒、文旅、云展厅、科教、泛娱、影视、市场营销、公益显示设备传感器芯片内容制作工具软件IP策划算力和云服务产品平台层基

106、础层企业服务文娱领域市场营销应用层影视动画产品和解决方案数字人制作服务方案建模软件动捕软件SaaS工具渲染引擎直播工具仿真工具AI能力计算机视觉自然语言处理AI平台直播光学器件数字人生产工具和方案较为完善,新型显示设备在特点领域成为最优解,数字人应用领域广泛PAGE/57产品和应用案例-典型产品PAGE/58典型产品-数字人播报SaaS工具:腾讯智影平台数字人播报在ToC领域的应用国内数字人市场规模已达千亿级别,但绝大部分聚焦于B端业务,以定制化为主。ToC领域数字人内容生产处于起步阶段,随着短视频的崛起,创作者普遍对高效生产存在诉求,而数字人结合文本/音频驱动,可快速实现短视频内容生产,市场

107、潜力较大。腾讯智影平台打造数字人播报SaaS工具,快速、低成本的生成数字人播报视频,极大降低C端用户使用门槛。大众化低成本驱动:输入文字、音频即可快速生成自然、逼真的数字人播报视频 形象丰富,支持定制,可低成本照片生成 可通过web端直接制作,并支持API与企业业务系统进行打通技术先进性成效解决方案主要使用场景 形成数字人应用平台,大幅降低C端用户使用门槛 在教育、宣传、广告、及自媒体知识科普、新闻热点等领域得到较为高频的应用教育教学知识解说企业广告&产品宣传新闻播报PAGE/59应用示例技术先进性皮肤质感运用散射原理,眼球仿照人体效果提升体积感和质感,优化UE头发材质渲染塑造最能共情的形象及

108、材质,皮肤纹理面部真实度突破恐怖谷效应移动端头发、皮肤、眼睛细节效果单目摄像头实时动面捕移动端轻量化模型提取和识别肢体动作、空间位移、手势和面部表情细节利用动作迁移、反向动力学优化虚拟人动作AR融入现实支持摄像头拍摄AR内容,实时UE渲染,低成本在移动端让写实人物走进现实技术框架外观定制滑杆捏脸移动端引擎、材质优化单目摄像头拍摄肢体手势捕捉微表情面部驱动AR混合现实混合环境光影融合动作库驱动典型产品-数字人UGC制作工具:腾讯U82移动端写实数字人基地腾讯U82移动端APP基于复杂精致的面部骨骼模型,通过“捏脸”“换装”模式,突出数字人在视觉上的独特的美感,在UE基础上针对性提升移动端渲染能力

109、实现仿真的3A级外观效果,大幅降低业界写实人物的批量生产问题,从体验、视觉维度最大化了受众群体对数字人的共情,让普通用户拥有属于自己的数字人。U82内置针对面部驱动流畅度、表情丰富度等具体优化的单目摄像头驱动方案,降低了实时数字人应用门槛;基于光影算法优化及AR能力的应用,在现实环境中投射写实数字人实现XR。赋能UGC生产出具有观赏和传播价值的内容,高自由度素材编辑替换、可驱动可编辑动作、虚实融合等功能设计让数字人内容生产迈入下一个阶段。PAGE/60典型产品-数字人生产工具:唯物科技(NextHuman)在超写实数字人直播领域探索消费级体验超写实数字人的制作成本高,周期长,互动技术难度大,直

110、播执行门槛高,普通主播或运营人员无法持续性的产生高质量内容。唯物科技(NextHuman)提供建模(照片建模+捏脸),形象设计(化妆、换装),场景搭建,表情、动作驱动,镜头控制,直播推流的全链路操作体验,实现一个人一台电脑可以完成对超写实数字人的UGC直播输出。并且通过云渲染技术,实现对电脑配置的全覆盖,降低用户投入成本。在模型形变后,通过AI算法,对面部骨骼进行自动绑定;并利用核心算法完成视频和语音驱动骨骼控制器 实现自动建模后,能够为每个人脸自动找到最佳的骨骼绑定方案,减少人力,满足超写实数字人对微表情的高级需要 技术先进性成 效 端云协同思路,实现端上动捕和云上渲染的闭合链路 大幅降低对

111、机器性能的要求,使得绝大部分C端用户都可以上手体验 脸部细节调整发型妆容设计服装造型管理虚拟环境搭建 脸型自动融合镜头自定义 光照自定义表情嘴型驱动动作驱动直播推流PAGE/61解决方案架构优链3D云阵相机人们对互联网的使用日趋依赖和频繁,现实生活大规模向数字世界迁徙,AV、VR、云计算、5G等技术的进步也为数字人和虚拟空间的发展孕育了土壤,真人的数字分身人们可以在虚拟空间中参与体验各种活动。目前创建真人数字分身常见的如手持扫描仪,优势是成本低,但要求被扫描人必须保持几分钟不能动,用户体验有待提升,呈现的模型也不够逼真。单反相机阵列拍摄,优势是人体模型质量高,缺点是成本高、操作复杂。如何能够低

112、成本、快速创建每个人的数字分身,成为行业发展的关键。优链时代推出的商用级3D云阵相机,可以一秒拍摄创建数字分身,最快5分钟自动完成人体 3D 模型重建。再经优链数字分身系统处理,快速输出高质量真人 3D 数字分身及植入式视频。基于人体结构设计相机机位与角度,一次性采集完整人体信息;一键双摄,3D结构信息与色彩信息同时获取,互相辅助计算出高精度人体模型;一键操作、一秒完成拍摄,实现消费级高效率低成本拍摄;自动骨骼绑定技术。基于计算机视觉的人工智能训练,智能识别数字人的骨骼关节点,实现自动化骨骼绑定,进一步降低数字分身肢体动作的成本。模型计算系统与数字分身系统无缝衔接,智能化创建精细通用骨骼系统的

113、3D数字人;真人植入式视频技术。一键将数字分身导入视频模板,生成个人视频。项目创新点应用场景技术先进性精度高:140个普通手机摄像头,最高可达5亿像素,人体点云数据量达到300多万个。成本低:创建1个数字分身,成本只要1百元。建模快:最快5分钟可以完成创建3D人体数字模型。操作易:无需专业培训,全程智能化手机操作,极大提高了效率。拍摄短:人站立在3D云阵相机中间,一秒拍摄。典型产品-数字人生成:杭州优链时代打造快速真人3D数字分身生成工具用户以标准的APOSE进行拍摄640度布局的阵列相机拍摄人体完整表面,并上传数据1对获取的数据自动化模型重建,并生成全彩贴图对APOSE模型自动骨骼绑定,生成

114、3D数字分身234进 入 虚 拟 空间活动应用1通过自动植入视频技术,将数字人渲染成个性视频内容应用1为 各 类 虚 拟空 间 高 效 率低 成 本 提 供真人数字人基于短视频内容,打造以消费者为主角的创意内容,赋能社交、文旅、展陈、广告、艺术等行业或领域PAGE/62典型产品-直播工具:云舶科技公司推动虚拟直播领域3D化普及游戏动漫,虚拟直播,虚拟人,虚拟活动等市场需求越来越大,而高成本高门槛的PGC模式无法构建“人人皆可虚拟”的虚拟世界,数字人的虚拟形象和动作交互两个重要方面需要低门槛的数字化方案,云舶科技打造小K直播工具,降低虚拟直播的门槛。技术领先,无需穿戴动捕设备,使用普通RGB摄像

115、头实时捕捉生成3D动作数据,支持任意视频导入生成动画文件,让动捕门槛急剧降低。效果领先,小K视频动捕效果是由人工智能技术+游戏动画技术融合打造,动捕效果精细,流畅。性能领先,小K视频动捕无需高端显卡支持,普通N卡,A卡,移动端设备都可以运行,性能优越。解决行业问题内置Avatar捏人,拥有脸部、身体、发型等200+自定义模型维度,可自由捏出“千人千面”的3D男女模型,解决传统虚拟形象价格昂贵的问题。研发游戏化交互、大型多人虚拟娱乐等多种互动玩法,丰富虚拟直播交互体验,扶持广大中小虚拟主播提升收益,助力平台开发专属虚拟互动,深化平台品牌。小K美术系统实现二次元、写实等多种风格虚拟人的平台级制作和

116、运营。为虚拟直播、电商带货、UGC短视频和线下互动提供矩阵级服务。先后与腾讯、高通、哔哩哔哩进行合作。虚拟直播产品服务用户超过30万,已有近百名头部虚拟主播使用,并形成用户口碑和自传播。解决行业问题Amira(高通骁龙电竞战士)四禧丸子(哔哩哔哩官方女团)技术架构PAGE/63典型产品-布料实时仿真:凌迪科技Style3D在柔性仿真领域 从引擎到工具到内容全链路为数字人提质增效数字人的服装链路多数按照传统美术流程链路,服装不具备其自身物理属性且虚拟人换装成本高,导致数字人的服装更新频率低、服装造型效果有限且缺乏具有时尚属性的批量化内容供应。凌迪科技Style3D聚焦柔性仿真领域,全链路为数字人

117、提质增效。高真实感的面料物理仿真模型,持续以AI方式提升面料真实感(2022 SIGGRAPH ASIA)高性能GPU求解算法;稳定的多层碰撞算法,支持复杂碰撞场景发表多篇SIGGRAPH论文,受全世界专家认可 联通Unreal Engine、Omniverse等引擎,提升工作流效率提供了万级以上布料实时仿真解决方案,优化了实时仿真领域的布料自碰撞效果和解算效率数字人服装的供应链路与时尚行业接轨,降低数字人服装的制作成本,扩充了数字服装资产丰富度和时尚度提升数字人服装的表现力,优化了多层服装的动态解算效果和制作效率柔性布料仿真模拟引擎布料高真实感渲染引擎实时解算布料仿真SDK核心布料仿真引擎数

118、十万个面辅料素材数万个服装款式廓形数千个数字模特配套资产资产平台布料材质采集硬件、布料物理属性采集硬件面料材质编辑软件、服装3D CAD软件服装在线化协作、编辑、选款工具;服装在线虚拟陈列、展示工具工具产品仿真素材Style3D Studio3D数字化建模设计软件Style3D Fabric面料3D数字化软/硬件及布料仿真数据库下载上传S t y l e 3 D M E T A U E 4/5 实 时 布 料 解 算插 件 S t y l e 3 D C l o u d W e b 3 D 服 装 资 产 平 台 技术先进性成 效PAGE/64典型产品-AI驱动数字人:花脸数字在乡村振兴领域打

119、造AI驱动数字人直播运营服务闭环乡村直播带货面临直播人才短缺、直播场景单一的问题,农产品带货陷入僵局,花脸元乡村振兴AI虚拟直播内置数百款虚拟主播和虚拟场景,帮助各地农产品商家进行虚拟人物直播,可以实现24小时不间断地直播,促进农副产品直播带货发展,赋能乡村振兴发展。技术先进性成 效 乡村开播容易 开播成本低 全国首个乡村振兴虚拟主播 小山宝 直播效果好 直播时间长解决方案架构和流程1、AI交互技术:以交互服务控制平台为载体,综合应用图像、语音等多媒体信息,使数字人能够理解自身所处的环境,表现出符合情境的智能行为。2、NPL智能问答匹配模型:用户提出一个问题,系统将这段文本结合用户设置的问题进

120、行相似度计算,选择最匹配的内容,并给出相应的问题答案。3、神经渲染:神经渲染、形象逼真,动作口型自然真实,智能匹配场景动作。PAGE/65典型产品-视频驱动:聚力维度推动视频驱动发展和普及视频驱动方案架构和流程静态达到影视级别,PBR效果逼真动态精准传达真人的喜怒哀厌,说话口型,动作精准,自由多样有灵魂,有情感,有理解能力1.高级别2.实时驱动数字人可实时驱动可以在元宇宙中呈现活灵活现的人单个数字人成本:万元级普通摄像头,普通衣服轻松易用,人人可用3.普及易用技术先进性采用光学动捕或者惯性动捕等传统方式驱动数字人动作购买动捕设备,同时对场地有一定的要求,极大限制了在C端的使用。聚力维度打造单目

121、摄像头驱动工具:利用三维参数化人脸模型对数字人进行表征,对摄像头拍摄的真人的脸型、表情、头部姿态进行回归,把回归得到的系数重定向到数字人身上,同时配合一些CV检测和识别模型,加强算法对眨眼、视线和整体情绪的捕捉精度,再通过普通的单目摄像头,1:1复制真人表情和肢体动作,让数字人精准、流畅的动起来,适用于C端普通用户使用。输入rgb摄像头实时画面上千个微表情精准还原全身超高精度的捕捉能力手势动作的精准捕捉表情捕捉动作捕捉手势捕捉应用实例PAGE/66典型产品-AI 驱动业务中台:中科深智聚焦AI技术推动数字人更智能在未来的虚拟空间中,以虚拟分身及NPC等形式存在的数字人将数以百亿计。能否做到数字

122、人的千人千面,以便生动支撑各类虚拟数字空间中应用和场景,将决定虚拟数字空间的丰富度和生命力。数字人的千人千面,不单是外形长相的差异,更得依靠与表演和交流需求相匹配的精准变化且多彩生动的动作和表情。中科深智聚焦动作和表情的实时生成引擎研发,并打造业务中台Motionverse,能够为各类元宇宙和数字人业务伙伴赋能。解决方案架构和流程摒弃常见的动作库和表情库方式或者动作表情捕捉,采取深度学习并通过算法实时生成动作和表情,更加生动和精准。输入方式的多样化,兼顾不同应用场景,兼顾传统和未来。输出标准化的SDK,无缝支持各类数字人应用场景和系统集成。Motionverse的核心是动作和表情AI生成器,根

123、据不同输入指令,实时生成动作和表情。由于通过统一的生成器生成动作和表情,非常容易提供便捷的API和SDK。输入指令可以是传统的动作捕捉设备,可以是摄像头,也可以是语音、文本或程序脚本,通过对应的预处理程序,处理成AI生成器可以理解的动作和表情输入指令。技术先进性工作原理PAGE/67典型产品-虚拟空间:超次元打造虚拟空间产品为数字人提供活动场景虚拟活动是虚拟世界的最小化单位。当前除游戏之外的大部分虚拟活动未达预期,没有办法解决沉浸式这个最大痛点。为此超次元研发的虚拟空间活动系统产品Vvorld通过领先的技术、丰富的功能和交互,强娱乐强社交的属性,承办多场沉浸式虚拟活动。虚拟人动作数据交互方式展

124、示唯一实现完整虚拟人动作数据交互唯一实现消费级配置实机运行万人同屏唯一实现程序化网格的自动化运算实现不同表演者异地在虚拟空间内“同台”演出实现数字资产的自动检测分析,大规模降低管理成本实现模型资产的LOD智能化,几何级缩减人力成本(从1人天到1秒),自动均衡虚拟场景内效果和性能,大规模提升同屏人数(保持精度下)技术先进性成 效PAGE/68虚拟偶像线上粉丝见面会中国时装周线上展览万人同屏虚拟演唱会B站全城高能嘉年华产品和应用案例-新型显示PAGE/69典型产品-新型显示:Nreal通过AR眼镜呈现全息数字人智慧导览智慧导览已经成为当下数字人应用中备受瞩目的应用场景,而通过AR眼镜来实现的数字人

125、导览则正成为这一场景的最佳体验方式,Nreal通过精准定位算法及大视场角全息显示,将数字人、数字内容与实景结合在一起,不仅可以为人们游览实体空间带来更沉浸的体验,还可以通过手势、注视、语音等方式与数字人和数字内容进行更具未来感的自然交互。技术优势首款眼镜形态AR头显设备,轻便且可长时间配戴自主研发6DofSLAM及手势识别算法,可支持虚拟内容在实体空间中的精准追踪及自然交互52宽广视场角,双1080p双目显示及实时渲染,逼真呈现全息3D数字人应用成效数字人的3D全息呈现与数字人进行自然交互数字人与实体空间融合基于实景的多种应用与KDDI合作日本科学未来馆中庭导览与拟仁科技、EasyAR合作智慧

126、展厅导览全息数字人导览应用场景框架PAGE/70典型产品-新型显示:臻像公司在数字人领域实现光场显示、光场内容制作与交互方案现有的数字人以AR/MR/VR等头戴式显示设备或平面显示器为主要载体进行显示,前者无法支持多人多角度裸眼同时观看,后者会丢失三维信息。臻像研发的真三维光场显示器可以最大程度地提高共同空间感和视觉保真度,真实再现三维图像,满足多人同时多角度裸眼观看,是目前数字人三维再现的最佳方案。另外,臻像还研发了光场数字人制作与交互平台,可以兼容市场上常见的数字人引擎,保障光场数字人视频的高效快速生成,以及观众与数字人的实时交互。世界领先的光场显示技术,视角100度以上,解决传统3D显示

127、人眼眩晕问题光场高质量渲染 与 实时交互技术实现大视角范围内逼真再现三维数字人,支持多人多视角裸眼观看实现数字人3D显示内容的快速生成,满足3D数字人实时交互光场内容全链条打通光场内容3D建模多视点采集多视点编码3D显示正中心观看左侧50度观看右侧50度观看100度范围内不同位置观看到3D数字人不同角度画面,逼真自然,如同面对面交谈光场显示人眼观看真实世界光场再现真实世界人眼之所以可以感受真实世界的三维物体,是因为接收到物体表面每个点发出的光场分布(颜色、光强、方向信息)。臻像通过研发高精度的控光系统,可以在空间中重构出3D物体的光场分布,人眼在观看屏幕时就可以看到和原始物体一模一样的3D图像

128、。技术先进性成 效本方案中数字人以UE公司为demo示例PAGE/71典型产品-新型显示:一隅千象打造全沉浸式裸眼“数字人交互”一隅千象(ArchiFiction)致力于研究全沉浸式裸眼混合现实技术,在有限物理空间植入虚拟世界,完成真实空间虚拟再造,无任何穿戴设备下实现裸眼混合现实交互。历时三年自主研发完成的nSpace产品在硬件上集成了机器视觉矩阵、光学投影矩阵、图像融合等模块,软件上对游戏引擎进行二次开发并开发完成带有自研空间图像算法的客户端。形成了自主研发的AI驱动三维一体(内容+算法+硬设)混合现实技术解决方案,可为各行业定制裸眼360沉浸式数字化空间。现已完成数据集建立,可实现全空间

129、人体骨骼体姿态识别与跟踪。可开放骨骼SDK为数字人提供动作骨骼,实现体验者与数字人的交互。解决行业痛点:1、高端客户可不戴头盔、眼镜等穿戴类辅助设备,裸眼3D沉浸式体验与交互;2、跨区域协同展览展示;3、可长时间观看,没有头痛眩晕或眼睛疲劳等症状;4、复杂系统工程高度集成,整套设备一体化输出;5、可多地重复使用。5大技术模块 12项技术难点 30项专利 构筑研发壁垒8.5K分辨率超高清画面覆盖实现自由视角,场随人动实现数字人多样式交互无穿戴体验,摆脱外设束缚有限空间,无限可能.空间几何补偿算法(人眼欺骗+自由视角)3D空间定位人体姿态识别多边形融合矩阵核心技术难点举例nSpace硬件设备等基础

130、设施技术先进性1:1全沉浸一键切换1:1全沉浸一键切换成 效PAGE/72产品和应用案例-解决方案PAGE/73现实世界真人形象的虚拟化建模存在着建模成本高、周期长的痛点,呦呦科技通过其自研AI算法实现了只需上传一张照片即可实现虚拟数字人的建模,而腾讯云澎湃的GPU算力为其海量C端用户的规模化生成数字人形象业务提供了重要支撑,降低了数字人形象生成门槛。同时采用了场景分包+CDN+COS方案加速小程序端应用包的下载更新,解决就近访问性能和高并发负载问题。云原生基础设施智能层渲染层计算、存储、网络、数据库、CDN、大数据、云通信、安全、视频点播、视频直播音频数据采集低延时音视频TRTC应用场景服务

131、助手数字营销3D 营业厅会展主持企业培训数字人主播数字员工2D/3D数据采集自动/半自动数据标注生成模型联合训练推理运算AI处理计算,联合训练2D/3D建模AI实时驱动语音增强图像增强模型参数生成实时渲染超分辨率AI降噪2D/3D计算,语音、图像增强资源调度体系应用资产管理UE/Unity等3D应用SaaS层播报数智人交互数智人手语数智人直播数智人在IaaS层,腾讯云拥有覆盖全球的基础设施和丰富的云产品,为企业提供了有力的技术支持;在PaaS层,腾讯云在云渲染、云智能等方面发力,依托在大数据、AI、音视频的技术积累,提供云端渲染、AI处理计算,联合计算、2D/3D计算、语音和图像增强等方面服务

132、;在SaaS层,针对传媒、金融、文旅、会展等行业需求,提供数字人服务,加速企业数字化转型。基于实时高保真数字人技术,纳视开发了一整套集成了原画设计、智能建模、智能绑定和灯光渲染等全流程的制作方案;基于3A标准的动捕动画生产管线,能够娴熟地制作出各类虚拟人,并且不断地进行标准化复制。腾讯云提供AI换脸解决方案,帮助其在既有虚拟人人的基础上,在不改变大驱动前提下快速生产个性化、客制化的虚拟人形象。同时,通过实时转换,保障直播场景下的数字人也能使用个性化的人脸。呦呦科技采用AIGC思想,通过人脸生成不同风格的卡通头像,再采用图像动画算法,最后做了一个人脸高清晰化。解决方案-腾讯云为行业应用提供数字人

133、整体解决方案腾讯云整体解决方案PAGE/74解决方案-中之人驱动直播:世优(北京)科技有限公司在电商直播领域进行品牌宣传+直播带货随着直播行业进入到一个相对成熟的阶段,对行业变革趋势需求更加旺盛。越来越多的品牌将目光转向虚拟直播,企图在电商营销直播的困境中寻找一条新的出路。世优科技打造中之人驱动的数字人虚拟直播全栈技术方案,提供品牌宣传的新体验。世优科技利用动作捕捉技术,为数字人提供实时身体动作捕捉。手部和面部的精准捕捉则让数字人的动作和表情更为细腻,呈现出更为丰富的表现力。实现沉浸式的AR虚拟场景,打破虚实边界;MR混合现实;亚像素级实时抠像,影视级线上直播。技术先进性虚拟人直播现场解决方案

134、和流程世优科技为海信京东超级品牌日虚拟直播提供全栈虚拟技术支持:“虚拟人+真人+虚拟场景+AR技术特效”直播改变了传统的真人直播模式,虚拟人、虚拟场景、AR特效技术手段的综合应用,让品牌产品优势更加突显,刷新了品牌方新老用户对平台、品牌的认识,构建起一种全新的营销生态,虚拟直播将成为常态化营销的核心渠道与品牌店铺运营的必要手段。成 效PAGE/75解决方案-超写实数字人制作:本壹数娱利用光场技术加速超写实虚拟人制作流程本壹虚拟人秉承定制化与模块化并行的研制路径,全流程环节完全可拆解,与多家企业单位达成技术共研与应用实验合作,集成并运营包括人体扫描、动捕硬软件、AI智能驱动在内的多项专利技术,专

135、注于服务平台型与企业型客户的各类需求。集成多方技术优势,整合影眸科技Deemos专研穹顶【光场扫描技术】,保证毛孔级高精度虚拟人制作质量;整合VICON独家代理迪生数娱旗下幻威HVC自研光惯动捕技术,域动科技内测中单目无设备动捕技术保证虚拟人驱动;整合全球首个【数字时尚基础设施】独角兽公司凌迪Style3D,世界领先的超写实布料仿真引擎,助力服装服饰类企业的研发,协同,展销,生产全链路数字化。自研B-Side双拓扑技术可更高效精准地完成模型制作 自研Mercury绑定技术在后期修正中使虚拟人更准确高效地完成指定动作 通过影眸科技Deemos专研穹顶【光场扫描技术】,保证毛孔级高精度虚拟人制作质

136、量本壹虚拟人涵盖二次元,美型,写实,超写实等不同风格技术先进性解决行业问题采用Deemos穹顶光场扫描技术,精准扫描28个基本表情并拓扑延展出完全符合真人面部表情动力的52个Blendshape表情;将穹顶光场扫描的数以万计的人脸 FACS 表情 PBR 材质进行建库,使用深度学习方法完成了对皮肤表面 PBR 材质皱纹、血流效果的解耦与建模,在低性能开销下实现对低面模型的动态纹理模拟,进一步提升数字人的真实度。PAGE/76解决方案-高品质数字人制作及直播:数字王国集团虚谷未来科技(北京)有限公司高品质数字人全流程应用随着数字人在各行各业的场景落地,高品质数字人成为各企业比拼要点。虚谷未来科技

137、多年深耕数字人领域,打造了高品质制作及直播全栈式解决方案,打开高品质数字人低成本应用的新方式,全面拓展了数字人应用场景。打造了行业天花板级的数字人数字邓丽君,她的不仅外形高度还原邓丽君,更是如实还原了她的神态气韵、一颦一笑。2022年数字邓丽君惊艳亮相江苏卫视跨年晚会,引发全网讨论,成为影响力最大、话题度最高的。数字邓丽君多次登上央视节目,感动无数观众,开创了创新应用新典范。数字邓丽君全息音乐会多次落地浙江、重庆、江西、河北、海南、台湾等各文旅景区,成为数字文旅标杆案例。高品质数字人制作:以好莱坞顶级技术,创造无限逼真的高精度、高灵动性、实时渲染、实时互动的电影级数字角色。高品质实时直播:通过

138、自研直播系统实时驱动、实时渲染高品质,并实时输出画面推流,实现了高精度数字人的轻便式、实时数字直播。单摄像头面部捕捉技术:通过自研的面部实时捕捉系统,实现了仅一部手机就可以实时驱动面部表情,且精细追踪到眼球动态。高品质实时直播系统:以Momentum核心技术自开发实时动捕驱动型系统,可实现高精度的高灵活性肢体动作渲染、流畅的布料实时解算,达到即时动态内容输出、实时交互的效果。轻便式数字直播解决方案:使用自研面捕及实时直播系统,仅需一台电脑、一部手机、一位技术工作人员即可实现随时随地自由开播。解决方案和流程技术先进性成 效PAGE/77产品和应用案例-行业应用PAGE/78行业应用-金融:腾讯云

139、智能数智人企业服务(1/2)腾讯云智能与腾讯智影平台联合提出资管智慧开户服务解决方案,使单向开户拥有“双向开户“体验1.“数智员工”7*24h进行流程引导,帮助客户高效完成开户;2.区别于传统的虚拟员工,腾讯云智能提供的2D真人类型的“数智员工”,形象真实自然,无限接近真人,能够实现“面对面”、有温度的服务形象逼真:2D真人定制形象,高度还原模特的表情、动作,给用户一种与真人服务无差异的体验。交互流畅:腾讯云智能技术,图像生成首帧延时低于600ms,确保数智人与用户沟通流畅。接入便捷:支持多种接入模式,方便客户。场景适配:解决开户服务场景的痛点,促进业务正常运转。使单向开户拥有“双向开户”体验

140、。1.使用“数智员工”进行流程引导,帮助客户7*24h完成开户,扩充服务时间,缩短等待时长。2.区别于传统的单向见证服务,腾讯云智能提供的“数智员工”形象真实自然,肉眼几乎无法辨别,实现“面对面”、有温度的服务。3.智慧化服务:专业引导、流畅交流、轻松开户。开户场景是券商获客的第一道门槛,真人服务成本高、效率低、客户等待时间长,但单向开户缺乏有温度的人性化服务,无法建立企业与客户的信赖,开户转化率低,无法有效实现数字化转型。成 效技术先进性资管智慧开户服务解决方案PAGE/79实例行业应用-金融:腾讯云智能数智人企业服务(2/2)资管智慧内容生产解决方案腾讯云智能与腾讯智影平台联合提出资管智慧

141、内容生产方案,将数字人与短视频生产能力结合,实现将数字人打造为券商专业形象代言人、品牌宣推官,为公司做产品介绍、营销宣传、资讯播报、虚拟投顾、投资者教育;使用便捷的数字人视频制作管理平台,可以结合音频、视频、动画、图表等多种富媒体素材,实现制作由数字人进行投资者教育、产品介绍、品牌宣传等各类视频;通过使用自动化视频生产模板,可以实现动态数据对接,自动化批量快速制作数字人视频,比如基金介绍、财报解读等。自动生产:通过将真人主播定制成数字人形象,实现AI驱动数字人主播,每日视频资讯生产方式升级为自动化生产。操作便捷:只需将文本给到数字人,即可快速生成相应资讯视频。专题运营:在客户APP端投放应用,

142、第一时间将资讯分享出来。1、提升视频生产效率:由原来“天”级别生产视频效率提升至“分钟”级别制作视频,大大提升视频生产效率。2、降低视频生产成本:节省了真人主播的成本、专业设备、场地成本和后期剪辑等成本。3、满足客户视频需求:无异于真人的资讯视频内容,满足客户获取主播资讯视频内容的需求。对于券商平台而言,资讯服务已经成为了服务用户的必备项,传统模式下的图文内容不够生动活泼,当前视频内容传播已成为发展趋势;传统的短视频制作周期长、费用成本高,已无法满足时效性要求较强的资讯类短视频以及需求量较大的投教类、产品类短视频的推广需求。成 效技术先进性PAGE/80实例行业应用-传媒行业:腾讯云智能数智人

143、企业服务(1/2)媒体虚拟主播解决方案通过AI文本驱动数字人技术,传媒新闻播报的主持人,可以通过AI算法克隆出和真人无差异的虚拟主播形象。新闻播报的视频内容,使用者可以输入文本,后端调用算法驱动,即可快速生成虚拟主播的视频课件,从而降低生产成本,提供内容宣传的时效性。根据媒体需求,分别提供2D虚拟主播和3D虚拟主播:1.2D虚拟主播,主要应用于主播位置及姿态偏固定的新闻播报场景。2.3D虚拟主播,应用于对动作丰富度和灵活性要求较高的场景。拟人技术:克隆和真人主持人无差异的虚拟主播,通过文本驱动实现拟人化的多模态表达,包括:丰富的情感和动作。语种方言:除普通话之外,技术还支持多语种、多方言,已在

144、行业侧率先落地俄罗斯、四川话、东北话、天津话等。交付成熟:腾讯已有传媒行业首发、多语种主播首发、手语主播首发等标杆成绩,目前已与央媒和多家地方媒体合作,完成落地上线。2D虚拟主播上线后:(1)相比传统的适配内容制作,AI虚拟主播可以短时间内生成大量内容视频,适用于突发事件的实时响应,短视频快速生成。(2)生成的视频质量逼真、自然,可以比拟传统视频效果。(3)输入文字内容即可生成视频,大大降低了视频的制作成本,审核成本和修改成本,降低了视频内容制作的准入门槛。3D虚拟主播上线后:(1)3D虚拟主播,动作更加丰富、灵活,形象效果可以长期保持完美状态。(2)面对突发或重大事件报道时,能够高时效的产出

145、新闻视频。数字化传播需求广泛,但专业领域的主播需求,仍存在短缺的情况,以往的真人主播完成播报内容,不仅需要备稿、化妆,还需要专业场地进行拍摄,过程较为复杂,可能会影响新闻时效性。成 效技术先进性实 例N视频虚拟主播小NPAGE/81行业应用-传媒行业:腾讯云智能数智人企业服务(2/2)媒体手语数字人解决方案腾讯云智能与腾讯智影平台联合提出媒体手语数字人解决方案,打造首个聋人真正可懂的手语数字人,手语表达能力接近真人手语主播。语言体系准确翻译:将健听人语言准确翻译转化为聋人语言。面部表情唇动逼真:手语为画面语言,结合面部表情及唇动,可以更好的理解手语。手语动作连贯自然:手语词能够准确表达,不同手

146、语词之间可以顺畅过渡。新词热词快速适配:能够快速补充新词热词并上线,无需重复录制。科技向善:在新媒体产品及技术上勇于创新,敢于开拓,注重实践的科技助残的公益理念和科技理念。技术升级:关注残疾听障人士群体的需求,身体力行的通过人工智能等前沿高科技手段。关注残疾听障人士群体的需求,身体力行的通过人工智能等前沿高科技手段,在新媒体产品及技术上勇于创新,敢于开拓,注重实践的科技助残的公益理念和科技理念。(1)3D虚拟主播,动作更加丰富、灵活,形象效果可以长期保持完美状态。(2)学习了手语技能,配合手部动作、面部表情、唇语配合,为听障人士服务,解决了目前手语老师仍紧缺的问题。(3)3D写实手语数智人聆语

147、是腾讯云智能数智人的一员,是首位服务于国际奥运级别直播赛事的数字人。(4)面对突发或重大事件报道时,能够高时效的产出手语新闻。国际冰雪赛事:手语数智人上线一周内,主动发布新闻稿件,深度采访解读等内容,共计1059篇,覆盖光明网、央广、学习强国等权威媒体,财经、澎湃、雷锋网、机器之心等经济和科技各类媒体,及腾讯系公众号矩阵。核心传递信息:央视频手语数智人的技术能力,助力提升听障人士观赛体验,创造信息无障碍环境的科技责任。传统手语解说可懂度不到60%,不同手语老师翻译的手语可能会包含不同的语义;现有手语解说的表情、口动不够明显,且窗口较小,导致非手控信息无法看清,严重影响了听障人群的理解。成 效技

148、术先进性实 例PAGE/82行业应用-文旅行业:腾讯云智能数智人生活服务(1/2)文旅IP代言人解决方案文旅IP需要有极强的辨识度,具有旅游目的地独特的特性,同时又要充分吸收地域特色文化,因此虚拟数字人需要有立体化的人物塑造,即代表着当地的标志性产品,形成当地独特的品牌标识,让游客在心中形成该形象代表着该区域,甚至于形成长期记忆。虚拟数字人IP与品牌和企业的联合具有无限潜力。虚拟IP形象拥有与品牌整体统一的风格、且不会人设崩塌,降低了品牌运营风险,以及天然地受年轻人喜爱,为品牌注入鲜活的生命力,实现品牌年轻化。虚拟数字人的这些优势扩大了品牌营销创意的边界,在多方面为品牌赋能。近似真人:采用三维

149、建模技术自我学习:通过交互智能技术,拥有超强的自学习、自适应能力,不断更新、丰富知识库,提升互动技能。生动灵活:通过骨骼绑定、布料毛发等技术,拥有生动的表情与灵活的动作。宣传大使:活泼的少女形象,拉动用户之间的关系,将国博文化带给更多参观者。数智人“艾雯雯”是国博与腾讯开展的“文化+科技”深度合作项目之一,培育文化产品数字化传播方面新的探索,7月公开发布后,通过系列传播,以文字、视频多种传播方式扩大数智人”艾雯雯“影响力,受到行业内广泛关注和好评。通过其拥有的超强自学习、自适应能力,不断更新、丰富知识库,将在收藏、研究、展示、对外交流等方面,通过虚拟现实相结合的方式,更好的服务文博观众,带来全

150、新的博物馆观展体验,打通数字化与传统文化场所的多元结合。在中国国家博物馆创建110周年之际,腾讯与国博联合推出首个数智人“艾雯雯”,开启了国家博物馆“上云用数赋智”新的打开方式,通过不断丰富博物馆的体验,助力文博产业的创新,使其发挥出更大的社会价值。目前文旅行业的品牌识别度不高,且同质化严重,旅游项目单一,较难为喜欢旅游的人群展示地方价值,如何为用户呈现文旅特色、增加运营宣传,是行业中较为困难的一个方向。成 效技术先进性实 例【人物档案】姓名:艾雯雯性别:女出生日期:2000年5月4日籍贯:国博木偶剧场出生地:广东省身高:168厘米爱好:读书、书法、唱歌、古琴、羽毛球幸运文物:海晏河清尊PAG

151、E/83行业应用-文旅行业:腾讯云智能数智人生活服务(2/2)智能陪伴式客服,提供自助导游导览服务,解决景区服务接待受限问题,降低人工服务成本。1.景区导览:“景区活地图”为游客提供随叫随到的导览帮助。2.服务问答:“景区百事通”为游客有问必答提供服务咨询。3.景区讲解:“智能讲解员”为游客提供专业全面的语言讲解。4.趣味闲聊:“陪聊达人”为游客提供具有景区特色的趣味对话。播报自然:语音合成播报,节省语音录制费用;音色多样化、可定制,主观听感业内领先。服务专业:景区定制知识库,回答游客更准确。知识全面:亿级知识库,基于腾讯自有知识图谱,包括但不限于影视、人物、地理、天文、历史等多个领域,回答用

152、户多样化问题。方便快捷、更权威的文化百科数字人旅游助手,可结合地图导览、知识图谱、数智人等提升游客服务体验。以小程序为触点,围绕全域旅游全域服务,针对游客在景区游览中的高频问询需求自助问答,为游客提供全面的自助导游导览服务,包括:服务查询、景区讲解、在线购票、智能推荐。解决景区服务接待受限问题,降低人工服务成本。游故宫小程序,覆盖游玩故宫路线、票务、讲解等各项游览服务,累计服务游客超百万,满意度95%以上。传统讲解服务主要面临“优质讲解员稀缺、语音导览缺少温度、新一代年轻客群”等问题,受互联网环境影响,用户更倾向通过手机驱动获取文物知识,自助式导览越来越受欢迎。成 效技术先进性实 例文旅AI智

153、能讲解员解决方案PAGE/84行业应用-云展厅:腾讯云智能数智人全真互联服务线上云展厅单独开辟一个C位区域用于新车上市发布,车企只需要将云展厅推给意向客户,客户登录展厅后,可以很便捷地看到上市新车,观看新车发布会的同时,可以进入云展厅自由体验,有了虚拟品牌官的引导,用户 可以更“身临其境”全面直观地地了解车辆性能配置和购车政策,极大缩短了从新车“认识-理解-好感-购买”的购车链路。在提升车企新品上市发布会的费效比的同时,虚拟品牌官与用户的互动,更具温度、提升用户的服务体验。首个基于汽车行业语料驱动的虚拟数智人把汽车行业语料与虚拟数智人结合,通过品牌虚拟数智人在游戏化场景中与用户互动,将人工智能

154、以及品牌虚拟数智人技术相结合,为智能会话赋予了更大的场景价值。更加有人气的车企云展厅让数智人带着用户逛展厅,随时随地给用户解答问题,时不时展厅里也会有一些趣味福利活动,如在展厅里寻找盲盒,提高用户的参与度。目前,实体店铺到达成本高、客户群体年轻化,很多企业开始尝试线上促销,但是线上的维护成本大,较难保障真人客服24小时在线,导致企业与用户的沟通受限。成 效专属虚拟人支持定制化专属形象、服饰。虚拟人AI驱动根据语料驱动面部表情、肢体动作、增加专业介 绍动作、知识学习。展厅互动广告牌、新手指引、留资提示、车型亮点讲解,探索任务、签到。实 例AI数智人与用户实时线上互动,实现营销效率与品牌好感的双向

155、提升。云展厅里的Ida(虚拟数字人)对标线下经销商金牌销售,她是全智能的人形化身,不仅声音甜美有亲和力,而且从语言到肢体动作处处体现超强本领。作为穿梭于虚拟世界与现实世界的一汽-大众虚拟形象代言人,Ida更是一位聪慧伶俐的汽车达人。依托于全面丰富的语料知识库积累,对于线上用户的任何问题都可以对答如流,沉着冷静、全面专业。另外,除了展厅功能和车型问询以外,在展厅里运用还可以随时随机呼唤Ida,生活百科娱乐闲聊无所不能。技术先进性线上云展厅解决方案数智人个性展厅欢迎语唤醒数智人数智人与客户交流看车引导漫游虚拟展厅车型亮点外观内饰配置参数数智人交流亮点讲解多轮问答对比车型对比款式对比价格使用功能空间

156、大小坐车体验数智人讲车自然语言识别7*24h 解答看看听听选选试试问问PAGE/85行业应用-科教:腾讯NExT Studios与新华社合作数字航天员小诤,开展航天播报创建数字航天员小诤人物角色,制作一段高品质的技术展示视频。小诤是新华社和腾讯NExT Studios工作室联合打造的数字人,也是第一位进入太空采访的“记者”。小诤帮助科普我国深空探测、载人航天工程。她的加入带来了前所未有的“临场感”,为航天重大项目的传播贡献了重要力量,同时也是主流价值观的虚拟偶像。作为主流价值观虚拟数字偶像,小诤在中国空间站、深空探测、北京冬奥等一系列新时代中国发展的标志性事件中亮相,以新闻报道和科学传播的形式

157、实现新华社记者“全时空在场”。其境内外融媒体产品累计曝光量近20亿次,并登上纽约时报广场大屏传播北京冬奥,成为连接当代中国与全球年轻一代的桥梁。成 效小诤的皮肤充满细节,有10万根发丝,143根骨骼,脸由5千多个微表情驱动NExT Studios 基于自研的xFaceBuilder 数字角色生产管线,从身体、头发、服装、配饰等精细建模,到人脸绑定、动画制作,最终利用NExT自研的xMoCap 3A级动捕动画全流程管线,给小诤赋予了生命。在小诤的“火星之旅”中,NExT制作团队真实还原了航天服、火星车、云层及闪电等场景特效,重点攻关了五面屏沉浸式展示技术难点。联合NExT音频团队运用杜比全景声技

158、术(Dolby Atmos),特别制作了360度环绕的空间场景声(Spatial Audio),呈现出纤毫毕现、丰富活跃、更具真实感和沉浸感的火星地表。技术先进性主要使用场景解决方案基于新华社“新立方”五面屏演播室 制作一段高沉浸度的火星场景体验视频 高精度还原火星地貌、自然现象 展现最新图形图像技术。沉浸式脚本设计 五面屏技术 UE5新特性 空间音频技术 舱外航天服 火星车 火星气象特效助力2022年冬奥会,参加中国算力大会。直播管线 直播环境制作 实时布料模拟 动捕场地搭建 实时动捕驱动 实时Solver训练 直播脚本准备 第一阶段第二阶段第三阶段PAGE/86航天科普传播声临其境的超写实

159、火星地表小诤在火星助力冬奥表小诤“空降”中国算力大会 小诤角色开发 人设、扫描、建模 中立脸、发型 舱内工作服 展示片动画 渲染出片 行业应用-泛娱:腾讯NExT Studios自研腾讯公司高级副总裁马晓轶数字孪生Digital Steven随着科技的高速发展,游戏正在成为一种“超级数字场景”。游戏技术是“超级数字场景”的底盘,在此之上,它既可以是目前大家看到的游戏产品,也可以是打破现有理解和形态的创新应用,还可以是某个具体社会命题的一个解决方案。需要打破对游戏的既有认知,更开放地去思考游戏技术的可能性。NExT Studios为“SPARK 2022”腾讯游戏发布会自研了腾讯公司高级副总裁马

160、晓轶Steven的“高保真数字人”。数字人Steven在发布会上亮相,阐述游戏技术可以赋能更多未来数字技术。呈现了数字人在发布会场景的应用可能,以更加开放的认知呈现游戏这个“超级数字场景”所带来的更多内容体验、更多新技术与新形态、更丰富的社会价值与应用场景。主要使用场景技术先进性成 效解决方案皮肤毛孔级仿真:模拟光线照射在皮肤进行的漫反射、镜面反射、透视,皮肤绒毛制作,细致入微;服饰毫米级制作:不仅毫米级还原出衣服形态,也还原真实动作下的褶皱布料状态,进行布料解算;表情个性化还原:通过NExT自研的xFaceBuilder 数字角色制作管线,制作团队完成了700余个表情制作;从形似到神似:制作

161、全环节使用LookDev纠偏,以海量照片和视频为基础制作人物代表性小动作、微表情;虚实结合制作:把虚拟人物融入到真实环境,细腻灯光渲染及校正。动作捕捉以及动画制作模型扫描制作xFaceBuilder脸部以及毛发绑定xMoCap身体绑定材质制作CFX角色特效灯光制作渲染PAGE/87行业应用-泛娱:XNOX工作室打造虚拟偶像男团外来人员WL.S 人设:三位风格各异的偶像型男生,童和光热情阳光,苏怠毒舌潮酷,白术温柔绅士 运营策略:以三人互动日常生活为主,穿插高品质的各类音乐舞蹈、综艺剧集等作品,打造真正意义的虚拟“偶像”在女性向虚拟偶像赛道独树一帜全网视频播放量1.1亿全网粉丝150W+由NEx

162、T Studios 打造的专业数字人技术解决方案写实风格,无缝融合现实,支持AR、VR表现顶级科幻世界观故事MV系列作品轻松日常搞笑短视频,打造人设与互动形象打造女性粉丝男性粉丝男性20.8%女性79.2%0070800-1617-25 26-40 40以上粉丝年龄分布 粉丝性别占比 粉丝年龄占比外形、能力快速提升粉丝参与性格塑造,决定人物成长方向,全身心持久投入-回馈无中之人概念,永不塌房登上央视、B站综艺等大舞台,逐步解锁养成成就养成型偶像PAGE/88行业应用-泛娱:腾讯基于全球T0级别虚拟直播技术方案,打造虚拟偶像星瞳(1/2)虚拟偶像是通过绘画、音乐、动画、CG

163、等形式制作,在互联网、VR等虚拟场景或现实场景进行演艺活动,但本身并不以实体形式存在的人物形象,为Z世代用户所喜爱。腾讯通过打造时尚IP,吸引年轻粉丝,让数字人星瞳成为“虚拟偶像”。星瞳于2018年出道,是国内首个时尚虚拟偶像,QQ炫舞系列游戏代言人,同时也是一位虚拟主播。星瞳自2021年7月开始在B站进行虚拟直播,历时1年,B站粉丝量从3万增长到40万,增长率达1300%。定 位与年轻潮流用户建立情感链接传递正能量价值观与表达舞蹈魅力所在 2020全球时尚IP榜虚拟IP TOP4 in China 受邀参加上海时装周、ASH FW20 时装秀、Fashion Zoo2020时尚嘉年华 特约时

164、髦体验官、Voguebusiness 沙龙 2022公认技术力最强的虚拟偶像 全网粉丝量100W+星瞳潮流时尚的IP形象B站粉丝量:42.6万微博粉丝量:70.3万单条视频最高播放量:368万单场直播热度峰值:578万单条内容粉丝阅读量:20万带动品牌微博热度增长:6773%特 长舞蹈为核心,主打韩舞,具备配音、唱歌等多元能力能 力腾讯技术加持下,最趋向于真实的虚拟偶像使 命为弘扬正向的价值观和传承优秀文化而努力PAGE/89行业应用-泛娱:腾讯基于全球T0级别虚拟直播技术方案,打造虚拟偶像星瞳(2/2)游戏体验级别的顶尖视觉表演舞台表现力通过科技带来的视觉表现超越真人舞台表演舞文化传播深挖舞

165、蹈精神内核,传播舞文化直播互动真正意义上实现与用户即时互动的超现实偶像虚拟直播 新晋当红虚拟偶像精美视觉高精模型、场景、特效等,打造国内顶尖直播视觉效果丰富内容综艺、舞蹈、游戏、杂谈等多元化内容,直播效果拉满高质量批量制作基于直播能力产出高质量、高效率、低成本的批量视频 定位:时尚虚拟偶像;虚拟人舞蹈顶流 性格:可爱又拽的阳光少女,擅长舞蹈、时尚穿搭顶尖技术力国内首个使用UE引擎进行实时直播的3D虚拟偶像 粉丝粘性极强 “时尚感&舞蹈力&技术力”成为粉丝“必杀技”97%80%100%粉丝粘性活粉比例97%以上,每周花2小时以上观看实时直播的粉丝超60%,星瞳周直播总时长约3小时互动粉丝活跃粉丝

166、全部粉丝PAGE/90行业应用-泛娱:快手数字人探索数字人虚拟直播市场,推动生态发展(1/2)快手虚拟直播技术方案:主播(中之人)通过捕捉与渲染等技术,驱动虚拟形象进行直播 虚拟直播在撬动秀场直播的增量市场,消费侧带来的营收呈现增量态势,秀场直播已是千亿市场 快手将探索秀场直播增量市场,做大虚拟直播声量,撬动虚拟行业生态的发展老板娘夏至孤俑者狐璃璃机灵小熊猫海量模型资产平台补贴,近百个百万制作费成品IP模型虚位待播,无需定制、无需等待丰富主播资源10+S级中之人公会专业培训、海量输送软硬件服务全套软硬件解决方案针对性服务,各色价位、各种模式灵活组合平台流量与现金扶持v-star计划PAGE/9

167、1行业应用-泛娱:快手数字人探索数字人虚拟直播市场,推动生态发展(2/2)人设:快手虚拟主播top1、率直、敢爱敢恨、夹子音、用最可爱的声音说最狠的话 以短视频吸引粉丝关注,直播作为核心内容提升粉丝粘性 效果:出道60天,粉丝数200w+单条短视频最高点赞60w+直播同时最高在线16w 单场付费人数1w+虚拟人双面小狐狸狐璃璃红包封面&壁纸8/3上架秒空通过爆款短视频+大V联动孵化流量,直播打赏变现65.53%5.68%14.80%5.81%8.17%0.00%10.00%20.00%30.00%40.00%50.00%60.00%70.00%=50岁30岁以下占比71.21%观众性别比例及年

168、龄占比性别-男性别-女男女比例接近1:1海量模型资产养成感:加强情感连接,带来拥有感打破次元壁的互动:烘托直播氛围,提升观众参与感更加沉浸的消费体验PAGE/92行业应用-影视:数字栩生携手蔚领时代打造中国第一个高逼真数字演员“春草”蔚领时代发布中国首款电影级云原生游戏春草传,衍生数字人“春草”作为中国第一个数字演员,在与导演试戏的五分钟里,对于导演给出的喜怒哀乐命题,均能够进行精细化的情绪表达。当前市面上多数虚拟人都是由离线渲染技术制作,不具备实时互动的能力,常常会流于平面化,同时,离线渲染能力的制作周期也比较长,生产效率较低。数字栩生利用实时渲染,助力蔚领时代打造了中国第一个高逼真数字演员

169、“春草”。流畅的表演,电影级别的试听效果,为玩家带来沉浸式的互动体验;完美契合了春草传作为一部纯云原生游戏的制作理念,在游戏与电影的商业化领域彰显了其技术强度与艺术价值;“春草”的诞生也弥补了数字演员在虚拟数字人领域的空缺,丰富了虚拟经济产品的序列,也给数字人的发展提供了新的行业思路。成效解决方案 数字栩生为蔚领时代旗下的游戏制作团队提供全方面的技术支持和动作捕捉全流程支持。动态捕捉技术针对模型资产进行了整体优化以及全身动态绑定根据背景故事与人物性格针对面部表情做了个性化调试实时渲染技术丰富生动的表情实现了在UE5中的实时化渲染效果让“春草”的身体、表情、毛发都非常的真实交互更自然形象更生动P

170、AGE/93行业应用-影视:北京海百川科技有限公司在数字人领域全流程布局数字人产业链包含上游的内容IP生产、工具,到产业链中游的数字人生产制造商、互联网技术厂商,再到产业链下游的平台、MCN、娱行业乐公司及企业用户。存在全产业链涉及的范围广、成本高、技术要求高、受众面相对较窄等痛点。海百川整合上下游资源,打造自主IP,将自主虚拟形象的数字人应用于影视、广告和直播等场景,为客户带来流量和关注。技术先进性实时驱动虚拟数字人形象,生成超写实的虚拟数字人形象,效果可达到影视级的视觉标准。建模外形超写实、高保真,他们不仅在形象上与真人相似度极高,行为上也愈发贴近真人。虚拟数字人的智能化程度,还是动作的流

171、畅自然程度都大幅上升。成 效便捷、高效、成本更低高精度的数字人。通过运营一个数字IP,实现网络形象展示、社交互动、内容传播等营销价值。解决了传统方式打造虚拟IP效果不理想、成本偏高、缺少支撑平台等难题。虚拟形象:虎妞会超高精建模:虎妞“黎鹿”自有IHuman可视化软件会形象IP设计制作“黎鹿”影视、广告及直播应用场景“黎鹿”应用案例解决方案和流程PAGE/94行业应用-市场营销:杭州纳视文化创意公司在数字人营销传播领域造人、育人、用人数字人在营销应用中发挥重要作用,然而对于数字人高昂的造人客单价及后续如何应用和运营成为普遍的难点。纳视基于多年的CG技术能力、MCN运营及虚拟偶像运营能力,提供了

172、一条从造人、育人到用人的数字人解决方案。从内容到营销,到落地的数字人AI应用及日常内容产出提供了一套落地解决方案。技术先进性数字人造人上基于UE5进行,在内容上基于数字人短片与腾讯云合作进行真人视频+AI换头的技术应用,节省制作周期及成本。AI应用上与浙大研究院进行合作,通过智慧大脑的应用结合纳视自身的数字人动作库及表情库,完成AI数字员工的落地化应用。平台宣发上,纳视2022年参与Bilibili虚拟人影响力专区招标并成功成为虚拟人影响力营销供应商,在平台玩法与虚拟人孵化上有独到的方法论。成 效数字人定制化成本降低。UE5技术与摄像头驱动动捕技术的优化,实现了摄像头对数字人的实时驱动,节省了

173、穿戴设备的采买成本。虚拟人营销的成功经验为品牌的虚拟人推广及破圈提供了解决方案。万同集团虚拟空间618战略发布会第九届年会暨海归创新创业海南自贸港峰会-海南黎族数字人“黎鹿”“黎鹿”PAGE/95应用场景行业应用-公益:数字栩生参与首个公益性文化名人复现:数字“梅兰芳”大师项目由中央戏剧学院、北京理工大学、数字栩生、中科院自动化所等多家单位发起一项公益性探索项目,吸引了新华社、bilibili等多家单位积极参与,旨在通过高保真数字人技术,对京剧大师梅兰芳先生进行复现,打造在外貌、形体、语音、表演等各方面都接近真人的“梅兰芳孪生数字人”。通过公益性文化名人复现,探索传承中华文明精神与京剧国粹文化

174、的创新传播业态,并希望以此为典范构建“中国人物”数字资产库。作为戏曲界的改革先驱和曲艺大师,梅兰芳数字人是“大师复现”项目在虚拟数字人领域中颇具革命性的创举。通过现代科技赋予历史中的伟大人物以活力与生机,让这些鲜活的“中国人物”成为跨越时空、超越国度、富有永恒魅力。解决方案高逼真光场采集系统几何采集表情采集采用高性能三维扫描仪,快速获取复杂物体几何信息,高效输出毫米级高精度三维模型全方位智能化拍摄,保真还原物体表观色彩高精度三维重建技术全流程数字资产制作皮肤纹理实时渲染实体雕像扫描通过对大量梅兰芳先生历史照片与影响记录出发进行高精度三维重建 人物皮肤表情服饰动作成 效PAGE/96项目顾问:司

175、 晓 吴运声 黄 玕 李学朝 许华彬 杨 鹏 林 涛 撰写团队:腾讯研究院:宋扬、王强、李瑞龙、李南、汤捷、窦淼磊、刘金松、王焕超刘琼、冯沙沙、翁冬冬、王强、李刚、杨乐、曹颖、杨雪英编委会:研究团队PAGE/97腾讯研究院院长腾讯云副总裁、腾讯云智能负责人、优图实验室负责人创业黑马集团总裁腾讯云副总裁、腾讯云智能平台负责人腾讯云副总裁腾讯知识产权部副总经理、腾讯标准负责人腾讯集团市场与公关部副总经理统筹支持:腾讯集团市场与公关部:王成、谢睿、周军军、孙颖腾讯CSIG市场部:周威、程力鑫、杨智美腾讯CSIG智能平台产品部、腾讯CSIG云智能商业化中心:陈磊、苏丹、刘晶、许晓函、兰明思、刘佳佳腾讯

176、CSIG智慧行业一部:陈亮、舒文琦、秦源、李洋、王彬、王冬龙腾讯AI Lab:暴林超、安东岳、陈伟杰、肖瑛腾讯NExT Studios:刘奇申、李静翔、姚安、程成腾讯互娱内容生态部:陈依希、冯钊、陈亚坤、王瑾腾讯智影平台:张晶晶、刘恺、孟凡博、赵达、胡婷、王矩、曹雨阳光腾讯在线视频BU:费颖、马一欣、程雯、刘畅、陈法圣、林之阳U82:李嘉英、方晨、罗俊、李昊、杨明腾讯知识产权部:代威、黄超、刘海涛腾讯音乐QQ音乐业务线市场公关部:李旭、刘敏、吴敏研究团队PAGE/98我们坚守开放、包容、前瞻的研究视野,致力于成为现代科技与社会人文交叉汇聚的研究平台腾讯研究院是腾讯公司的智库,旨在依托腾讯公司多

177、元的产品、丰富的案例和海量的数据,围绕产业发展的焦点问题,通过开放合作的研究平台,汇集各界智慧,共同推动互联网产业健康、有序的发展。围绕互联网法律、公共政策、互联网经济、大数据等研究方向,与国内外研究机构、智库开展多元化的合作,不断推出面向互联网产业的数据和报告,为学术研究、产业发展和政策制定提供有力的研究支持。我们坚守开放、包容、前瞻的研究视野,致力于成为现代科技与社会人文交叉汇聚的研究平台。更多研究成果,敬请关注腾讯研究院公众账号和网站PAGE/99更多产品动态,敬请关注腾讯云智能公众号腾讯云智能整合腾讯领先的AI技术,和腾讯云深耕产业互联网的行业经验,提供包括AI算力、AI开发,到AI产

178、品方案,再到数智化转型方法的四级全链条服务,并且支持公有云访问、私有化部署以及专有云部署。以“服务于人”为核心宗旨,加速各行各业加快实现数智化转型,现已在金融、工业、传媒、出行、泛互联网等行业广泛落地。低成本低门槛高可用的AI工业化生产,四级加速推动产业数智化进程PAGE/100发现并培育产业新力量创业黑马创立于2008年,多年来坚持重度垂直理论,公司以独特的企业加速创新方法论和产业赋能服务体系“认知加速、资本加速、资源加速”累计服务上万家中小企业,成为中国创新创业服务领域首家上市公司。截止目前,已联合60多家投资机构、产业龙头企业共建40多个产业实验室,覆盖了硬科技、新能源新材料、产业互联网、企业服务、大消费、大健康、大文娱等多个产业;在北京、重庆、南京、佛山、宁波、福州等40个城市创立了77个产业加速器,覆盖先进制造、新能源新材料、数字经济、医疗大健康等产业,形成了中国最大的产业加速器集群。更多动态,敬请关注创业黑马公众账号和网站PAGE/101

友情提示

1、下载报告失败解决办法
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。

本文(腾讯研究院:2023数字人产业发展趋势报告-好看的皮囊到有趣的灵魂(102页).pdf)为本站 (淡然) 主动上传,三个皮匠报告文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知三个皮匠报告文库(点击联系客服),我们立即给予删除!

温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。
会员购买
客服

专属顾问

商务合作

机构入驻、侵权投诉、商务合作

服务号

三个皮匠报告官方公众号

回到顶部