上海品茶

您的当前位置: 上海品茶 > 三个皮匠报告百科 > 虚拟数字人

虚拟数字人

目录

虚拟数字人是什么

“虚拟数字人”一词最早源于1989年美国国立医学图书馆发起的“可视人计划";(Visible Human Project, YHP)。 2001年,国内以“中国数字化虚拟人体的科技问题”为主题的香山科学会议第174次学术讨论会提出了“数字化虚拟人体”的概念。这些“虚拟数字人”主要是指人体结构的可视化,以三维形式显示人体解剖结构的大小、形状、位置及器官间的相互空间关系,即利用人体信息,实现人体解剖结构的数字化。主要应用于医疗领域的人体解剖教学、临床诊疗等。

美国作家尼尔.斯蒂芬森(Neal Stephenson)在1992年出版的科幻小说《雪崩》(SnowCrash)中创造了两个概念:元宇宙(Metaverse)和虚拟分身(Avatar) 。“虚拟分身”在中国发展至今,拥有了更广泛的称呼:“虚拟数字人”(Metahuman) ,被视为未来人们进入虚拟“元宇宙”的入口。从技术层面看,虚拟数字人(Metahuman)可以理解为是通过计算机图形学、语音合成技术、深度学习、类脑科学、生物科技、计算科学等聚合科技(Converging Technologies)创设,并具有“人”的外观、行为、甚至思想(价值观)的可交互的虚拟形象。从未来媒体形态和服务模式看,聚合科技带来语义传播与无障碍传播的新空间,由此诞生的虚拟数字人将作为新媒介角色,广泛应用在元宇宙新生态中,担任着信息制造、传递的责任,是元宇宙中“人”与“人”、“人”与事物或事物与事物之间产生联系或发生孪生关系的新介质[1]

虚拟数字人发展历程

总体而言,虚拟数字人的发展历程主要经历了以下四个阶段,分别是萌芽阶段、探索阶段、初级阶段、成长阶段

(1)萌芽阶段(20世纪八十年代):在这个阶段,人们开始尝试将虚拟人物引进到现实世界,技术主要以手绘为主。1984年,英国人George Stone创造出了一个叫做Max Headroom的虚拟人物,这个人物参演了一部电影,并且还拍摄了很多支广告。1982年,世界上第一位虚拟歌姬姬林明美出现。

(2)探索阶段(21世纪初):这个阶段,传统的手绘正在逐渐的被CG、动作捕捉等计算机技术颠覆,技术上面有了很大的革新。2007年,日本制造出了第一个被认可的虚拟偶像,初音未来,2001年电影《指环王》当中的角色咕噜由CG技术和动作(表情)捕捉技术产生。

(3)初级阶段:在这个阶段,深度学习算法取得了较大的突破,数字人的制作过程得到了有效的简化,与此同时,AI成为了不可分割的工具。2019年,浦发银行和百度共同合作开发的银行首位数字员工小浦正式亮相,为用户提供金融服务,2018年,搜狗和新华社联合发布了全球第一个全仿真智能AI主持人。

(4)成长阶段:当前正在朝着智能化、便捷化、精细化和多样化发展,技术得到了全面的提升和突破。2020年,在CES国际消费电子展上,三星旗下的STAR Labs展示了其设计的虚拟数字人NEON,2019年,数字王国软件研发部负责人Doug Roble带着自己的虚拟形象DigiDoug登上了TED演讲舞台。

2021虚拟数字人热点事件

2月11日,虚拟歌手登上春晚:虚拟歌手洛天依登上春节联欢晚会表演少儿歌舞《听我说》,标志着虚拟歌手发展进入新纪元。

5月20日,中国首个Metahuman迅速走红:外表和真人无异的AYAYI出现在小红书上,AYAYI作为中国 首个Metahuman迅速走红,一夜之间吸引了近4万粉丝,首发帖阅读量达到了近300万。AYAYI不仅与娇兰、LV、BOSE、安慕希等大品牌达成合作,还在2021年9月入职阿里,成为天猫超级品牌日数字主理人。

6月15日,清华大学迎来首个虚拟人学生:清华大学计算机系举行“华智冰”成果发布会,宣布首个虚拟人学生“华智冰”正式“入学”与一般的虚拟人不同,“华智冰” 拥有持续的学习能力,可以从新场景中学到新能力融入模型中,从而变得越来越聪明。

6月21日,B站虚拟主挪同比增长40%: B站十二周年演讲时,CEO陈睿提到过去一年有超过3.2万名虚拟主播 在B站开播,同比增长40%。在B站直播领域,虚拟主播是增长最快的品类。

10月22日,首个全虚拟人综艺节目开播:江苏卫视国产原创动漫形象舞台竞演节目《2060》 开播,洛天依、QQ炫舞虚拟偶像星瞳纷纷加盟,首播CSM63城平均收视达2.29%,位列当晚同时段第二。爱奇艺也计划于2022年第二季度推出虚拟形象音乐竞演综艺《元宇宙唱将》.

11月8日,NVIDIA发布虚拟化身平台:在GTC大会上, NVIDIA推出全方位的虚拟化身平台0mniverse Avatar, 将Metropolis的感知能力、Riva的语音识别能力、Merlin的推荐能力、Omniverse的动画渲染能力等交汇于一体。CEO黄仁勋现场演示了由这个平台生成的“迷你玩具版黄仁勋”Toy-Me, 能与人自然地问答交流。

12月31日,多位虚拟人亮相主流跨年晚会:江苏卫视跨年演唱会上,国内顶尖虚拟偶像团体VSinger家族登台表演《卡路里》、《普通Disco》,还原邓丽君形象及音色的虚拟人“邓丽君";与周深同台演唱《小城故事》、《漫步人生路》 和《大鱼》,东方卫视、哔哩哔哩等亦将虚拟人元素融入跨年晚会。

虚拟数字人的特征

从“虚拟”、“数字”及“人”三个部分详解虚拟数字人的具体特征[2]

(1)虚拟:指的是在非物理世界中,虚拟数字人在不同场景实现难度不同。虚拟数字人的存在方式主要以图片、视频、实时直播、实时动画等存在于APP、小程序、软硬一体显示设备等电子屏。未来VR设备与全息投影也将成为其重要存在方式。

(2)数字:虚拟数字人的产生源于多技术综合。CG建模+真人驱动、多模态技术与深度学习都是虚拟数字人产生的核心技术。不少人认为虚拟数字人近年的发展来源于CG(Computer Graphics,利用计算机进行视觉设计和生产)、语音识别、图像识别、动 捕等相关技术的共同成熟。

(3)人:虚拟数字人高度拟人化,特别表现在外表、行为、交互行为等方面,外在表现和交互效果已成为核心发展路线。虚拟数字人的外表代表着其面部长相和整体形象,一般会受到虚拟数字人类别(如直接借用真人形象、高保真建模、风格化)、制作细节(对汗毛、皮肤、头发 等细节的建模)、渲染水平、设计审美等影响;虚拟数字人的行为与面部表情、形体表达、语音表述等都有关系。会受到驱动方式(真人驱动、计算驱动、预制调节等)、驱动模型类别(精细面部肌肉驱动、 语音合成模型中对语气词、韵律的处理等)、训练数据、驱动模型精度等影响;虚拟数字人与现实世界的交互包括回答内容、肢体反应等,其发展水平会受到语音识别能力、自然语言理解及处理水平、知识图谱、预先设置知识库等影响。

虚拟人、数字人、虚拟数字人的联系与区别

虚拟人、数字人、虚拟数字人的目标相同:虚拟人、数字人、虚拟数字人的目标是利用计算机图形学技术(Computer Graphic,CG)创造出外貌高度接近人类的数字化形象,赋予其特定的人物身份设定,在视觉上拉近和人的心理距离,和人类进行更加真实的情感互动。

数字人涵盖虚拟人,虚拟人包含虚拟数字人,虚拟数字人的范围最小:按照各定义特征的要求,数字人的范畴包含虚拟人,虚拟人的范畴包含虚拟数字人。对于不要求必须具备交流互动能力时,数字人、虚拟人、虚拟数字人这三者概念可以认为是等同的。如果虚拟人定义放弃虚拟身份设定的要求,强调其存在于虚拟数字世界的性质,那么和数字人就没有区别。

虚拟数字人、虚拟人、数字人的区别:在严格意义下三者之间存在着细微的差别。虚拟人的身份是虚构的,现实世界中不存在的。数字人强调角色存在于数字世界。虚拟数字人强调虚拟身份和数字化制作特性[3]

(1)数字人:“数字人”一词来自于英文 Digital Human,强调了它存在于数字世界,数字世界是人类设计运行于计算设备上的代码和数据,它是计算设备上运行的程序,数字世界底层操纵的是0和1这样的数据。数字人的身份设定可以是按照现实世界中的人物进行设定,外观也可以完全一致,按照真人还原制作的数字人也可以称为数字孪生

(2)虚拟人:虚拟网红、虚拟主播是虚拟人(Virtual Human),之所以称之为虚拟,第一点人物的身份是虚构的,现实世界中不存在的,第二点虚拟人没有现实世界中的身体,它是通过计算机图形学技术进行虚拟制作的,虚拟人的本体存在于计算设备中(比如电脑、手机)中,通过显示设备呈现出来,让人类能通过眼睛看见。第三点,它具备人类的外观和行为模式,虚拟人具有人类身体的外观形体结构,表现出来的行为模式是与人类相仿的,虚拟人的影像通常是呈现出某种人类的活动。

(3)虚拟数字人:虚拟数字人指存在于非物理世界中,由计算机图形学、图形渲染、动作捕捉、深度学习、语音合成等计算机手段创造及使用,并具有多重人类特征(外貌特征、人类表演能力、人类交互能力等)的综合产物

虚拟数字人的分类

1虚拟数字人分为服务型虚拟数字人和身份型虚拟数字人,两者之间存在着不同:

(1)核心功能:服务型虚拟数字人主要是功能性服务,包括替代真人服务,完成内容生产、简单功能;多模态AI助手,提供日常陪伴、关怀等服务;身份型虚拟数字人的功能是身份性的,用于娱乐/社交;包括虚拟IP/偶像,推动虚拟内容生产;虚拟世界第二分身,用于社交娱乐及Metaverse

(2)产出定位:服务型虚拟数字人的定位有现实世界中主持人、导游、购物主播等服务型角色的虚拟化;具有关怀感和真实感的AI助手;而身份型虚拟数字人的定位有虚拟偶像或为真人偶像的辅助分身;个体在虚拟世界(或Metaverse)中的第二分身

(3)代表应用:服务型虚拟数字人的代表性应用有虚拟主播、虚拟老师、标准化内容制作、虚拟关怀师、虚拟陪伴助手;身份型虚拟数字人的代表应用有虚拟偶像、VR Chat、虚拟形象构建应用

(4)产业价值:服务型虚拟数字人的产业价值有降低已有服务型产业的成本,为存量市场降本增效;提升AI助手的交互效果,扩展其接受度与适用场景;身份型虚拟数字人的产业价值有为未来的虚拟化世界提供人的核心交互中介,在增量市场创造新价值增长点;降低虚拟内容的制作门槛

2根据人格象征,虚拟数字人可分为虚拟IP和虚拟世界第二分身

虚拟IP指的是现实世界中并不存在对应的真人,人为设定外貌特征、基本人设、各类偏好、背景信息等;核心价值是满足IP运营的视频化、碎片化、实时化需求;创造更为稳定、易得、低成本的IP一创造全新虚拟数字人IP;或将漫画、小说等护立体化运营。新世代对虚拟化内容的向往、使用真人IP的风险增加、品牌方对定制化代言人的需求等将推动虚拟IP的发展

虚拟世界第二分身主要面向的是未来的虚拟世界,把为每个人创造自己的虚拟化分身为最终目的,满足个人在虚拟;核心价值是满足个人对虚拟身份的需求一为社交、娱乐、Metaverse设计脱离于现实世界的第二分身,新世代对虚拟化内容的向往:Metaverse带动的虚拟数字人基础设施普及率将推动虚拟世界第二分身的发展[4]

3根据人物图形维度,虚拟数字人可分为2D和3D两大类,从外形上可分为卡通、写实等风格,综合来看可分为二次元、3D卡通、3D超写实、真人形象四种类型

(1)二次元:二次元是指在平面空间呈现,只能以单个视角去浏览,在制作过程中已经确定了视角,用户不可自行更换视角,如初音未来(日本区VOCALOID虚拟歌姬)、洛天依(中国区VOCALOID虚拟歌姬)

(2)3D卡通:三维立体模型,可呈现在立体空间,能够以任意视角去浏览。产品制造团可设定用户可见的视角,如虚拟助手度晓晓IP形象

(3)3D超写实:与真实的人类极为接近,或者在真人基础上有一定程度的卡通化,如虚拟偶像-AYAYI、浦发银行数字员工-小浦

(4) 真人形象:真人形象虚拟数字人的特征来源于真人,目前主要应用于AI合成主播,如AI合成主播–新小浩AI合成主播–新小萌

4根据应用范围,虚拟人可分为人格型虚拟人和实用型虚拟人两大类[5]

人格型虚拟人:主要通过塑造人设和形象来突出人格魅力,目的是给用户提供感官刺激和建立情感联系,主要应用在社交娱乐等领域。根据侧重点不同,可以分为内容型虚拟人(强调内容IP,比如虚拟偶像A-SOUL等,甚至玲娜贝儿)和形象

型虚拟人(强调特色形象,比如AYAYI 翎Ling等)两类。

实用型虚拟人:突出实用价值,是元宇宙时代的基础设施。根据功能不同可以分为功能型虚拟人(类似于游戏中NPC的概念,将虚拟人应用到部分现实工种中,比如虚拟主持人、虚拟客服等)和虚拟化身Avatar (应用虚拟人技术为元字宙用户提供虚拟形象)两类。

虚拟数字人的技术架构

虚拟数字人的技术架构一般分为“五横两纵”。

(1) “五横”是指用于数字人制作、交互的五大技术模块,即人物生成、人物表达、合成显示、识别感知、分析决策等模块。其中,人物表达包括语音生成和动画生成。动画生成则包含驱动(动作生成)和渲染两大部分。

(2)“两纵”是指 2D、3D 数字人,3D 数字人需要额外使用三维建模技术生成数字形象,信息维度增加,所需的计算量更大。其中核心的技术环节包括建模、驱动和渲染。

虚拟数字人

虚拟数字人的应用场景

(1)影视:数字替身特效可以帮助导演实现现实拍摄中无法表现的内容和效果,已成为特效商业大片拍摄中的重要技术手段和卖点。角色有数字替身

(2)传媒:定制化虚拟主持人/主播/偶像,支持从音频/文本内容一键生成视频,实现节目内容快速、自动化生产,打造品牌特有 IP 形象,实现观众互动,优化观看体验。角色有虚拟主持人、虚拟主播、虚拟偶像

(3)游戏:越来越真实的数字人游戏角色使游戏者有了更强的代入感,可玩性变得更强。角色有数字角色

(4)金融:通过智能理财顾问、智能客服等角色,实现以客户为中心、智能高效的人性化服务。角色有智能客服、理财顾问

(5)文旅:博物馆、科技馆、主题乐园、名人故居等虚拟小剧场、虚拟导游、虚拟讲解员。角色有虚拟导游、虚拟讲解员

(6)教育:基于 VR/AR 的场景式教育,虚拟导师帮助构建自适应/个性化学习环境。角色有虚拟导师

(7)医疗:以数字人实现家庭陪护/家庭医生/心理咨询,实时关注家庭成员身心健康,并及时提供应对建议。角色有心理医生、家庭医生

(8)零售:零售从大屏到机器人到全息空间,从数据分析、个性营销、智能货架、无人商店四大应用场景切入构建线下零售服务新流程。电商直播在虚拟数字人与真人主播和观众互动,介绍商品。角色有顾客服务数字人、商家管理数字人、虚拟主播

虚拟数字人的产业链

虚拟数字人的产业链从上到下可以分为基础层、平台层和应用层。基础层为虚拟数字人提供基础软硬件支撑,硬件包括显示设备、光学器件、传感器、芯片等,基础软件包括建模软件、渲染引擎。平台层包括软硬件系统、生产技术服务平台、AI能力平台,为虚拟数字人的制作及开发提供技术能力。应用层是指虚拟数字人技术结合实际应用场景领域,切入各类,形成行业应用解决方案,赋能行业领域。按照应用场景或行业的不同,已经出现了娱乐型数字人(如虚拟主播、虛拟偶像)、教育型数字人(如虚拟教师)、助手型数字人(如虚拟客服、虚拟导游、智能助手)、影视数字人(如替身演员或虚拟演员)等。不同外形、不同功能的虛拟数字人赋能影视、传媒、游戏、金融、文旅等领域,根据需求为用户提供定制化服务。

虚拟数字人

分享到微信 分享到微博 分享到QQ空间
上一篇:元宇宙
下一篇:脑机接口
会员购买
客服

专属顾问

商务合作

机构入驻、侵权投诉、商务合作

服务号

三个皮匠报告官方公众号

回到顶部