《中国移动研究院:超视频化技术白皮书(2022年)(24页).pdf》由会员分享,可在线阅读,更多相关《中国移动研究院:超视频化技术白皮书(2022年)(24页).pdf(24页珍藏版)》请在三个皮匠报告上搜索。
1、 1 !#$%&%&()()*!#$#$#%&%&!()*()*+,-+,-!中国移动研究院 超视频化技术白皮书(2022)!元宇宙作为下一代互联网形态,承载着打通现实世界与虚拟世界的技术使命,已经得到了业界充分的关注。超视频化是应用场景视频化的进一步发展,以超内容、超交互、超链接为主要特点,将为元宇宙的发展提供必要的技术和应用场景的准备。本白皮书介绍了超视频化的概念、关键技术及产业现状,并讨论了超视频化与元宇宙的关系。值此超视频化的变革时代,建议政府、行业组织和企业之间有序协同,推动超视频化生态建设,共同促进行业的繁荣和有序发展。本白皮书的版权归中国移动所有,未经授权,任何单位或个人不得复制
2、或拷贝本建议之部分或全部内容。编写单位:中国移动研究院 编写组成员:史家康、郭勐、李阳、杨蕾、喻炜 中国移动研究院 超视频化技术白皮书(2022)1#$%$1.前言.2 2.超视频化的概念.2 3.超视频化的关键技术.3 3.1 超内容技术.4 3.1.1 超高清视频推动视频应用场景的深刻变革.5 3.1.2 扩展现实(XR)有望成为“下一代计算平台”.5 3.1.3 全息技术是实现沉浸式内容的重要技术.8 3.1.4 数字孪生技术是虚实融合的基础和保障.10 3.2 超交互技术.11 3.2.1 手势/动作识别.11 3.2.2 情感计算.12 3.2.3 空间计算.12 3.2.4 脑机接
3、口(BCI).13 3.2.5 沉浸式感知传感技术.14 3.3 AI 技术.14 3.4 算力网络.14 4.超视频化产业分析.15 4.1 超视频化产业现状.15 4.2 超视频化产业图谱.17 5.超视频化是元宇宙的准备阶段.18 6.总结与展望.20!#$%.21&().22 中国移动研究院 超视频化技术白皮书(2022)2 1 1.前言前言 2021 年 7 月阿里云视频云全景创新峰会上,阿里云提出了“超视频化时代”的概念景象。10 月,Facebook 更名为 Meta,全力转型元宇宙。受此影响,“元宇宙”作为一个新兴的概念受到了各界的充分关注。超视频化的概念也随之淹没在元宇宙的浩
4、瀚星空中。元宇宙这一概念把人工智能、扩展现实、数字孪生、区块链、云计算、5G/6G等技术融合在一起,令人无比振奋。但从数据、算法、算力三要素的角度来看,当前的技术水平距离元宇宙的理想状态还有很大的距离。狂热过后是可贵的冷静,近期 IDC 发布了超视频时代视频云演进趋势白皮书,超视频化的概念再次得到业界关注。2 2.超视频化的概念超视频化的概念 随着网络带宽和终端性能的提升,视频日益融入日常生活和应用场景,成为承载信息和交流的主要形式,即视频化过程。伴随着视频化过程的深入,以视频作为信息展现和交互形式的泛视频/大视频业务得到了快速发展。所谓“化”是一个后缀,附着在状义成分的后面构成动词,表示转变
5、成某种性质或状态。视频化,是互联网内容和应用的一种趋势,表示在各种应用场景中,视频成为承载信息和交流的主要形式。图 1 超视频化与泛视频、大视频 中国移动研究院 超视频化技术白皮书(2022)3 在这里,还有必要对超高清、大视频和泛视频等概念作一下辨析。超高清是国际电信联盟最新批准的信息显示“4K 分辨率(38402160 像素)”的正式名称,是一个具体的技术概念。而大视频和泛视频泛指与视频相关、以视频为内容承载方式的相关应用领域。超视频化是应用场景视频化的进一步发展,以超视频化是应用场景视频化的进一步发展,以超内容、超超内容、超交互交互、超链接、超链接为为主要特点主要特点。这。这意味着视频的
6、内容形式持续演进,交互更加丰富,传播跨越了语意味着视频的内容形式持续演进,交互更加丰富,传播跨越了语言限制,并以言限制,并以 ARAR、VRVR 等途径影响到大众的日常生活等途径影响到大众的日常生活。随着 5G、云计算、AI 的高速发展,当视频化融合了内容与交互的双重演进,当视频化融合了内容与交互的双重演进,主流应用场景普遍具有超高主流应用场景普遍具有超高清和沉浸式交互体验时,清和沉浸式交互体验时,标志着超视频化时代的到来标志着超视频化时代的到来。在超视频化时代,视频衍生了更多新形态,形成了以超高清和沉浸式为主要特点的内容形态,即超超内容内容;视频化逐渐演变成以人为中心的交互,承载了多维感官、
7、甚至超越时空的体验,即超交互超交互;视频化让万物皆媒,人与人、人与物、人与自然,感应式链接,产生一种超社交能力和现象,即超链接超链接。图 2 互联网内容发展路线 互联网内容的发展,从文字、图像、音频到视频、直播,以及资讯和知识的视频化呈现,乃至全场景内容的视频化,最终演变到以三维化、可交互为主的沉浸式内容形态。从交互的视角,信息从一个交互对象自然地传递到另一个交互对象,数字将与物理共存并增强。而沉浸式交互,希望释放人的立体视觉、触觉、本体感知等能力,让交互不再局限于二维视觉通道与视觉反馈。在超视频化时代,内容和交互融合为沉浸式的综合体,现实世界与虚拟世界的物理感知界限将模糊化。3.3.超视频化
8、的关键技术超视频化的关键技术 超视频化相关技术包括支撑层面的网络和算力基础设施,使能层面的超内超视频化相关技术包括支撑层面的网络和算力基础设施,使能层面的超内容技术、超交互技术和对视频云底座提供能力加持的容技术、超交互技术和对视频云底座提供能力加持的 AIAI 技术。技术。中国移动研究院 超视频化技术白皮书(2022)4 图 3 超视频化的技术体系 3.1超内容超内容技术技术超内容超内容是以超高清和沉浸式为主要特点的内容形态。超内容技术包括超高是以超高清和沉浸式为主要特点的内容形态。超内容技术包括超高清视频、清视频、XRXR、全息投影、数字孪生等服务于、全息投影、数字孪生等服务于沉浸式内容形态
9、沉浸式内容形态的一系列技术。的一系列技术。图 4 沉浸式演进路线 中国移动研究院 超视频化技术白皮书(2022)5 3.1.1 超高清超高清视频视频推动视频应用场景的深推动视频应用场景的深刻变革刻变革 根据超高清视频标准体系建设指南(2020 版)的定义,超高清视频是具有 4K(38402160 像素)或 8K(76804320 像素)分辨率,符合高帧率、高位深、广色域、高动态范围等技术要求的新一代视频。超高清视频具有更精细的图像细节、更强的信息承载能力和更广泛的应用范围,为消费升级、行业创新、社会治理提供了新工具、新要素、新场景,有力推动各应用领域的深刻变革。在沉浸式应用场景中,自由视角、3
10、60 度全景、沉浸式视频等均需要超高清视频技术支撑。超高清视频用户观感提升,场景需求愈加广泛,这也使超高清视频的目标用户由电视观众延伸至互联网等专业领域。政策利好推动超高清视频产业发展,5G+超高清视频成运营商新赛道,生态建设稳步推进;同时,目前 5G+超高清视频应用逐渐落地,新商业模式频出,正逐步步入发展的黄金时期。超高清视频存在的问题:内容生产是超高清生产的最短板 核心技术研发能力不强,关键设备和元器件依赖进口 5G 移动端+家庭千兆光宽普及率在某种程度上决定了超高清的普及 行业标准体系不完善,端到端超高清评价体系尚不完备 3.1.2 扩展现实(扩展现实(XR)有)有望望成为“下一代计算平
11、台”成为“下一代计算平台”扩展现实(XR)是一个概括性术语,涵盖增强现实(AR)、虚拟现实(VR)和混合现实(MR)。扩展现实(扩展现实(XRXR)作为作为虚拟世界与现实世界的虚拟世界与现实世界的入口技术,入口技术,被认被认为最有可能成为“下一代计算平台”为最有可能成为“下一代计算平台”。图 5 扩展现实 XR 中国移动研究院 超视频化技术白皮书(2022)6 AR 增强现实:对真实世界物理环境的实时、直接或间接观察,是一个覆盖在现实上的虚拟内容,但不能与环境交互。VR 虚拟现实:让用户沉浸在一个完全虚拟的环境中。一般来说,VR 眼镜屏幕不透明,而 AR 眼镜使用可以透光的屏幕。MR 混合现实
12、:本质上 MR 是更高形态 AR,是 VR 与现实的结合,创造了可以与现实环境交互的虚拟对象。XR 扩展现实:XR 由高通提出,涵盖了 VR、AR 和 MR 等技术,使用者可以根据自己的意愿在各种模式间进行自由切换。图 6 XR 技术构成 主流 XR 产品显示方案有如下几种:1.1.基于双目视觉的基于双目视觉的 VR/ARVR/AR 方案方案 1)菲涅尔透镜方案菲涅尔透镜方案:当前最主流的 VR 显示方案。用两块屏幕(或一块屏幕的左右两部分)显示两幅稍有不同的图像,经过菲涅尔透镜后到达人眼,经过大脑处理后融合,给人以立体的沉浸感受。以谷歌 DaydreamVR、三星 Gear VR、HTC V
13、ive、索尼 PlayStation VR 以及 Oculus Rift 等为代表。2)柱透柱透镜镜解解决方案决方案:在主流 VR 产品中已不常见。把待显示图像处理成左右两个视角的不同图像,在显示屏上以一定规律排列,使左右视角对应图像分别进入人眼,经过大脑处理后融合,得到立体体验。3)以微软 Hololens、Atheer 为代表的双目视觉 AR,基本原理与双目 VR 相似。不同的是要保证人眼看到显示器图像的同时能够看到外界环境。中国移动研究院 超视频化技术白皮书(2022)7 图 7 基于双目视觉的 VR/AR 方案示意图 2.2.基于光场显示技术的基于光场显示技术的 VR/ARVR/AR
14、方案方案 以 Magic Leap One 为代表的 VR/AR 产品使用的是光场显示技术,其原理是在场景和相机中间放置一个微透镜阵列,每个微透镜均能形成场景不同方位视角的微小图片;当这些微小图片经显示器件加载并再次经过透镜阵列后,便可以恢复记录的场景图像。该方案可以显示动态三维图像,与双目视觉方案相比有更好的运动视差和遮挡效果。图 8 光场显示原理示意 3.3.基于全息光学的基于全息光学的 VR/ARVR/AR 解决方案:解决方案:该方案以 Meta(Facebook)的 Half Dome 2、3、Holo-LC 为代表,尚处原型阶段。如图 9 所示,待显示场景的全息图经驱动装置上传至空间
15、光调制器。当参考光照射空间光调制器时,衍射光场可以经分束镜到达人眼。而外界真实环境则通过分束镜的另一通光方向进入人眼。中国移动研究院 超视频化技术白皮书(2022)8 基于全息技术的三维显示方案系统紧凑、无串扰和深度反转、不存在机械运动部分,可以提供所有类型的三维视觉感知,不存在辐辏-调焦冲突,具有良好的观看体验,是当前备受认可的 VR/AR 方案之一。图 9 基于全息光学的 VR/AR 显示方案 目前,云 XR 产业发展条件基本成熟。在面向适配 XR 的网络传输领域,我司处于领先水平,用户体验随基础设施的完善将逐步提升。基于全息技术的 VR/AR解决方案虽然被认为是较为理想的方案,但提高计算
16、全息图生成速度和扩展显示系统的空间带宽积是当前面临的两大挑战。全息与近眼显示相结合或成技术趋势。3.1.3 全息技术是实现沉浸式内容的重要技术全息技术是实现沉浸式内容的重要技术 全息技术是利用光的干涉和衍射原理来记录和再现物体的真实三维图像的技术。利用光的干涉原理,借助参考光,将物光的复振幅以干涉条纹的形式进行记录(干涉记录)和再现(衍射再现)。由于重建的是物体的全部信息,因此被称为“全息术”。全息技术第一步是干涉记录,即拍摄过程:被摄物体在激光辐照下形成漫射式的物光束;参考光束射到全息底片上,和物光束叠加产生干涉,利用干涉条纹间的反差和间隔将物体光波的全部信息记录下来。记录的底片经过显影、定
17、影等处理程序便成为全息图,或称全息照片。中国移动研究院 超视频化技术白皮书(2022)9 图 10 干涉记录 第二步是衍射再现,即成像过程。全息图在相干激光照射下,一张线性记录的正弦型全息图的衍射光波可给出两个象,即原始象和共轭象。再现的图像立体感强,具有真实的视觉效应。全息图的每一部分都记录了物体上各点的光信息,原则上每一部分都能再现原物的整个图像。由于重建的是物体的全部信息,因此被称为“全息术”。图 11 衍射再现 如果全息图的记录、重建过程都是通过光敏材料实现,则称为光学全息。如果用数码相机(CCD 或 CMOS)记录物光波与参考光波的干涉,以二维数据存储全息图,用数字方法再现,则称为数
18、字全息。而计算全息,则是抛开了干涉图的记录过程,直接用计算机计算波前及其干涉图。计算全息可以实现任意物体的全息显示,即使这个物体在现实中并不存在。中国移动研究院 超视频化技术白皮书(2022)10 真正的全息影像可以不通过过任何介质,从空气中就能显示出来影像,而且观看角度可以随意变换,体验者能够从三维立体的画面之中穿梭自如。但是,目前不通过其他介质直接通过空气呈现的技术还没有出现。我们看到的绝大多数全息技术,是“佩珀尔幻象”或是全息投影技术。3.1.4 数字孪生技术是虚实融合的基础和保障数字孪生技术是虚实融合的基础和保障 数字孪生以数字化方式复制一个物理对象,是实际产品或流程的虚拟表示,用于理
19、解和预测对应物的性能特点。使用数字孪生可以在整个产品生命周期中仿真、预测和优化产品与生产系统。数字孪生的基本特征是虚实映射,通过对物理实体构建数字孪生模型,实现物理模型和数字孪生模型的双向映射。在产品生命周期的不同阶段分别为:产品的数字孪生、生产的数字孪生和设备的数字孪生,这涵盖了产品和生产生命周期的所有阶段产生的信息与数据。数字孪生的核心技术包括三维可视化、数字建模、数字化仿真技术、物联网数据获取和处理技术等。数字孪生的应用领域:数字孪生的应用领域:1)促进数字经济与实体经济融合发展:发挥分析预测、模拟仿真等方面的作用,助力数字产业化、产业数字化。2)贯通工业生产信息孤岛,释放数据价值:为工
20、业物理对象创建虚拟空间,将物理设备映射到虚拟空间,能够仿真制造工艺,实现产品设计、制造和智能服务等闭环优化。3)推动新型智慧城市建设:优化城市设计布局,打造科学公共服务体系。4)基于医疗大数据合理分配医疗资源,提升公共健康保障效率。数字孪生的发展现状与挑战:数字孪生的发展现状与挑战:发改委和网信办 2020 年联合发布关于推进“上云用数赋智”行动,培育新经济发展实施方案,将数字孪生作为支撑第四工业革命的重要数字技术之一。在国家政策的大力推动下,数字孪生已加速进入普及时代,其在模型、数据、服务等方面的优势和能力,正是满足工业数字化、智能化转型的最佳路径。中国移动依托 5G 在新型现场网络、“云-
21、网-边-端”全链条能力等方面稳步推进,已具备数字孪生应用的初步能力。中国移动研究院 超视频化技术白皮书(2022)11 数字孪生的核心是模型和数据,而数据又是模型的基础,目前在数据一致性、标准化、开放机制等方面仍存在挑战。3.2超交互技术超交互技术基于科技和商业的推动,交互技术的发展,从线下的实体交互到线上的人机交互,逐步转向全场景线上化,乃至沉浸式交互。而这终极的沉浸式交互,核心在于探索更自然的交互方式,希望释放人的立体视觉、触觉、本体感知等能力,让交互不再局限于二维视觉通道与视觉反馈。内容和交互的尽头就是沉浸式场域的综合体,而智能化已经让我们逐步“浸入”到了一个虚实融合的泛沉浸式时代。图
22、12 交互技术演进路径 超交互超交互是以人为中心的多维感官交互,实现沉浸式交互甚至产生超越时空是以人为中心的多维感官交互,实现沉浸式交互甚至产生超越时空的交互体验的交互体验。其特点体现为多端链接、多人共享、打破空间、虚实无缝结合等。在超视频语境下,手势在超视频语境下,手势/动作识别、情感计算、动作识别、情感计算、空间计算、空间计算、脑机接口脑机接口、沉浸式感、沉浸式感知传感知传感等都属于超交互技术的范畴。等都属于超交互技术的范畴。3.2.1 手手势势/动动作作识别识别 手势识手势识别别即通过算法来识别人类手势来控制或与设备交互。按手势采集途径分为接触式和非接触式,根据手势发生在某一时刻还是时间
23、段,分为静态手势识别和动态手势识别。基于视觉的动态手势识别技术是目前研究和应用的主流。XR设备中主要采用三维手势识别,使用深度相机,主要有结构光、双目成像和 TOF三种方案。对于区分度较大的动态手势数据集,主流算法已取得优秀效果;对于含有复杂动态手势的数据集,算法效果距离实际应用还有一定距离。动作识别动作识别是指利用算法从视频或图像中自动识别人体动作行为,并返回识别后的行为类别。根据实现的方法,可以分为基于单帧图像的动作识别和基于视频的动作识别。目前,对已有视频进行动作识别已取得很好的效果,但对日常生活中的实时人体动作进行有效的识别仍比较困难,尚未真正的实用化和产业化。中国移动研究院 超视频化
24、技术白皮书(2022)12 3.2.2 情感计算情感计算 情感计算研究的目的是试图创建一种能感知、识别和理解人的情感,并能针对人的情感做出智能、灵敏、友好反应的计算系统。情感计算的主要研究内容如图 13 所示。图 13 情感计算的研究内容 情感计算分为四个过程:情感信息采集、情感识别分析、情感理解认知、情感信息表达。人脸表情识别、声纹识别、人机情感交互等已成为人工智能领域的研究热点。目前情感计算正处于学术研究到产业化过渡的关键时期,在零售、教育、医学等领域新的应用场景不断涌现,例如读文知情(舆情分析)、读脸知心、读波知情(司机心率监控)等。“情感计算研究将为人类提供更加人性化、情感化的服务和产
25、品,创造更加美好的生活”。3.2.3 空间计算空间计算 空间计算一词由麻省理工学院媒体实验室的西蒙格林沃尔德在 2003 年的论文中提出。空间计算是机器、人员、物体及环境之间的空间关系的数字化,以确定其在三维空间中的精确位置和移动,从而实现并优化操作和交互。相对于“传统计算”扩展了相对位置的知识。空间计算技术将互联网从网络空间向位置感知的物联网扩展,进而可以实现虚拟空间与现实空间的互联和互通。中国移动研究院 超视频化技术白皮书(2022)13 空间计算的应用场景:1)增强现实系统:医疗、农业、旅游、商业、工程、建筑及城市规划、装配保养及日常的智能扩展等领域中 AR 应用。2)空间预测分析:如飓
26、风路径预测、传染病扩散和交通拥堵等。3)空间协作系统、编队和群体。4)室内、水下和地下空间的空间计算。3.2.4 脑机接口(脑机接口(BCI)脑机接口(BCI)是一种利用大脑活动产生的脑电信号对设备进行控制的新型人机交互技术。脑机接口技术是通过信号采集设备从大脑皮层采集脑电信号经过放大、滤波、A/D 转换等处理转换为可以被计算机识别的信号,然后对信号进行预处理,提取特征信号,再利用这些特征进行模式识别,最后转化为控制外部设备的具体指令,实现对外部设备的控制。脑机接口按照信号检测技术可以分为:侵入式 BCI、半侵入式 BCI 和非侵入式 BCI。按照侵入程度的不同,BCI 分为“非侵入式”、“半
27、侵入式”和“侵入式”。l 非侵入式(Non-invasive BCI),即在头骨外检测信号的设备;l 半侵入式(Partially invasive BCI),即通过安置在大脑皮层表面的传感器,对大脑表层或大脑神经进行记录或刺激;l 侵入式(invasive BCI),即通过向脑组织内植入传感器对大脑内部的神经元进行记录或刺激。三者各有优缺点,总体来看,BCI 设备对脑部侵入的程度越高,风险越大。在医疗领域的应用是脑机接口发展的第一推动力。目前,侵入式脑机设备已经进入临床试验阶段,非侵入式受精度限制尚不具备规模商用条件。在非医疗领域,脑机接口技术在娱乐、交通等领域也有广泛的应用前景。将大脑与人
28、工智能融合,通过人机交互,实现“人类数字化永生”短期内还只是一个愿景,但未来可期。中国移动研究院 超视频化技术白皮书(2022)14 3.2.5 沉浸式感知传感技术沉浸式感知传感技术 沉浸式交互体验,需要系统支持视觉、听觉、嗅觉、味觉沉浸式交互体验,需要系统支持视觉、听觉、嗅觉、味觉、触触觉觉等等以及全以及全面体面体感的实现感的实现。这需要多种物理传感器进行数据采集,还需要进行多传感器数据融合、数据分析、智能决策等。新型的沉浸式感知传感技术,将进一步帮助用户在虚拟和现实间穿越。3.3AI技术技术在超视频化技术体系中,AI 技术无所不在,以 AI 能力集的方式对视频云底座提供全面赋能。5G、AI
29、 和云共同充当了超视频时代演进的加速器的角色。纵观整个视频生命周期,从视频采集、生产制作、视频播出到被广大的用户所体验,视频和 AI 的结合已经贯穿了视频生命周期的每一个阶段。AI 在超视频领域发挥的作用主要体现为四部分,第一部分也是最基础的,是对于视频或者图像的理解,包括分类、打标、检测、分割等。第二部分是与生产相关的,比如 AI 加持的超视频内容生产、编辑、加工、擦除、插入等。第三部分是与体验有关,即通过 AI 加持的超视频能力提供全新的视听体验,比如更丰富的细节、更生动的色彩、更沉浸式的体验等。第四部分是运维相关,即以AI 驱动智慧运维,实现运维的自动化和智能化,提升运维作业效率和智能辅
30、助人的运维工作。总的来说,AI 技术的深度应用,提升了超视频的生产效率,提升了内容分析和审核的效率,提升了运维的效率,提升了营销的效率,整体提升了超视频产品的综合体验。3.4算力网络算力网络超视频化业务的沉浸式体验,需要云端边协同的强大算力基础设施和广泛覆盖的网络连接。随着分辨率提升、视角全景化、交互性加强,为了满足业务“零时延”诉求,网络需要满足确定性带宽及传输时延,云侧要满足确定性渲染计算能力及处理时延,这对 5G/6G 云网架构及算力网络提出了新的挑战:中国移动研究院 超视频化技术白皮书(2022)15 l 时延挑战:强交互超视频业务要求端到端时延不能超过 80ms。不包括终端时延,云网
31、侧端到端时延不能超过 60ms;l 带宽挑战:强交互超视频业务要求下行带宽达到 70Mbps,弱交互超视频业务要求上行带宽达到 50Mbps,同时均要求上下行带宽保持毫秒级稳定性;l 算力挑战:超视频业务的渲染、编码和计算需要大量 GPU 资源,如 CG类渲染+编码(H.264)时延要求小于 30ms,对 ROI 带来巨大挑战;另外,业务弹性要求云端渲染和计算能力随业务需求动态可调;l 业务确定性挑战:对于强交互超视频业务,内容在云侧实时渲染和计算,对网络和计算带来了确定性挑战,一旦时延波动超过若干毫秒,就会对用户体验带来影响;l 业务连续性挑战:5G 网络不可避免存在空口干扰,覆盖不足等问题
32、,如何保障覆盖区域内业务连续性存在挑战。为了保证端侧的体验,需要通过算网基础设施将计算能力从终端解放。算力网络(又称算力感知网络)是以算为中心、网为根基,网云数智安边端链等深度融合,提供一体化服务的新型信息基础设施。算力网络作为承载未来泛在算力的基础网络架构,通过算力路由节点互联分布化的 MEC 站点。通过网络、存储、算力等多维度资源的统一管理和协同调度,实现连接和算力在网络上的全局优化。目标是实现“算力泛在、算网共生、智能编排、一体服务”,逐步推动算力成为与水电一样,可“一点接入、即取即用”的社会级服务,达成“网络无所不达,算力无所不在,智能无所不及”的愿景。算力感知网络通过计算任务分级卸载
33、,提高云、边、网资源利用率,提高业务体验,对于 Cloud VR 等 XR 业务由试点走向规模部署具有积极的意义。Cloud VR业务场景包括视频编解码、内容渲染、内容生成等多种任务。算力感知网络通过对分布式计算资源和网络资源进行协同优化,动态分配与计算任务调度,保证业务体验和资源利用率。4 4.超视频化超视频化产业分析产业分析 4.1超视频化产业现状超视频化产业现状中国移动研究院 超视频化技术白皮书(2022)16 5G 扬帆驶入深海,千行百业正值 5G 数智化转型时期。超视频化的沉浸式业务体验也促进了传媒、文旅、教育、工业、商业等各行业新的应用场景不断涌现,这给市场带来新的增长动能和机遇。
34、图 14 超视频化产业现状 分别从超视频化技术体系的四个维度分析超视频化的产业现状如下:超内容维度:超内容维度:5G+超高清步入发展的黄金时期;超视频化新场景不断涌现;近眼显示成为新增长点;三维可视化迎发展机遇。超交互维度:超交互维度:追踪模式升级,摄像头种类、数量持续提升;三维重建、动作捕捉拓展了传感器应用需求;视/听/触/温觉多重沉浸打开传感器想象空间。AIAI 维度:维度:视频理解是 AI 的传统能力;AI 赋能视频生产全流程;AI 驱动沉浸式体验,赋予全新的视听、交互体验。算网基础设施维度:算网基础设施维度:中国移动研究院 超视频化技术白皮书(2022)17 高算力需求提升高计算芯片及
35、算力基础设施要求;5G 融合云边端构筑算力网络基础设施,促进超视频化发展。4.2超视频化产业图谱超视频化产业图谱按照超视频化超视频化的的技术技术体系,体系,分别对应到接入层、分别对应到接入层、支撑层、使能层和应用层支撑层、使能层和应用层的角度对超视频产业链进行扫描,绘制产业图谱如下。的角度对超视频产业链进行扫描,绘制产业图谱如下。图 15 超视频化产业链图谱 接入层包括移动通信网络、云计算服务、物联网及边缘计算设施,以及 GPU等端侧的核心器件等。在中国移动、中国电信和中国联通等运营商的努力下,中国率先建成全球最大的 5G 商用网络,5G 网络以其大带宽、低时延、高可靠、高连接、泛在网等特征成
36、为超视频化发展的重要推动力。云计算服务的代表厂商如百度云、阿里云、腾讯云等;物联网及边缘计算的代表厂商如华为、中兴、亚信科技、海康威视、大华、Honeywell、拓维信息、浪潮等;GPU 代表厂商如高通、联发科、海思、英伟达、ARM、Intel 等。支撑层即后端支撑基础设施层,包括数据及编码、AI 引擎、空间计算引擎、可视化引擎及模型构建引擎等。数据及编码代表厂商如天创恒达、同观科技、雄迈科技等。AI 引擎代表厂商如商汤、旷视、科大讯飞、百度、阿里巴巴、腾讯中国移动研究院 超视频化技术白皮书(2022)18 等。空间计算代表厂商如 Autodesk、SmartEarth、Skyline Glo
37、be、SuperMap、高德地图、四维图新、武大吉奥等。可视化引擎代表厂商如 Unity、UNREAL、blender、Autodesk、Omniverse 等。模型构建引擎代表厂商如 Ansys、Bently、海克斯康、西门子等。技术使能层包括超高清、XR、全息技术、数字孪生等超内容技术,以及手势识别、情感计算、感知传感、脑机接口等超交互技术,实现对上层应用的使能。超高清代表厂商为各大卫视和有线电视;XR 代表厂商为苹果、Niantic、Zappar、VIVE、Google、Oculus、焰火工坊 FiresVR 等;全息技术代表厂商如 Microsoft、Meta(Facebook)、ma
38、gic leap、优立科技、睿孚科技、启迪控股、一起智能等;数字孪生代表厂商如西门子、通用、达索系统、ABB、戴姆勒、COSMO Plat、ptc、航天云网等。手势识别代表厂商百度、阿里巴巴、腾讯、极视角、火山引擎等;情感计算代表厂商如旷视、商汤、竹间智能、Affectiva、阅面科技等;感知传感代表厂商如索尼、oculus、奥比中光、HTC、REALSENSE、小米、谷歌、亮风台等;脑机接口代表厂商如 Paradromics、NEURALINK、synchron、kernel、BrainCo、neuramatrix、神念科技等。应用层包括超视频的各种应用场景,包括沉浸式直播点播类视频应用、X
39、R教培导览类应用、XR 在线游戏类应用、数字孪生类应用、工业互联网应用、智慧城市类应用等。沉浸式直播点播类视频应用代表厂商主要来自于传统直播点播类视频应用厂商;XR 教培导览类应用代表厂商如 Dynepic、ENGAGE、摩尔空间、易智时代、华为云图、商汤、Rokid、感知 AWARE 等;XR 在线游戏类应用代表厂商如 FORTNITE、ROBLOX、Meta、字节跳动、腾讯等;数字孪生类应用代表厂商如 ptc、西门子、达索系统、Microsoft、Ansys 等;工业互联网应用代表厂商如力控科技、优也、航天云网、树根互联等;智慧城市类应用代表厂商如优锘、SmartEarth、华力创通等。5
40、 5.超视频化超视频化是是元宇宙元宇宙的准备阶段的准备阶段 超视频化是由超视频化是由 5G+AI+5G+AI+云共同推动,一系列内容和交互技术发展的共同作用云共同推动,一系列内容和交互技术发展的共同作用下,到达的一种的新的下,到达的一种的新的互联网阶段。互联网阶段。伴随着超视频化,数字社会将会可感可知,虚拟和现实之间的无界之门即将打开。目前,超视频化的应用场景趋于繁荣,如中国移动研究院 超视频化技术白皮书(2022)19 虚拟人、VR 云游戏、云 AR 类的 C 端应用,智慧城市、工业互联网、数字孪生等的 B 端应用等。元宇宙是元宇宙是一种一种新型虚实相融的互联网应用和新型虚实相融的互联网应用
41、和社会形态社会形态。它基于扩展现实技术提供沉浸式体验,通过数字孪生技术生成现实世界的镜像,通过区块链技术搭建经济体系,将虚拟世界与现实世界在经济系统、社交系统、身份系统上密切融合。元宇宙的业务探索在业界已经逐渐展开,但所需的多项技术尚处于发展阶段,大规模应用还需要在技术上持续攻关。元宇宙业务的技术演进,将参考如下“三步走”战略:第一步,虚拟化,即通过 CG、三维建模和 XR 技术,把物理实体虚拟化。现阶段虚拟化技术已经成熟。第二步,逼真化,通过 AI 学习以及对虚拟世界物理规律性的强化,使虚拟世界场景进一步逼近真实世界体验。关键技术包括 AI 技术、空间计算技术、沉浸式内容技术等。现阶段相关技
42、术正处于应用发展初期。第三步,情感化,构造虚拟世界社会关系,打造虚拟世界情感交互。关键技术包括情感计算、沉浸式交互技术等。预计未来 5 年内将进入情感化应用发展初期。从技术从技术范畴范畴上来讲,上来讲,超超视频化视频化技术技术是元宇宙技术的一个子集。是元宇宙技术的一个子集。元宇宙涉及到的技术,包括 5G、云计算、IOT、AI、数字孪生、区块链、XR、脑机接口等。从上文可知,超视频化技术涵盖了除区块链技术以外的大部分元宇宙相关技术。超视频化一方超视频化一方面为元宇宙面为元宇宙提提供了供了必要的技术准备,同时超视频化的应用必要的技术准备,同时超视频化的应用探探索,也为元宇宙索,也为元宇宙提提供供了
43、必要的应用场景了必要的应用场景的准备的准备。因此,可以把超视频化因此,可以把超视频化理解为理解为元宇宙的元宇宙的准备准备阶段阶段,而元宇宙则是超视频化到一定程度,物理世界与数字世界,而元宇宙则是超视频化到一定程度,物理世界与数字世界逐渐融合后的结果逐渐融合后的结果。中国移动研究院 超视频化技术白皮书(2022)20 图 16 超视频化 vs 元宇宙 6 6.总结与展望总结与展望 在元宇宙的未来相对科幻的情况下,超视频化的趋势却是十分清晰的。5G 扬帆驶入深海,千行百业正值 5G 数智化转型时期。超视频化的沉浸式业务体验也促进了传媒、文旅、教育、工业、商业等各行业新的应用场景不断涌现,这给市场带
44、来新的增长动能和机遇。值此超视频化的变革时代,建议政府、行业组织和企业之间有序协同,推动超视频化生态建设,共同促进行业的繁荣和有序发展。中国移动研究院 超视频化技术白皮书(2022)21&()*$缩略语 英文全名 中文解释 5G Fifth Generation 第5代移动通信技术 6G Sixth Generation 第6代移动通信技术 A/D Analog to Digital 模拟数字转换 AI Artificial Intelligence 人工智能 AR Augmented Reality 增强现实 BCI Brain-Computer Interface 脑机接口 CCD Cha
45、rge Coupled Device 电荷耦合器件 CDN Content Delivery Network 内容分发网络 CG Computer Graphics 计算机图形学 CMOS Complementary Metal Oxide Semiconductor 互补金属氧化物半导体 GPU Graphics Processing Unit 图形处理器 IOT Internet Of Things 物联网 MEC Mobile Edge Computing 移动边缘计算 MR Mixed Reality 混合现实 ROI Return of Investment 投资回报率 SLAM S
46、imultaneous Localization And Mapping 即时定位与地图构建 VR Virtual Reality 虚拟现实 XR Extended Reality 扩展现实 中国移动研究院 超视频化技术白皮书(2022)22+,-.$1 林昊,2021 阿里云视频云全景创新峰会主题演讲超视频时代 2 中国电子信息产业发展研究院、中国超高清视频产业联盟政策工作组超高清视频产业发展白皮书(2021 年)3 何泽浩,隋晓萌等基于全息光学的虚拟现实与增强现实技术进展,科技导报:2018,Vol.36 4 中国电子技术标准化研究院数字孪生白皮书(2020)5 AMiner人工智能之情感计算,2019 年第 6 期,2019.9 6 拉杰什 P.N.拉奥,张莉,&陈民铀,脑机接口导论,机械工业出版社,2016 7 Neuralink 与大脑的神奇未来,2020.11 8 Spatial Computing,December 2015,Communications of the ACM 59(1):72-81 9 中国移动5G 云 XR 云网架构与解决方案研究报告 ,2020.8 10 中国移动算力网络白皮书,2021.11 11 元宇宙专题报告从英伟达 Omniverse 看科技巨头的元宇宙布局,2021.11