《中国信通院:实时云渲染技术与产业发展研究报告(2023)(84页).pdf》由会员分享,可在线阅读,更多相关《中国信通院:实时云渲染技术与产业发展研究报告(2023)(84页).pdf(84页珍藏版)》请在三个皮匠报告上搜索。
1、 (20232023 年年)中国信息通信研究院泰尔终端实验室 电信终端产业协会云协同创新工作委员会 2023年12月 实时云渲染技术与产业发展实时云渲染技术与产业发展研究报告研究报告 版权声明版权声明 本报告版权属于中国信息通信研究院、电信终端产业协会,并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的,应注明“来源:中国信息通信研究院、电信终端产业协会”。违反上述声明者,编者将追究其相关法律责任。本报告版权属于中国信息通信研究院、电信终端产业协会,并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的,应注明“来源:中国信息通信研究院、电信终端产业协会”。违反上述声明者,
2、编者将追究其相关法律责任。前前 言言 当前,国际形势错综复杂,百年变局加速演进,全球主要经济体争先抢占新一轮科技发展增长制高点。在信息技术快速迭代及新兴应用市场需求演变升级的双轮驱动下,全球数字化建设加速推进,虚拟化、沉浸感、强交互等新方向成为行业发展焦点,实时云渲染作为以云计算为基础的新型渲染方式应运而生、蓬勃发展。实时云渲染能够提高数字内容创作效率,提升数字内容呈现质量,推动数字产业完善升级,促进数实融合深度发展,全面赋能数字产业转型,将持续为数字中国建设和数字经济发展提供多方面助力。本报告从数字化建设、顶层战略规划、新兴信息技术变革、应用场景融合拓展等四个层面分析了实时云渲染产业发展的背
3、景,提出实时云渲染的概念及定义。首次明确了实时云渲染“四纵一体”的技术体系结构,并对低时延高带宽网络、高性能存储、分布式渲染等多项关键技术进行了重点剖析。通过行业头部企业调研、数据分析和案例梳理,并结合相关领域专家学者建议,对实时云渲染产业发展现状和未来发展趋势进行了深入研究和分析预测,希望通过本报告可以帮助实时云渲染行业相关参与者深度了解和认识整个行业的发展脉络,共同推进行业的长足发展。目目 录录 一、发展背景.1(一)数字化建设驱动实时云渲染产业应运而生.1(二)顶层战略规划为实时云渲染发展提供政策引领.2(三)新兴信息技术变革升级为实时云渲染发展夯实产业根基.3(四)应用场景融合拓展助推
4、实时云渲染产业规模化升级.6 二、概念及内涵.7(一)需求牵引和技术演进双轮驱动,计算机渲染跨入实时云渲染时代.7(二)实时云渲染:以云计算为基础的新型渲染方式.11 三、关键技术剖析.17(一)技术体系:呈现“四纵一体”结构特征.18(二)低时延高带宽网络:构筑网络基础设施底座.19(三)云存储:满足海量多类型数据存储和管理需求.20(四)边缘计算:丰富实时性、强交互性应用场景.22(五)虚拟化:提高资源利用率和系统灵活性.23(六)异构算力池化:实现计算资源按需分配和灵活扩展.26(七)实时数据传输:全方位提升用户使用体验.27(八)音视频编解码:保障高质量音视频网络传输.29(九)分布式
5、渲染:助力渲染效果量质齐升.34 四、产业生态及市场前景.37(一)产业形态逐步明晰,链条合作协同升级.37(二)产业市场初见规模,应用领域多向开拓.39(三)综合能力象限评估,多家主体崭露头角.41 五、发展趋势.45(一)云渲染服务从谋求单点技术的“极致”,向多元化、专业化、场景化综合生态发展.45(二)元宇宙、数字孪生、AIGC 等前沿应用为实时云渲染产业发展提供强大驱动力.48(三)人工智能技术推动实时云渲染更加智能化、自动化、高效化.50 六、行业应用与典型案例.53(一)教育行业.53(二)工业行业.54(三)医疗行业.56(四)文旅行业.59(五)金融行业.63(六)游戏行业.6
6、5(七)影视行业.75 图图 目目 录录 图 1 计算机渲染发展历程.7 图 2 实时云渲染运行过程.12 图 3 实时云渲染技术体系(2023).18 图 4 边缘计算结构图.22 图 5 边缘计算应用场景对网络延迟要求.23 图 6 实时云渲染产业全景架构图(2023).37 图 7 全球实时云渲染产业规模及增长预测.39 图 8 实时云渲染领导力象限图(IaaS层).43 图 9 实时云渲染领导力象限图(PaaS层).44 图 10 实时云渲染领导力象限图(应用层).45 图 11 国开在线官方网站展示庭宇木鹰云教育.54 图 12 火山引擎 VR 医疗教育培训技术方案框架图.57 图
7、13 数字人工具平台架构图.60 图 14 元境解决方案.63 图 15 蔚领云游戏服务平台.67 图 16 元境解决方案.69 图 17 分布式实时云渲染流程.71 图 18 车载云游戏方案.72 图 19 达龙云解决方案.74 图 20 星际广场画面.76 表表 目目 录录 表 1 不同分布式渲染对比表.35 表 2 实时云渲染领导力象限评估指标体系.42 实时云渲染技术与产业发展研究报告(2023年)1 一、发展背景(一)数字化建设驱动实时云渲染产业应运而生(一)数字化建设驱动实时云渲染产业应运而生 当前,国际形势错综复杂,百年变局加速演进,全球主要经济体争先抢占新一轮科技发展增长制高点
8、。数字经济作为继农业经济、工业经济之后的主要经济形态,以数据资源为关键要素,以现代信息网络为主要载体,以信息通信技术融合应用、全要素数字化转型为主要推动力,在加快经济社会转型的变革中发挥了关键作用,并逐步上升为各国重要战略指引。党和国家高度重视数字经济发展,党的十八大以来,以习近平同志为核心的党中央高度重视发展数字经济,不断加强顶层战略布局规划,持续完善数字化建设协调机制,在习近平新时代中国特色社会主义思想特别是习近平总书记关于网络强国的重要思想的指导下,我国数字经济顶层战略规划体系渐趋完备。2023 年 2 月,中共中央、国务院印发数字中国建设整体布局规划,规划明确,全面提升数字中国建设的整
9、体性、系统性、协同性,促进数字经济和实体经济深度融合,以数字化驱动生产生活和治理方式变革,为以中国式现代化全面推进中华民族伟大复兴注入强大动力。数字经济已经成为推动中国经济增长、加快数字化建设的主引擎,引领传统产业转型升级,助力消费需求加速释放,促进经济形态重构变革。在数字化转型的驱动下,数实融合深入推进,人类消费需求不断升级加深,实时云渲染产业应运而生。当前,虚拟化、沉浸感、强交互等新方向成为行业发展焦点,元宇宙、数字娱乐、数字文旅、实时云渲染技术与产业发展研究报告(2023年)2 数字孪生等实时性交互应用进入发展窗口期,数字化建设驱动实时云渲染产业蓬勃向上,催化实时云渲染技术快速发展。实时
10、云渲染能够充分发挥云端海量计算资源及高速网络传输的优势,提高数字内容创作效率,降低数字内容创作成本,提升数字内容呈现质量,升级用户使用体验,推动数字产业完善升级,已经成为数字化时代推进中国式现代化的重要引擎,并持续为数字中国建设和数字经济发展提供多方面助力。(二)顶层战略规划为实时云渲染发展提供政策引领(二)顶层战略规划为实时云渲染发展提供政策引领 国家和各地区相继出台系列政策推动数字化建设,为实时云渲染产业提供了强有力的政策支撑及广阔的发展环境。2022 年 4 月,国务院发布关于进一步释放消费潜力促进消费持续恢复的意见,提出推进“第五代移动通信(5G)、物联网、云计算、人工智能、区块链、大
11、数据等领域标准研制,加快超高清视频、互动视频、沉浸式视频、云游戏、虚拟现实、增强现实、可穿戴等技术标准预研,加强与相关应用标准的衔接配套”。2022 年 10 月,工业和信息化部、教育部、文旅部、国家广播电视总局、国家体育总局联合发布虚拟现实与行业应用融合发展行动计划(2022-2026 年),明确将“渲染处理”作为关键技术融合创新工程重点推进,提出“重点推进渲染优化技术,研发混合云渲染、基于眼球追踪的注视点渲染、人工智能渲染等新兴技术,推动虚拟现实渲染处理向软硬耦合、质量效率兼顾的精细化方向发展”以及“开发三维场景编辑器、高性能拼接缝合、高精度云端实时渲染处理、虚拟现实视频融合制播、沉浸实时
12、云渲染技术与产业发展研究报告(2023年)3 式音频编辑制作等关键内容生产软件”。2023 年 9 月,工业和信息化部办公厅、教育部办公厅、文化和旅游部办公厅、国务院国资委办公厅、广电总局办公厅联合印发元宇宙产业创新发展三年行动计划(20232025 年),行动计划提出,“强化人工智能、区块链、云计算、虚拟现实等新一代信息技术在元宇宙中的集成突破”、“打造适用元宇宙的智能内容生产工具,实现多人实时协同、端边云一体渲染的内容生产”。在元宇宙中,用户将实时访问大量的虚拟数据、场景和模型等,并进行实时的交互和操作,海量的图形渲染将会带来超大量数据的吞吐和计算,需要以强大的算力和实时云渲染技术为能力支
13、撑。数字中国、虚拟现实、元宇宙等相关产业政策的发布进一步提升了新一代信息技术发展的高度,促进实时云渲染技术的创新与升级,为实时云渲染产业的生态发展、试点应用、标准构建等提供要素保障及政策引导。(三)新兴信息技术变革升级为实时云渲染发展夯实产业根基(三)新兴信息技术变革升级为实时云渲染发展夯实产业根基 云计算、人工智能、新型通信网络等为代表的新一代信息技术蓬勃发展,不断催生新行业、新应用、新模式、新生态。新兴技术已全面融入人类政治文化、社会生活、生态文明建设的各领域及全过程,成为促进消费、拉动投资、扩大市场、提升国家综合实力的重要抓手。新兴技术在人类需求以及科技创新的驱动下不断变革升级,进一步夯
14、实以数字化技术为核心的产业发展根基。云计算技术加速演进,算力服务构建全新算力范式,为实时云实时云渲染技术与产业发展研究报告(2023年)4 渲染产业发展提供算力保障。在算力服务方面,云计算突破了单台计算机算力的瓶颈,带动算力由量变产生质变,以 GPU 为代表的新一代计算芯片正按照摩尔定律的发展规律周期性地提升着单点计算能力,推动算力服务模式创新升级,算力的发展逐渐呈现出多技术融合、多架构共存、多领域协同、多行业渗透、多元化发展的生态特征。算力服务在赋能传统行业的同时加速新兴产业算力化的进程,云网边端融合协同,形成全新算力经济范式。在云计算规模方面,Gartner 数据显示,2022 年,全球云
15、计算市场规模为 4,910 亿美元,增速 19%,预计到 2026 年将突破万亿美元。在大模型、新场景算力需求的刺激下,云计算市场仍将保持快速的增长。实时云渲染是以云计算为基础的新型渲染方式,云计算市场的稳定发展能够为实时云渲染产业的发展提供关键的技术支撑及良好的市场环境。同时,随着市场业务发展及网络性能的不断提升,全球云计算中心算力逐渐向边缘下沉,将密集型和实时性任务迁移至附近的网络边缘,能够快速响应用户请求并提升服务质量,提高了万物互联时代大规模数据的处理效率,进一步保障了实时云渲染对实时性的高性能要求。5G+F5G 双千兆网络协同发展,万兆网络融合创新,构筑实时云渲染基础设施网络支撑。以
16、 5G 和 F5G 为代表的“双千兆”网络,能够实现超大带宽、超低时延、超高速率的网络传输,是新型基础设施的重要组成和承载底座。实时云渲染过程需要进行大量的数据传输和处理计算,低时延、高带宽网络是保障云端渲染服务器到本地用户终端设备间实时数据传输的基本条件。工业和信息化部已印实时云渲染技术与产业发展研究报告(2023年)5 发的“双千兆”网络协同发展行动计划(2021-2023 年)提出,用三年时间,基本建成全面覆盖城市地区和有条件乡镇的“双千兆”网络基础设施,实现固定和移动网络普遍具备“千兆到户”能力。截至 2023 年 6 月底,我国 5G 基站累计已达到 293.7 万个,覆盖所有地级市
17、城区、县城城区,覆盖广度深度持续拓展。此外,我国千兆光网城市建设深度推进,万兆光网开启深入研究,通信网络全面提速扩容,全光联接已成为未来数字时代的基础。云边一体、算网一体、多元化、高质量的新型算力全面支撑数字化建设,为实时云渲染超高内容拟真度、实时交互自由度提供算力保障,构筑实时云渲染基础设施网络支撑。人工智能发展迈入全新阶段,拓宽实时云渲染上层应用生态边界。人工智能技术快速发展,机器学习算法取得重大突破,生成式人工智能技术大幅提升模型制作效率,人工智能生成内容(AIGC)重塑数字内容生产方式和消费模式。内容生产方式的变革颠覆了创作信息处理、加工、结构化的全过程,在办公、影视、娱乐、电商等数字
18、化程度高、内容需求丰富的行业取得重大进展。人工智能算法与渲染技术的深度融合改变了应用内容的渲染效能及渲染质量,进一步拓宽实时云渲染上层应用生态边界。在渲染画面质量方面,英伟达发布的新一代系列显卡中,推出了包含深度学习超采样(DLSS)功能的驱动程序,通过降低渲染图像分辨率然后采用人工智能算法填充像素的方式,大幅提升渲染画面精细度,随着 DLSS技术的演进,画面的分辨率和帧率性能不断提升。在图像预处理方实时云渲染技术与产业发展研究报告(2023年)6 面,采用深度学习降噪处理方式预先对图像进行降噪处理,能够获得更优的峰值信噪比与结构相似性,减少高保真图像的渲染时间,提升图像最终的渲染质量。(四)
19、应用场景融合拓展助推实时云渲染产业规模化升级(四)应用场景融合拓展助推实时云渲染产业规模化升级 实时云渲染能够为用户带来全新的交互体验和视觉体验。云购物、云会展、云论坛等新的商业场景持续壮大,云演艺、云旅游等新的文旅场景不断演进,云游戏、云社交等新的娱乐场景快速发展,数字孪生、医疗影像等工业场景不断开发。智慧可视化层面,数字孪生在智慧交通、智慧城市、智慧园区、建筑信息化领域的应用逐渐加深,随着数字经济和云端治理的发展,对场景加载、渲染、交互体验的需求不断提升,实时云渲染技术助力数字模型和真实实体的逐一映射、连接、交互,满足场景对“实时、移动、交互”的用户需求。互动娱乐层面,以云游戏为代表的数字
20、娱乐产业在 5G 技术的催化下快速发展并呈稳定增长的趋势,已经步入“商业可行走向商业腾飞”的发展进程,在产业快速发展过程中,加快了高性能渲染算力及网络基础设施的不断建设,推动了虚拟化、流媒体传输等核心技术的研发升级,促进了网络基础设施的建设和优化,推动了实时云渲染技术的成熟与应用。根据信通院全球云游戏产业深度观察及趋势研判研究报告(2023 年)数据,2022 年中国云游戏市场收入已达 63.5 亿元人民币,同比增长 56.4%,云游戏的规模化应用成为实时云渲染产业蓬勃发展的重要助推剂。市场营销层面,在实时云渲染技术与产业发展研究报告(2023年)7 产业数字化及数字产业化的驱动下,数字技术持
21、续赋能零售、文旅、博览、汽车、地产等行业,助力营销模式推陈出新,线上定制、线上浏览、虚拟演唱会等方式得到快速推广。实时云渲染以优质的建模效果和渲染质量,为用户呈现更真实、更逼真、更生动的写实产品或人物形象,有效提升了用户的获客率及留存率。二、概念及内涵(一)需求牵引和技术演进双轮驱动,计算机渲染跨入实时云渲染时代(一)需求牵引和技术演进双轮驱动,计算机渲染跨入实时云渲染时代 计算机渲染技术的发展过程大致可分为五个阶段,分别是早期探索阶段(20 世纪 50 年代至 70 年代)、产业化初期阶段(20 世纪80 年代)、快速成长阶段(20 世纪 90 年代)、技术加速变革阶段(21 世纪初)、行业
22、创新与爆发阶段(21 世纪 10 年代至今)。来源:中国信息通信研究院 图 1 计算机渲染发展历程 实时云渲染技术与产业发展研究报告(2023年)8 早期探索阶段(20 世纪 50 年代至 70 年代)。1950 年,美国麻省理工学院旋风一号计算机配备了世界上第一台图形显示器,该显示器通过使用阴极射线管实现了图像显示功能,但是不能对图形进行交互操作,此时的计算机图形学处于准备和酝酿时期,称之为“被动式”图形学。1959 年,林肯实验室第一次使用了具有指挥和控制功能的阴极射线管显示器,“被动式”图形学开始迈向交互式计算机图形学。1970 年代,随着光栅显示器的诞生与应用,光栅图形学算法迅速发展,
23、区域填充、消隐、裁剪等概念相继出现,很多国家开启以计算机图形学为基础的 CAD 系统的研究,图形学进入第一个兴盛时期,计算机图形学与渲染计算技术取得关键性突破。产业化初期阶段(20 世纪 80 年代)。20 世纪 80 年代,带有光栅扫描显示器的微型计算机和图形工作站相继诞生,极大的推动了计算机图形技术的演进。80 年代时期,图形加速硬件公司相继成立。1981 年 SGI 成立,1985 年 VideoLogic(后来改名为 Imagination Technologies)以及 ATI Technologies Inc(后来被 AMD 收购)成立,1989 年 S3 Graphics 成立。
24、产业链的不断完善推动了图形硬件的创新和竞争,图形渲染的速度和质量不断提高,成本和功耗不断降低。随着奔腾系列 CPU 产品更迭升级,计算机图形的部分软件功能开始由硬件去实现,并且随着高性能显卡、液晶显示屏、高传输率大容量硬盘的推广使用,计算机整体性能不断提升。80 年代中期以后,超大规模集成电路技术快速发展,计算机运算能力显著增强,图形处理速度明显提升,全面促进了图形学相关研究方向的进展。但该实时云渲染技术与产业发展研究报告(2023年)9 时期的计算机渲染技术应用仍处于传统阶段,采用的是基于线框模型的平面着色技术,只能呈现简单的几何形状和颜色,无法呈现真实感和光影效果。快速成长阶段(20 世纪
25、 90 年代)。20 世纪 90 年代,N64、PlayStation、Sega Saturn 等游戏主机发售,电子游戏进入 3D 游戏时代。伴随着 3D 游戏的推广,SGI 公司推出 3D 图形接口 OpenGL,微软推出用于 Windows 操作系统的 3D 图形接口 Direct3D。OpenGL和 Direct3D 为计算机图形学提供了底层支持,使得开发人员能够更好地实现复杂的 3D 图形渲染效果。1993 年 NVIDIA 成立,1994 年3dfx 成立,NVIDIA 以及 3dfx 的出现对整个计算机行业产生了极其深远的影响。1999 年,英伟达首次提出了 GPU 的概念,并推出
26、能够提供完整渲染能力以及进行硬件加速的 GeForce 256 显卡。GPU的发明和应用,使图形渲染的功能和效率得到了极大的提升,并为图形编程和图形算法的研究和创新提供了更强大的平台和工具。芯片硬件以及软件系统的演进升级,加速了 3D 渲染技术的成熟,计算机图形学不断朝着更标准化、更集成化和更智能化的方向发展,离线渲染技术日趋成熟。技术加速变革阶段(21 世纪初)。2000 年代,采用更加复杂光照模型和算法、呈现更加真实光照效果的全局光照渲染技术开始发展。2001 年,微软推出 Direct3D 8.0,Direct3D 8.0 支持处理顶点的Vertex Shader 以及处理像素的 Pix
27、el Shader,标志着可编程渲染管线的出现。实时云渲染技术与产业发展研究报告(2023年)10 2006 年,“云计算”概念正式被提出,云计算改变了用户获取ICT 资源的方式,引发 ICT 产业的深刻变革,云计算服务厂商相继构建多元化的云服务能力。亚马逊推出 Amazon Elastic Compute Cloud(Amazon EC2)服务,微软推出 Azure 云计算平台和 Azure Batch 服务,Google 推出 Google Cloud Platform 和 Zync Render 渲染服务。云计算具有高性能的计算资源及海量的存储资源,并能以动态按需和可度量的方式向用户提供
28、服务,为云渲染的规模化应用奠定基础。行业创新与爆发阶段(21 世纪 10 年代至今)。随着全球云计算基础设施建设的加速推进,计算机渲染技术进入新的探索时代实时云渲染时代。2010 年 Onlive 正式推出实时云渲染服务云游戏,但受限于当时的网络条件等因素,整体处于技术探索期。2019 年随着 5G 的正式商用以及云端基础设施的日益完善,云游戏正式进入发展的窗口期,谷歌、微软、索尼、英伟达在云游戏领域投入继续扩大,国内中国移动咪咕、电信新国脉、联通小沃、腾讯、网易等都相继推出了云游戏平台。2021 年,元宇宙概念火热并相继成为各国科技竞争的战略制高点,进一步促进实时云渲染服务体系的完善与技术创
29、新的加速。2022 年,虚拟现实(VR)软、硬件供应商密集迎来融资,海内外巨头持续加码元宇宙,基于云渲染的 Cloud XR 大幅降低头显算力门槛。2023 年,AIGC 全球高度普及,为三维内容制作和数字人赋能,实时云渲染是超写实虚拟数字人低门槛走进消费者的重要一环,其关键技术再次被行业关注。随着元宇宙、云应实时云渲染技术与产业发展研究报告(2023年)11 用等虚拟场景的不断推广及数字内容创作领域的不断升级,渲染任务对硬件计算性能和存储空间提出了新的挑战,对渲染质量和渲染时效提出了更高的要求。依托高速率、大带宽、低延时网络技术和更强大云端计算资源的实时云渲染成为行业发展的必然趋势,计算机渲
30、染正式跨入实时云渲染时代。(二)实时云渲染:以云计算为基础的新型渲染方式(二)实时云渲染:以云计算为基础的新型渲染方式 1、实时云渲染的定义 实时云渲染是以云计算为基础的新型渲染方式,所有渲染工作都在服务器端运行,并将渲染完毕的画面及声音编码后以音视频流的方式通过网络实时传输给用户。实时云渲染是在云计算、虚拟化、渲染引擎等技术迅猛发展的基础上新兴的渲染方式,其利用云计算资源和分布式计算技术,将复杂的二维或三维图形场景实时渲染成高质量的视频流。在这种渲染方式下,客户端发起渲染交互指令,将所有的渲染工作都交由云端服务器实时进行,最后将渲染后的声音及画面编码生成音视频流形式,通过网络实时传回客户端,
31、实现云端渲染效果的实时展现,进而保证用户获得即时的反馈和体验。2、实时云渲染运行过程 实时云渲染的原理是将所有的渲染程序部署至云端处理,渲染完成后,将编码后的视频流实时传送至客户端。运行过程如下:第一,用户根据使用需求发起创建渲染任务的请求。第二,用户在客户端向调度服务器发起渲染请求指令,调度服务器将任务相关的 3D实时云渲染技术与产业发展研究报告(2023年)12 场景数据、纹理、光照和其他参数分发至云端渲染服务器。第三,渲染服务器根据指令请求对渲染任务进行计算处理,并将渲染结果进行编码,形成视频流回传至客户端。第四,客户端对收到的视频流进行解码,并呈现最终的渲染结果。客户端将解码后的图像渲
32、染在屏幕上,用户通过鼠标、键盘等输入设备进行操作交互时,渲染服务器响应用户操作指令,更新渲染内容。数据来源:中国信息通信研究院 图 2 实时云渲染运行过程 在整个渲染流程中,渲染服务器发挥着桥头堡的作用,服务器的架构设计及算力性能直接影响渲染的最终结果。在实时云渲染技术中,渲染服务器通常使用分布式渲染系统来进行任务的分发和并实时云渲染技术与产业发展研究报告(2023年)13 行计算,同时能按照不同的业务需求进行弹性扩展,依据渲染任务的数量和复杂度自动调整渲染节点的数量,确保在高负载或者复杂场景下仍能提供高效高质的渲染服务。渲染服务器集群会设置一个(或几个)调度节点和多个渲染节点。调度节点负责任
33、务调度和控制整个渲染流程:在渲染计算量较高的情况下,通常会根据渲染节点的负载情况及网络延迟等因素,使用分布式任务调度算法将渲染任务动态分发给渲染节点进行并行计算,然后将渲染结果进行合并和编码,最后传输给客户端,以便实现更佳的负载均衡和最优的资源利用。渲染节点是独立的计算单元,每个渲染节点负责渲染部分场景或多个场景中的一部分,并将渲染结果返回给调度节点。不同渲染节点之间通常使用高速网络进行数据传输,并基于高速传输协议和通过优化算法来减少数据传输的延迟和带宽消耗。并行计算的渲染方式不仅能加速整体的渲染过程,还能保证渲染的画面质量和用户体验效果,进而提高整体的渲染效率。3、实时云渲染主要特征 相比于
34、其他计算机渲染方式,实时云渲染体现了以下显著特征:一是终端设备轻量化。实时云渲染将资源消耗占比最大的图形计算需求迁移至云端后,能够大幅降低对本地终端的硬件配置需求,使终端设备的主要功能聚焦于显示和交互上,从而实现终端的无绳化、移动化、轻量化,充分释放用户的使用限制,进一步加速元宇宙等前沿应用的规模化落地。实时云渲染技术与产业发展研究报告(2023年)14 二是应用跨平台支持。实时云渲染基于云计算理念,利用云流送技术实现三维应用的交互及实时访问,通过将本地任务部署到远程服务器,通过远程高阶的计算机集群进行运算和操作,把运行结果用“流”的方式推送至各类终端。用户可通过不同的终端设备接入云端渲染服务
35、,无需受限于特定的操作系统或终端平台,从而打破设备和地域的限制,实现资源共享和互动。三是即时便捷性。实时云渲染能够实现即时的渲染和交互体验。用户可以即时加载应用程序或场景,并立即开始进行渲染和交互操作,无需等待漫长的下载或安装过程。这种快速的部署和即时体验提供了良好的便利性和使用效率,用户可以立即享受到云端渲染的优势,无需额外的等待时间。四是渲染质量提档升级。云渲染的原理是利用高速互联网的传输能力,将渲染过程从个人终端迁移至云渲染服务器集群。海量的云端计算资源对数据的处理能力远超过单台终端设备的计算能力,因此实时云渲染的服务方式促使渲染质量进一步提档升级。五是用户体验持续进阶。实时云渲染的推广
36、应用解除了渲染任务对终端硬件性能的依赖,打破了因设备存储、性能、算力等方面的不足对高精度、高沉浸感使用场景的桎梏。利用超强的云端计算资源,能够实现更高的画面分辨率和更流畅的交互体验,为用户带来超高清、全实时、沉浸式、强交互的全新使用感受。实时云渲染在串流和编码压缩技术的支持下,能够提供高品质的细节呈现,通过使用云端高性能渲染服务器,可以支持高分辨率、高帧率的渲染,实时云渲染技术与产业发展研究报告(2023年)15 呈现逼真的光影效果和细节,基于物理拟真渲染的技术,可以提供与本地渲染相媲美的视觉品质。此外,云端渲染具备强大的计算和处理能力,能够支持大规模并发用户和复杂的渲染场景,通过云端的资源调
37、度和管理,能够保证用户在高负载情况下仍能获得稳定和流畅的渲染效果,尤其对于需要处理大规模渲染任务或需要同时满足多个用户需求的应用程序和场景,实时云渲染在保障良好用户体验层面发挥了关键作用。六是降本增效成果显著。当前云游戏、元宇宙、影视、文旅、教育等众多需要强渲染计算资源的新业务领域中的应用正加速推广,但因用户群体、使用场景的多元化,不同应用对算力的消耗有明显的峰谷时间差异。实时云渲染能够通过云端资源的精准化、结构化部署,充分整合和发挥云端算力资源优势,实现资源根据渲染场景的需求按需取用、灵活调度、弹性伸缩、动态扩展及高密度部署。在分时复用、全局协同调度等技术的加持下,能够大幅降低单位成本,最大
38、限度提升全域资源利用率。七是数据安全多重保障。实时云渲染将计算模型和数据部署在云端,用户端仅处理流化数据,无需下载或保存渲染相关内容,减少了数据被盗用的风险,进一步提高了数据的安全性。同时,云平台通常具备多重安全保障机制,统一能力纳管及统一攻击防护能够应对多种突发事件和安全威胁,保护用户和应用数据的安全。4、实时云渲染与其他渲染方式的差异 实时云渲染作为计算机渲染发展的创新阶段,与离线渲染、实实时云渲染技术与产业发展研究报告(2023年)16 时渲染、混合渲染等渲染方式在实时性、交互性、应用场景、终端要求、渲染图像质量等核心维度层面既有交叉重叠,又有技术区别。离线渲染,首先进行物体建模,规划好
39、场景和点、线、面、材质、光照等渲染参数,再根据事先定义好的场景设置,将模型在视点、光线、运动轨迹等不同因素下的视觉画面计算出来。离线渲染可以利用更高级的光线追踪、全局光照以及复杂的几何建模和纹理,生成逼真度更高的图像,因此广泛应用于需要极高图像渲染质量的场景,如电影和电视动画制作。离线渲染通常需要大量的计算资源,但因对实时性没有特殊的要求,因此离线渲染的制作周期相对较长,难以在实时场景中应用。实时渲染,要求在用户操作时,系统能够在短时间内生成并呈现高质量的图像或视频,对实时性有严苛的条件要求,以保证用户的操作交互能够得到即时的视觉反馈。实时渲染一般是在本地终端上完成,主要强调实时性和交互性,通
40、常采用图形加速卡来实现高效的图形计算和渲染,一般用于电子游戏、3D 应用等实时的交互性应用场景中。相较于离线渲染,实时渲染的渲染时间更短,可以实时响应用户操作,但会牺牲图像质量来确保足够的帧率和响应速度,因此图像质量相对较低,无法达到真实光影的效果。混合渲染,将实时渲染和离线渲染关键技术相融合,在满足实时交互要求的同时,输出更高质量的图像或视频,需要高性能的图形硬件和与云端的稳定连接。在混合渲染中,渲染任务被拆分为在云端和本地并行处理。云端利用其强大的计算和存储能力来处理高实时云渲染技术与产业发展研究报告(2023年)17 复杂度的渲染任务,比如全局光照和复杂的阴影效果。而本地则处理一些与用户
41、交互密切相关的渲染任务,如直接光照和视图相关的效果,来保证低延迟的要求。三、关键技术剖析 实时云渲染利用云端的强大计算能力实现高质量的图形渲染,再将渲染结果数据压缩后传输到终端,从用户的操作响应到最终的画面呈现,需要渲染引擎、服务器、通信网络、数据传输等多领域、多种类技术手段的相互配合,协同合作。实时云渲染技术并非仰仗某单一技术实现,而是一个完整的技术体系。实时云渲染技术体系涉及多项关键技术,本章选取实时云渲染技术体系中最为核心、最具代表性的关键技术进行剖析,包括降低云与端通信时延的低时延高带宽网络技术、满足海量多类型数据存储和管理需求的云存储技术、缓解云数据中心高峰期运算和带宽压力的边缘计算
42、技术、提高资源利用率的虚拟化和异构算力池化技术、保障和提升用户体验的实时数据传输技术与音视频编解码技术、提高渲染计算速度和效率的分布式渲染技术,以期能够尽量详细和全面地帮助从业者了解实时云渲染技术体系构成及相关技术原理。实时云渲染技术与产业发展研究报告(2023年)18(一)技术体系:呈现“四纵一体”结构特征(一)技术体系:呈现“四纵一体”结构特征 来源:中国信息通信研究院 图 3 实时云渲染技术体系(2023)实时云渲染技术体系是新一代信息技术的集合体,呈现出“四纵一体”的结构特征。四纵代表支撑实时云渲染运行的四大技术领域,包括基础硬件、网络通信、基础平台服务和工具引擎,一体代表实时云渲染所
43、依赖的核心技术是一个技术集合整体,相互融合、交叉赋能。基础硬件:实时云渲染的实现是建立在 CPU、GPU、高性能存实时云渲染技术与产业发展研究报告(2023年)19 储设备及云端服务器设备的支持之上,基础硬件的不断更新和升级是实时云渲染产业不断发展的基础和保障。同种硬件的多种类区分为不同云渲染业务需求提供了多样性的选择,增加了云渲染应用部署方式与业务需求之间的契合度,提升效能的同时减少了计算资源的浪费,全面助力产业降本增效的落实。网络通信:渲染结果的实时传输和用户操作的及时响应高度依赖于高速、稳定、低延迟的网络通信。网络通信技术搭建了机器与感官的桥梁纽带,包含 5G、边缘计算等技术在内的新一代
44、网络通信技术将助力数据走好云端与终端的“最后一公里”,极大增强用户使用体验。基础平台服务:基础平台服务主要通过虚拟化技术和弹性资源调度技术,实现计算、存储、网络等资源的弹性调配、智能分配和自动化管理,使复杂的云渲染任务可以高效稳定运行;并利用流化技术,实现高质量的云端渲染结果实时传输。基础平台服务大幅简化了应用开发和平台运维,提升了整体资源利用率和系统扩展能力。工具引擎:工具引擎是实时云渲染技术体系的核心。精确、逼真的渲染画面是用户选择实时云渲染技术的重要驱动力。实时渲染引擎叠加 AIGC 能力形成的 AIGC 类工具,可以提供更高质量的渲染结果、更好的实时交互性、自动化的渲染流程和智能化的资
45、源管理。(二)低时延高带宽网络:构筑网络基础设施底座(二)低时延高带宽网络:构筑网络基础设施底座 实时云渲染技术栈中的低时延高带宽网络技术是指利用高速网实时云渲染技术与产业发展研究报告(2023年)20 络传输技术,将云端计算资源和用户设备之间的通信时延降到最低,保证用户可以及时、顺畅地获取云渲染结果,并提高云渲染的效率和用户满意度。在云渲染过程中,需要进行大量的数据传输,如果网络不稳定或传输速度慢,将会导致用户体验下降和渲染时间延长,因此,低时延高带宽网络技术是保障实时云渲染运行的基础。具体可从网络架构、传输协议、缓存技术三方面进行阐述:网络架构:低时延高带宽网络技术通常采用分布式架构,将云
46、端计算资源分散部署在多个地理位置,通过高速互联网骨干网络进行连接。例如,云渲染服务提供商可以在全球各地的数据中心部署大量计算节点,通过高速互联网骨干网络将数据传输到用户设备上。传输协议:低时延高带宽网络技术通常采用 UDP 传输层协议进行数据传输。UDP 协议相比 TCP 协议具有更低的传输时延和更高的传输速率,同时,该技术还可以利用多路复用技术来提高数据传输效率,将多个数据流合并传输,从而降低传输时延。缓存技术:低时延高带宽网络技术可以利用缓存技术来减少数据传输量和传输时延,该技术将云渲染结果缓存到用户设备本地,当用户需要重新渲染同样的场景时,可以直接使用本地缓存数据,避免重新从云端下载数据
47、,从而提高渲染效率和用户体验。(三)云存储:满足海量多类型数据存储和管理需求(三)云存储:满足海量多类型数据存储和管理需求 云存储技术是一种基于云计算的存储服务,它将数据存储在云端服务器上,通过互联网实现数据的远程访问和共享。云存储技术是实时云渲染的核心技术之一,它可以提供高可靠性、高可扩展性、实时云渲染技术与产业发展研究报告(2023年)21 高安全性的存储服务,满足实时云渲染中海量数据的存储和管理需求,是实时云渲染实现实时、便捷、高效的重要保障。在实时云渲染中,应用数据和用户数据需要进行存储和管理,以便在不同的终端设备上进行访问和共享。渲染过程中需要处理大规模的数据,包括场景模型、纹理、光
48、照信息等,这些数据需要快速加载、读取和写入,以支持渲染引擎的实时计算和图像生成。传统存储解决方案在面对高负载和高吞吐量的工作负载时可能无法满足要求,因此需要借助高性能存储来提供高效的数据存储和访问能力。高性能存储通常采用诸如固态硬盘(SSD)、NVMe 和高速网络存储等相关技术来实现较高的 I/O 性能和低延迟。此外,高性能存储还通过并行数据访问、数据压缩和预取等优化策略,进一步提升存储系统的性能和效率。相比传统的本地存储方式,云存储技术具有以下优势:高可靠性:云存储技术可以提供高可靠性的存储服务,通过数据备份、数据冗余等技术可以保证数据的安全性和可靠性。高可扩展性:云存储技术可以根据用户需求
49、提供不同规模的存储容量,可以实现快速扩展和缩减存储容量。高安全性:云存储技术可以提供高安全性的存储服务,通过数据加密、访问控制等技术可以保证数据的安全性和隐私性。便捷性:云存储技术可以实现数据的远程访问和共享,用户可以在不同的终端设备上访问和管理数据,具有很高的便捷性和灵活性。实时云渲染技术与产业发展研究报告(2023年)22(四)边缘计算:丰富实时性、强交互性应用场景(四)边缘计算:丰富实时性、强交互性应用场景 边缘计算是随市场业务发展和网络性能提升而产生的一种新型的计算技术和服务形态。边缘计算作为一种新的计算范式,在更靠近终端数据的网络边缘上提供与云计算类似的算力服务,大大减少上传至云数据
50、中心的数据量,从而缓解中心核心部分的运算压力及网络带宽压力,降低网络传输时延,提升计算效率,节约计算成本,可以更好地解决数据安全和隐私问题。边缘算力形态呈现多样化、分散化的特征,算力规模依据需要处理的数据量进行精准化的部署,规模可以接近中心云规模大小进而建设成区域性边缘,也可以在现场进行微云的部署。来源:公开资料整理 图 4 边缘计算结构图 边缘计算广泛应用在物联网、音视频、实时云渲染、智慧工厂、安防监控、新零售等领域。但对于不同细分场景,对网络延迟要求有所差别,实时云渲染对延迟要求最高的是双眼不同画面的云 XR实时云渲染技术与产业发展研究报告(2023年)23 推流服务,其次是对交互有要求的
51、电竞娱乐、数字孪生、元宇宙场景的云游戏、云应用,要求最低的是用于普通基础办公或远程运维的 VDI 云桌面。放眼整个边缘计算应用,实时云渲染要求高于传统视频监控与智慧工程,但低于自动驾驶和远程手术。来源:公开资料整理 图 5 边缘计算应用场景对网络延迟要求 边缘数据中心规模化、规范化建设为 GPU 算力硬件设备提供了稳定的物理运行环境,云算力助推实时云渲染与边缘计算结合,给予了媲美本地运行的画质效果,考验了服务商对算力编排,资源调度,边缘异构设备混部的能力,充分利用边缘计算的特点,能对产品服务质量正向加持。(五)虚拟化:提高资源利用率和系统灵活性(五)虚拟化:提高资源利用率和系统灵活性 虚拟化技
52、术是一种抽象计算资源的技术,它通过软件模拟和硬件资源的抽象与隔离,为上层应用程序构建出一套拥有独立资源的虚拟运行环境。虚拟化技术可以实现资源的隔离、共享、动态分配实时云渲染技术与产业发展研究报告(2023年)24 等功能,提高资源利用率和灵活性。实时云渲染行业采用的虚拟化技术主要有:GPU 虚拟化:GPU 虚拟化在云渲染技术中起着重要的角色,主流 GPU 虚拟化主要有以下几种:一是直通模式:直通模式是将物理GPU 直接透传给虚拟机使用,对比物理机性能损耗最小,硬件驱动无需修改,被各大公有云厂商广泛采用。对于支持直通的 GPU 而言,直通模式没有对可支持的 GPU 数量做限制,也没有对 GPU
53、功能性做阉割。GPU 厂家的绝大多数新功能可以在直通模式下无修改地支持。所以直通模式性能损耗最小,基本可达和物理 GPU 一样的性能,功能兼容性好,技术简单,运维成本低,但是不支持热迁移,不支持对 GPU 资源的分割。二是 GPU 分片虚拟化:此处的分片从两个维度上来定义:其一,是对 GPU 在时间片段上的划分,与 CPU 的进程调度类似,一个物理 GPU 的计算引擎在几个 vGPU 之间共享,而调度时间片一般都在 1-10ms 左右;其二,是对 GPU 资源的划分,主要是指对 GPU 显存的划分。以 16GB 显存的 GPU 为例:一个物理 GPU 带有 16GB 的显存,那么按照 16 个
54、 vGPU 来划分,每个vGPU 得到 1GB 的显存。由于安全隔离的要求,每个 vGPU 独享分配给它的显存,不会与其它 vGPU 共享。分片虚拟化有一部分性能损失,但是更为灵活,可以将一块物理 GPU 卡灵活的切分成多个vGPU,并且对热迁移的支持比较友好。三是 GPU SRIOV 虚拟化:SRIOV 的本质是把一个 PCI 卡资源(PF)拆分成多个小份(VF),这些 VF 依然是符合 PCI 规范的 endpoint 设备。但是 SRIOV 虚拟化实时云渲染技术与产业发展研究报告(2023年)25 没有分片 vGPU 灵活,一般硬件决定了一块物理 GPU 可以切成几个vGPU,而且一般不
55、能再增加。实时云渲染场景需要根据场景选择合适的 GPU 虚拟化方案,主要从安全性,性能,vGPU 数量上进行综合选择。图形 API 虚拟化:如 OpenGL 和 DirectX 虚拟化,在图形 API 层进行虚拟化。操 作 系 统 虚 拟 化:KVM、VMware、vSphere、VMware Workstation 等。多进程虚拟化:多进程虚拟化是在单个操作系统内部,通过进程级的隔离来实现虚拟化。它可以在一台服务器上同时运行多个渲染进程,在消费级显卡上实现虚拟化的资源共享,提高 CPU 和 GPU的资源利用率。相比传统的物理资源分配方式,虚拟化技术具有以下优势:高资源利用率:虚拟化技术可以将
56、物理资源虚拟化为多个逻辑资源,提高资源利用率和灵活性。高灵活性:虚拟化技术可以实现资源的隔离、共享、动态分配等功能,提高系统的灵活性和可扩展性。高安全性:虚拟化技术可以实现资源的隔离和安全性控制,防止不同用户之间的资源冲突和安全漏洞。高可靠性:虚拟化技术可以实现资源的冗余和备份,提高系统的可靠性和容错性。实时云渲染技术与产业发展研究报告(2023年)26(六)异构算力池化:实现计算资源按需分配和灵活扩展(六)异构算力池化:实现计算资源按需分配和灵活扩展 随着计算机技术的不断发展,计算任务越来越复杂,对计算资源的需求也越来越高。实时云渲染作为一项复杂的计算任务,需要各种异构的算力资源来满足不同的
57、需求。为了更好地利用这些资源,提高渲染效率,降低资源浪费,异构算力池化技术应运而生。异构算力池化技术是指将不同架构、不同型号的算力资源(如 CPU、GPU、NPU、DPU、FPGA 等)整合到一个统一的资源池中,根据任务需求进行动态分配和调度。这种技术可以充分利用不同算力资源的优势,实现算力资源的按需分配和灵活扩展,提高资源利用率和整体性能。异构算力池化将充分发挥各资源的优势,实现资源的最优分配与灵活扩展。不同的渲染任务对算力资源的需求差异较大,异构算力池化技术可以根据任务需求选择最适合的算力资源进行计算,从而提高渲染效率。例如,有些任务更适合使用 CPU 进行通用计算,有些任务更适合使用 G
58、PU 进行大规模并行计算,或使用 FPGA 进行高度定制的计算。通过将这些异构资源汇集到一个资源池中,可以实现资源的最优分配与协同,充分发挥各资源的优势。异构算力池化将全面推动实时云渲染应用降本增效。传统的渲染方式会导致某些算力资源闲置,而异构算力池化技术通过统一的调度方案可以将资源充分利用,实现资源的灵活调度使用,从而提高资源利用率与整体性能,降低单一渲染场景的资源成本。实时云渲染技术与产业发展研究报告(2023年)27 随着新技术的不断涌现,异构算力池化技术将会不断创新和优化,为实时云渲染带来更加高效、灵活和便捷的服务。一是 AI 算法与异构算力池化技术的结合,实现智能化、自适应的渲染任务
59、调度和资源管理,进一步提高渲染效率和资源利用率。二是分布式计算技术与异构算力池化技术的结合,实现大规模、分布式的云渲染场景服务,满足实时交互的需求。三是移动终端、物联网设备和异构算力池化技术的结合,实现随时随地、无处不在的渲染服务,满足业务人员、管理人员以及终端用户的使用需求。随着可穿戴设备和物联网技术的不断发展以及元宇宙产业的快速发展,云渲染服务将会更加注重移动性和便携性。(七)实时数据传输:全方位提升用户使用体验(七)实时数据传输:全方位提升用户使用体验 实时云渲染技术中的实时数据传输技术,是指将云端渲染服务产生的渲染数据实时传输到用户的设备上,以便用户可以实时查看渲染结果的技术。主要包括
60、数据压缩、传输协议、网络架构、数据缓存和预加载、带宽控制技术、安全技术等。数据压缩:实时数据传输需要将大量的数据快速传输到用户端,因此需要采取数据压缩技术来减少数据传输量。通常采用的压缩算法包括基于视频编码标准的压缩算法(如 H.264、H.265)和基于图像压缩的算法(如 JPEG、PNG)等,这些算法具有高效的压缩性能和良好的图像质量,可以在保证传输速度的同时提供高质量的渲染结果。传输协议:实时数据传输需要采用高效的传输协议,在保证数实时云渲染技术与产业发展研究报告(2023年)28 据传输实时性的同时,提供高速的传输速度。通常采用的传输协议包括 RTC、QUIC、SRT 等,这些协议具有
61、低延迟、高速率和可靠性强等特点,可以满足实时数据传输的需求。网络架构:实时数据传输需要采用高速、低延迟的网络架构,将云端计算资源和用户设备之间的通信时延降到最低。通常采用的网络架构有分布式架构、CDN 加速等,这些架构可以提高数据传输速度和稳定性,减少数据传输时延。数据缓存和预加载:实时数据传输需要采用缓存技术来提高数据传输效率和用户体验。当用户需要重新查看渲染结果时,通过在用户设备上缓存部分渲染数据或提前加载下一帧的数据,可以减少等待时间,实现更快速的渲染和显示,提高查看效率和用户体验。带宽控制技术:实时数据传输需要控制数据传输速度,避免实时音视频流的传输占用过多网络带宽,造成带宽抢占。根据
62、当前的网络带宽情况,动态调整数据传输的速率和质量,以确保渲染结果能够在不同网络条件下快速和稳定地传输。通常采用的带宽控制技术有流量控制、速率限制等,通过控制数据传输速度,可以保证数据传输的稳定性和可靠性。安全技术:实时数据传输需要采用安全技术来保护数据传输的安全性。通常采用的安全技术有 SSL 加密、数字签名等,可以保护数据传输过程中的数据不被篡改或窃取。实时数据传输是实现云渲染的关键技术之一。它通过快速、稳定地传递用户指令和云端渲染结果,保障反馈的及时准确性,为用实时云渲染技术与产业发展研究报告(2023年)29 户降低了设备要求、提供多设备兼容性,实现了高效的云渲染体验。同时,它还为远程渲
63、染和灵活扩展等方面提供了支持,推动了云渲染在各个领域的广泛应用。(八)音视频编解码:保障高质量音视频网络传输(八)音视频编解码:保障高质量音视频网络传输 音视频编解码技术是一种将音频和视频数据进行压缩和解压缩的技术,旨在减小数据量以便在有限的带宽和存储容量条件下传输和存储音视频内容,在多媒体通信、流媒体传输、视频会议等领域起到了关键作用。音视频编解码技术在云渲染场景中扮演着重要角色,它能高效地压缩渲染图像和音频信号,并通过网路传输至客户端,进行数据的解码与展示。同时,还可利用 GPU 进行编解码实现高性能、高效率的数据处理,提供顺畅的音视频渲染体验。主要包括视频编解码技术、音频编解码技术。1、
64、视频编解码技术 编码算法:视频编码技术利用压缩算法对渲染图像进行压缩,以减小数据量并提高传输效率。常见的视频编码算法包括 H.264、H.265(HEVC)、VP8、VP9、AV1 等,这些算法通过去除冗余信息、空间和时间相关性等方法来实现高效压缩。VVC(Versatile Video Coding)作为一种新的视频编码标准,目前正在探索阶段。VVC 标准的目标是在保持高质量视频编码的情况下,能够降低码率和延迟。与 HEVC 相比,VVC 编码预计将码率降低 50%以上,同时还能提高视频质量和编码效率。GPU 加速编解码:使用 GPU 进行编解码可以利用其并行计算能实时云渲染技术与产业发展研
65、究报告(2023年)30 力,加速编码和解码过程。通过 GPU 的硬件加速和并行计算能力,可以实现更高的编解码性能和效率,减轻 CPU 负担,提升整体系统性能。码率控制:在云渲染场景中,通过控制编码器输出的比特率来平衡视频质量和传输带宽。常见的码率控制方法包括恒定比特率(CBR)、可变比特率(VBR)、恒定质量(CQP)等。分辨率和帧率动态调整:需要支持 1080P8K、60140FPS 等分辨率和帧率的编码。并能根据网络带宽和设备性能动态调整视频的分辨率和帧率以适应不同的播放环境,动态调整可以通过分辨率缩放、自适应码率等技术实现。编码输入格式:云渲染需要支持多种编码输入格式,以满足不同客户和
66、应用的需求。常见的编码输入格式包括 YUV 格式和 RGB 格式。YUV 格式是视频编码中常见的原始像素格式之一,它将每个像素分为亮度(Y)和色度(U、V)分量。常见的 YUV 格式包括 YUV420、YUV422、YUV444 等。其中,YUV420 是最常用的格式,它使用更低的带宽来传输色度信息,适用于大多数视频应用。RGB 格式是另一种常见的原始像素格式,它直接表示每个像素的红、绿、蓝三个颜色分量。常见的 RGB 格式包括 RGB888、RGBA8888、ARGB8888 等。RGB 格式在一些特定的应用场景中更为常用,例如GPU 渲染输出的图像格式。图像组大小控制:图像组(Group
67、of Pictures,简称 GOP)大小可以影响视频编码的压缩效率、传输延迟和解码质量。较小的 GOP实时云渲染技术与产业发展研究报告(2023年)31 可以提高视频编码的压缩效率,减小每个 GOP 的数据量,但也会增加传输延迟,因为解码器需要等待关键帧来恢复视频序列。较大的GOP 可以减小传输延迟,但可能会降低压缩效率和解码质量,因为非关键帧的压缩依赖于之前的关键帧。编码器模式:快速模式、标准模式和高质量模式在云渲染中用于平衡编码速度和视频质量。选择适当的编码器模式取决于应用或服务的具体需求,需要权衡实时性、高效编码和高视觉保真度之间的需求。快速模式旨在追求较快的编码速度,适用于对实时性要
68、求较高的场景。在快速模式下,编码器会采用一些快速算法和设置,以减少编码时间,但可能会牺牲一定的视频质量。标准模式是编码器的默认设置,提供了平衡编码速度和视频质量的选择。在标准模式下,编码器会根据一般需求采用合理的算法和参数配置,以在编码速度和视频质量之间取得平衡。高质量模式注重优化视频质量,愿意牺牲编码速度和效率来获得更好的视觉效果。在高质量模式下,编码器会采用更复杂的算法和更精细的参数配置,以提高视频的视觉质量,但可能会增加编码时间。随着人工智能的快速发展以及与各产业的深度融合,在传统的混合编码框架下,AI 深度学习技术被逐渐应用于编解码中,能够更好地提升编码效率和质量。主要包括以下几个方向
69、:基于机器学习的预测编码:预测编码是一种常用的视频编码技术,它通过利用视频帧间的相关性来进行压缩。基于机器学习的预实时云渲染技术与产业发展研究报告(2023年)32 测编码可以利用神经网络等机器学习模型来预测视频帧间的相关性,从而提高编码效率和质量。基于深度学习的视频超分辨率:视频超分辨率是一种通过增加视频的空间分辨率来提高视频质量的技术。基于深度学习的视频超分辨率可以通过训练神经网络来实现高质量的视频超分辨率,从而提高视频编码的质量和效率。基于深度学习的视频降噪:视频降噪是一种通过去除视频中的噪声来提高视频质量的技术。基于深度学习的视频降噪可以通过训练神经网络来实现高质量的视频降噪,从而提高
70、视频编码的质量和效率。基于深度学习的视频修复:视频修复是一种通过修复视频中的损坏和缺失来提高视频质量的技术。基于深度学习的视频修复可以通过训练神经网络来实现高质量的视频修复,从而提高视频编码的质量和效率。2、音频编解码技术 编码算法:音频编码技术使用压缩算法将音频信号转换为数字数据,并减小数据量以提高传输效率。常见的音频编码算法包括PCM(脉 冲 编 码 调 制)、MP3(MPEG-1 Audio Layer 3)、AAC(Advanced Audio Coding)等。采样率和量化位数:在云渲染场景中,音频编码需要根据网络条件和带宽限制,动态调整采样率和量化位数,以平衡音频质量和传输效率。常
71、见的音频采样率包括 44.1 kHz、48 kHz 等。常见的量实时云渲染技术与产业发展研究报告(2023年)33 化位数有 8 位、16 位、24 位等。声道数:在云渲染中,根据场景的需求和音频效果的要求,需要选择合适的声道数。对于需要呈现逼真环境的场景,使用多声道可以提供更具沉浸感的音频效果。对于一些简单的场景或低延迟的应用,可能只需要使用单声道或立体声即可满足要求。常见的声道数包括单声道(Mono)、立体声(Stereo)等。熵编码:音频编码技术使用熵编码算法(如霍夫曼编码、算术编码)对量化后的音频数据进行进一步压缩,以减少冗余信息。音频预处理:在编码前对音频信号进行预处理,如降噪、混响
72、抑制、均衡器调节等,以提高编码后音频的质量和环境适应性。动态质量调整:音频编码技术可以根据网络状况和设备性能实时调整编码参数,以平衡音频质量和传输效率,提供最佳的音频体验。音频混音:将多个音频源混合成单个音频流的技术,常用于多音轨或多人协同场景。音频混音可以实现不同音频源之间的平衡、混合和定位,以创建更丰富的音频体验。音视频编解码是保证实时云渲染正常运行的关键,由于实时云渲染场景的特殊性,因此对音视频编解码技术在实时性、传输效率、跨平台兼容性、多媒体格式支持、多路流处理等方面提出了更高的要求。实时性要求:实时云渲染要求渲染结果能够在用户终端设备上实时显示,以达到交互性和即时性的要求,部分云渲染
73、任务规模较实时云渲染技术与产业发展研究报告(2023年)34 大,但仍需要稳定地、实时地进行音视频数据的处理,因此对编码器性能提出了更高的要求。传输效率:云渲染需要对音视频数据进行高效的压缩和传输,以减小数据量并降低网络传输的带宽要求。同时,还需要保证在压缩过程中尽量减少对音视频质量的影响,以提供高质量的音视频渲染。跨平台兼容性:云渲染应用场景可能会面向不同的终端设备,因此音视频编解码需要具备跨平台兼容性,能够在不同设备上进行编解码操作,并确保兼容性和可靠性。多媒体格式支持:云渲染中涉及到多种多媒体格式,包括不同的视频编码标准、音频编码格式等。编解码器需要支持广泛的多媒体格式,以满足不同场景和
74、客户需求。多路流处理:在云渲染中,可能需要同时处理多个音视频流,如多个渲染任务的音视频数据。编解码器需要具备多路流处理的能力,能够同时解码和编码多个音视频流,并保持良好的性能和质量。(九)分布式渲染:助力渲染效果量质齐升(九)分布式渲染:助力渲染效果量质齐升 分布式渲染技术是一种利用多台计算机(或多个计算节点)分布式协同渲染单帧图像的网络渲染技术,可提供影视级的真实感效果、更逼真的光照及粒子特效。通过将任务分配给不同的节点,分布式渲染可以提高渲染速度和效率,同时还可以减轻单个节点的压力。分布式渲染服务通常提供管理工具和 API,以便用户可以轻松地管理和监控他们的工作负载。在部分渲染场景中,需要
75、同时联合实时云渲染技术与产业发展研究报告(2023年)35 声音技术更准确地还原空间声场,以与场景深度融合,因此需要更强的计算资源支持,传统单节点机器难以在效果与性能上取得平衡,此时需引入分布式实时渲染协同解决。分布式渲染主要采用并行图形架构,主要渲染方式如下,详见表 1。表 1 不同分布式渲染对比表 渲染类型 渲染方式 优点 缺点 Sort-first 对 屏 幕 进 行 网 格 式 划分,使其对应区域的待渲染物体由该区域的渲染 节 点 进 行 完 整 渲 染(包括几何处理和光栅化等),渲染节点完成子图像渲染结果后发送到Merge 节点进行图像拼接,形成最终图像。可水平扩展渲染节点,实现更大
76、场景与更高清的图像渲染需求。区块划分较为单一,容易导致 负 载 不 均衡,实现较复杂,同时可能出现时延不一致导致的等待现象。Sort-middle 几何元素重新分配发生在几何变换与光栅化间进行。每个几何处理单元会被分配接近相同数量的几何数据处理,处理完后的几何则是被几何坐标变换后的几何数据。这些几何数据会被排序进 Tiles,Tiles 是一个个组成整个屏幕且互不重叠的方块。Tile 内的数据会被传递给光栅单元和像素处理单元的共用,在其缓冲中,光栅单元和像素处理单元可以对这些数据进行极快的读写从而提升了效率。几何数据在网络间传输开销较大,不太适合分布式集群架 构 共 享 处理。同时对于图形分布
77、在多个 Tile 情况,需 要 多 次 绘制,增加了总渲染时间。Sort-last 将场景中的不同对象发可对图像进行负网络通信较为实时云渲染技术与产业发展研究报告(2023年)36 送到不同的渲染节点,每个节点渲染一个或多个具备深度的图像,最后将所有渲染结果汇总到中心节点,根据 z-buffer 进行合并。载均衡分配,避免单个节点渲染任务过重。复杂,需要传输大量图像与深度数据做后续处理;透明度难以处理。来源:公开资料整理实时分布式云渲染相对于普通实时云渲染,具有以下优势:一是分布式云渲染可以使 3D 渲染脱离算力的限制,可以满足超大规模场景、超拟真模拟、超逼真实时渲染效果的算力要求。二是能针对
78、超大场景实现实时细分算法,无需提前处理,可将网格细节最高提升上千倍,实时呈现影视级的视觉表达。三是能实现实时物理解算与流体仿真,基于物理碰撞实现刚体与流体的实时交互,仿真与渲染可以在不同 GPU 上执行,最高实现百万级粒子实时解算。分布式渲染将呈现云原生部署、渲算分离、端云协同的发展趋势。一是弹性伸缩,将传统单体渲染架构升级为基于微服务的云原生渲染架构,充分考虑网络延时、故障容错,资源冗余等特点,实现可快速伸缩、快速部署、水平分解的面向不同场景的方案。二是渲染计算分离,将场景渲染中的图形渲染部分和引擎计算部分工作负荷分离,发挥算网异构资源充足的特点,将不同类型任务交由不同节点分别完成,最终汇总
79、统一合并处理。三是端云协同,对渲染任务进行解耦设计,使渲染任务可以在云边端实现灵活切换和调度,有效利用终端闲置的硬件资源,复用运算结果降低重复计算,突破实时云渲染技术与产业发展研究报告(2023年)37 传统云渲染终端只做视频播放与交互的限制。四、产业生态及市场前景(一)产业形态逐步明晰,链条合作协同升级 (一)产业形态逐步明晰,链条合作协同升级 来源:中国信息通信研究院 图 6 实时云渲染产业全景架构图(2023)实时云渲染产业链条较长,主要分为底层能力、基础设施、平台服务、技术工具、行业应用及生态服务。底层能力方面,主要包括以 ARM 服务器、X86 服务器、SoC 阵列服务器等为主的基础
80、硬件以及数据存储、通信网络服务。多元化硬件架构间的性能指标差异决定着其不同的优势和适用场景。例如,ARM 服务器具有低功耗、高集成、高性价比等特点,适于移动端的云渲染;X86 服务器具有高性能、高兼容性等特点,适于 PC 端和 VR/AR 等高画质需求云渲染;SoC 阵列服务器的高并行、低延迟、算力异构等特点,使其能够满足多样化计算场景需求。而高速、高可靠、高容量的数据存储实时云渲染技术与产业发展研究报告(2023年)38 空间,高带宽、低延迟、低抖动的通信网络连接则决定了实时云渲染的数据安全、传输速度和用户体验。基础设施服务方面,指云渲染 IaaS 算力设施服务,为用户提供计算、存储、网络等
81、基础设施资源,并能根据用户需求实现弹性部署。当前 IaaS 算力设施服务提供商主要包括亚马逊、阿里云、腾讯云、海马云、火山引擎、启朔科技、云天畅想、瑞云科技等。随着云计算的加速演进以及应用场景的多变,算力服务的发展也逐渐呈现出多技术融合、多架构共存、多领域协同、多元化发展的生态特征,算力服务商相继推出全新的算力范式。平台服务方面,指云渲染 PaaS 平台服务,建立在云计算基础设施之上,为用户提供高效、安全、可靠、低成本的云渲染服务解决方案,助力客户快速搭建符合需求的应用及服务。主要包括提供渲染资源的分配、调度、监控、优化等功能的云渲染管理平台,提供云渲染的开发环境、开发工具、开发框架等功能,实
82、现需求快速开发的云渲染开发平台等。当前 PaaS 平台服务商主要包括阿里元境、蔚领时代、海马云、火山引擎、移动云、达龙云、云天畅想等。技术工具方面,主要包括渲染引擎、3D 建模平台、数字人系统、AI工具及内容创作平台。内容生产方式的变革重塑了创作信息处理、加工、结构化的全过程,改变了云渲染应用内容的品质及表现形式。同时,人工智能算法与渲染技术的深度融合提升了不同场景任务的渲染效率和渲染质量。多样化技术工具的应用将突破传统建模技术的单一性桎梏,在虚拟世界建构中碰撞出令人叹为观止的化学反应,真正使想象力如臂使指。行业应用方面,实时云渲染作为以云计算实时云渲染技术与产业发展研究报告(2023年)39
83、 为基础的新型渲染方式,依托“终端设备轻量化”、“跨平台支持”、“即时便捷性”等方面的优势,全面赋能于文旅、办公、娱乐、影响等生活消费领域,教育、医疗、交通、政务等公共服务领域,汽车、物流等生产制造领域以及元宇宙、数字孪生、AIGC 等前沿应用领域。实时云渲染较长的产业链条与交织融合的创新体系驱动厂商由供需合作向生态协同升级,主要表现为发展战略、资源整合及能力实现的协同。(二)产业市场初见规模,应用领域多向开拓(二)产业市场初见规模,应用领域多向开拓 来源:公开资料整理 图 7 全球实时云渲染产业规模及增长预测 产业市场初见规模,呈现蓬勃发展态势。根据统计及分析,2023 年,全球实时云渲染产
84、业规模预计达到 106 亿美元,市场规模达行业预期。随着元宇宙、AIGC 等前沿应用的牵引推动以及用户消实时云渲染技术与产业发展研究报告(2023年)40 费需求的进一步升级,2025 年全球实时云渲染规模有望突破 200 亿美元,实现 41.1%的快速增长。从总体发展阶段判断,当前实时云渲染产业处于重要战略机遇期。赋能作用深入发挥,应用领域多向开拓。实时云渲染作为以云计算为基础的新型渲染方式,能够为用户带来全新的交互体验、视觉体验、沉浸体验,广泛赋能于娱乐、影视、文旅、建筑、社交、办公等日常领域及元宇宙、数字孪生、AIGC 等前沿领域。实时云渲染技术在娱乐领域主要应用于云游戏、VR/AR、动
85、漫等行业,为用户提供高品质、高交互性、高沉浸感的娱乐体验,其中云游戏是目前实时云渲染技术在数字娱乐领域应用中市场份额占比最大的场景。随着分布式渲染、多视角协同渲染、容器化技术等能力的提升,将催生更多云原生游戏的出现,优质的云原生内容将助力云游戏实现爆发性增长,进而推动实时云渲染产业规模的不断扩大。实时云渲染技术在文旅领域主要应用于博物馆、景区、会展、虚拟活动等行业,通过数实深度融合,对文旅行业的用户体验、产业关系、文化价值、消费形式等进行多维度升级创新,为用户提供能在线上体验的高清还原的文化和旅游资源。随着文化产业数字化战略的实施落地及地方文旅资源与现代科技的紧密、快速、持续融合,实时云渲染技
86、术将会更广泛的赋能文旅产业,数字文旅的快速发展将对实时云渲染核心技术提出更高的要求,进而推动整个产业规模的提升。前沿应用相继落地,推动全球实时云渲染朝着泛在化、智能化、多元化的方向发展。随着云计算、人工智能等技术的不断创新,实实时云渲染技术与产业发展研究报告(2023年)41 时云渲染市场正逐步成为新兴产业的新热点。元宇宙、数字孪生、AIGC 等前沿应用受到全球政府及产业的高度关注,前沿应用作为新技术落地的典型模式,将为实时云渲染市场发展提供强大的驱动力,推动实时云渲染技术的创新升级及产业的高质量发展。(三)综合能力象限评估,多家主体崭露头角(三)综合能力象限评估,多家主体崭露头角 为全面梳理
87、我国实时云渲染产业发展现状及市场发展潜力,编制组充分结合产业发展特点和关键影响因素,依据象限评估指标体系,从技术影响力、市场影响力两大维度对实时云渲染相关企业进行了客观公正的研判评估,形成实时云渲染领导力象限图。1、象限构建原则 实时云渲染领导力象限旨在对实时云渲染领域的企业进行研究评估,为保证研究内容独立、客观,依据技术测试、问卷调研、企业调研、专家评审等方式,融合多维视角,输出分析成果。象限基于横坐标轴的市场维度和纵坐标轴的技术维度来分别选取指标构建,指标选择时遵循科学性、代表性、独立性的原则,结合行业发展特点和重点影响因素,并综合考虑到相关数据的可获取性和可比较性。象限图反映了企业的技术
88、影响力和市场影响力,并划分为:卓越引领者、领域开拓者、创新潜力者。卓越引领者代表引领实时云渲染技术的发展,对市场发展有着积极的推动作用。领域开拓者代表面对市场挑战灵活应对,通过不断拓展业务范围争当行业先驱者,正在逐步积累技术实力。创新潜力者代表积极寻求技术的突破,持续提升产品和服务的竞争力,谨慎应对市场挑战,正积极寻求市场突实时云渲染技术与产业发展研究报告(2023年)42 破。2、象限评估范围 入选实时云渲染领导力象限的企业更专注于实时云渲染垂直细分市场,在此领域均表现优异,并通过为行业持续输出价值而占据了一席之地。象限的评估范围主要围绕实时云渲染基础设施服务提供商(IaaS)、平台服务提供
89、商(PaaS)、行业应用提供商展开。企业根据自身业务定位实际情况选择一个或多个层级进行评选,为保证评估的公平、公正,同类型企业在同一层进行评估。3、象限评估指标体系 在建立评估指标体系前,编制组对我国实时云渲染行业发展现状进行了全面梳理,广泛征求了专家意见,结合行业发展特点和重点因素,从市场能力和技术能力两大维度搭建出评估指标体系。技术影响力主要包括创新水平、研发能力、综合性能等三项二级指标,市场影响力主要包括市场综合能力、行业覆盖能力、行业荣誉等三项二级指标,按照科学的研究与分析方法,对各项指标进行权重确定、赋值和计算打分阶段,最终根据得分表现将其划分到象限中。评估指标体系维度均为实时云渲染
90、领域。表 2 实时云渲染领导力象限评估指标体系 一级指标 二级指标 三级指标 技术影响力 创新水平 知识产权、技术专利数量 研发能力 研发投入 综合性能 产品性能、兼容性、易用性 市场影响力 市场综合能力 用户规模、市场营收 行业覆盖能力 各行业覆盖情况、典型案例 行业荣誉 行业荣誉、奖项 来源:中国信息通信研究院 实时云渲染技术与产业发展研究报告(2023年)43 4、象限评估结果及分析 入选实时云渲染领导力象限(IaaS 层)的共有 7 家企业,处于领导力象限的企业在实时云渲染赛道发展强劲,云渲染领域的技术迭代速度很快,这些企业持续重视前沿技术的创新,在行业中有很明确的定位,占据了实时云渲
91、染细分市场的主导地位,除传统云游戏之外,他们通过部署大量的计算节点服务众多不同行业,积累了大量的客户资源。在激烈的市场环境中,他们也具备灵活的策略,建立与其他技术提供商、行业领导者和研究机构的合作伙伴关系,共同推动技术和市场的发展。来源:中国信息通信研究院 图 8 实时云渲染领导力象限图(IaaS层)入选实时云渲染领导力象限(PaaS 层)的共有 9 家企业,随着实时云渲染行业技术、体验效果、网络建设等方面也越来越成熟,处于领导力象限的企业都开始探索新的交互模式和应用场景。从技实时云渲染技术与产业发展研究报告(2023年)44 术角度看,他们在技术研发层面投入大量精力,组建了庞大的研发团队,并
92、积极参与相关行业标准的制定,积累了丰富的专利成果,面向不同客户提供针对性解决方案。在 PaaS 平台这个赛道上虽然竞争激烈,但也代表实时云渲染行业的繁荣发展。这些企业的不断耕耘,给行业提供丰富的经验参考,为行业进步夯实了基础。来源:中国信息通信研究院 图 9 实时云渲染领导力象限图(PaaS层)实时云渲染领导力象限(应用层)的共有 9 家企业,处于领导力象限的各家企业凭借先进的技术实力和对市场需求的敏锐洞察,成功打造了一系列在实时云渲染应用领域值得借鉴的产品和服务,展现出了很好地前瞻性和创新力。在教育、工业、医疗、文旅、金融、游戏、影视等行业的深耕为产业发展带来了正向的效果。现阶段,实时云渲染
93、的应用产品不断向着元宇宙形态靠拢,象限中的企业倾向于转向云原生的内容开发平台及工具的打造,另外 AIGC 技术的发展将进一步推动实时云渲染技术在不同行业领域的普及。因实时云渲染技术与产业发展研究报告(2023年)45 此,未来将有更多的企业进入到这个赛道中,为实时云渲染行业注入活力。来源:中国信息通信研究院 图 10 实时云渲染领导力象限图(应用层)五、发展趋势(一)云渲染服务从谋求单点技术的“极致”,向多元化、专业化、场景化综合生态发展(一)云渲染服务从谋求单点技术的“极致”,向多元化、专业化、场景化综合生态发展 XR 应用的崛起与应用需要实时渲染大量复杂场景和物体的能力,数字人、元宇宙等前
94、沿应用的推广,需要渲染程序提供更高质量的交互体验,AIGC 逐渐从技术探索到工程化应用落地,科学技术的发展进一步推动实时云渲染快速适应市场和复杂的产业生态。随着科技的快速进步以及应用场景的不断拓展,实时云渲染服务逐渐呈现多元化、专业化的发展趋势。云渲染服务将根据不同用户的应用场景、显示设备和互动方式等提供高度定制化的解决方案,渲染算法实时云渲染技术与产业发展研究报告(2023年)46 和云资源将动态调配,以满足个性化定制需求。从传统的 CPU 渲染到如今的 GPU 云渲染、边缘计算渲染、自适应渲染、多 GPU 协同渲染等,渲染服务已经具备了更高的效率和更广泛的应用场景。同时,自适应渲染服务的出
95、现也为用户提供了更加智能化和个性化的解决方案。多样化的渲染服务不仅提高了工作效率和质量,还为不同领域的用户提供了更多的选择和灵活性。GPU 云渲染:GPU 云渲染是一种在云端使用高性能图形处理器GPU 进行渲染的服务。这种服务通常用于大规模的视觉效果、动画和虚拟现实项目,因为它可以显著提高渲染速度和效率。GPU 云渲染服务提供商通常提供各种配置的计算资源,用户可以根据自己的需求选择合适的实例。此外,许多服务还提供了 API 和 SDK,以便开发人员可以在自己的应用程序中集成 GPU 加速渲染功能。边缘计算渲染:边缘计算渲染是一种将渲染任务分配给靠近数据源的边缘设备进行处理的服务。这种方法旨在减
96、少网络延迟和带宽需求,从而提高实时渲染的性能。例如,在虚拟现实或增强现实应用中,边缘计算可以将渲染任务分配给附近的移动设备或传感器,以实现更低的延迟和更高的响应速度。自适应渲染:自适应渲染服务通常使用机器学习和人工智能技术来实现自动化决策。这些技术可以分析大量的数据和图像样本,学习如何识别和优化不同的渲染参数和设置。通过这种方式,自适应渲染服务可以为客户提供更高效、更准确的渲染解决方案。多 GPU 协同渲染:多 GPU 协同渲染是指通过调度多 GPU 资源实时云渲染技术与产业发展研究报告(2023年)47 来协同进行渲染的渲染技术,多个图形处理器(GPU)共同参与一个或多个渲染任务,其中多个
97、GPU 之间使用高带宽的有线/无线局域网连接,主控程序在向子 GPU 下发和收集子绘制任务时能满足低延时的特性,能够降低渲染应用的总网络延时。多 GPU 协同渲染能够将多个 GPU 的算力进行叠加,从而提高渲染效率,提升渲染质量,可面向游戏、VR、AR 等行业,数字孪生、智慧城市等场景提供渲染服务,并使元宇宙下的虚拟世界在商业化上成为可能。多 GPU 协同渲染通常分为硬件实现和软件实现。硬件实现方案使用特定的硬件,如 AMD 公司推出的 CrossFire 以及 NVIDIA 公司推出的 NVLink,将多块 GPU 连接在一起并通过特定配置和优化,来作为一个共同的计算单元处理渲染任务。这种情
98、况下常用的渲染方式有(1)交替帧渲染:划分帧序列,第 i+1 帧分发给 GPU1 渲染,第 i+2 帧交给 GPU2 渲染,以此类推;(2)分帧渲染:将单一帧的不同区域分发给对应的 GPU 来渲染。基于软件的实现需要实现额外的线程管理和任务调度机制,显式地拆解渲染任务为多个子任务线程,每个子线程分别绑定到不同的 GPU 上,独立地进行渲染,并由主线程进行渲染结果的合并。一些渲染应用程序接口(如DirectX 12 和 Vulkan)提供了显式多 GPU 渲染的支持,可以在更底层的层面直接管理多个 GPU,并分配对应的渲染任务。蔚领时代积极探索 XR 内容生产方式,以云游戏行业以及云渲染行业的深
99、度积累作为基础,攻关“多 GPU 协同渲染”核心技术,融合影视与游戏的工业化生产管线,打造适合未来的实时互动作品,实时云渲染技术与产业发展研究报告(2023年)48 春草传由此诞生。春草传通过蔚领时代数据中心的多 GPU协同计算能力进行渲染,可以从头到尾呈现 8K 画面、120Hz 刷新率、杜比环绕音的视听效果。在故事情节展现上无论是最后的“灯塔号”游船,还是整个“蚁城”,这些上亿级别面数的模型都能流畅运行,并通过推流将画面实时传送到用户的任何显示设备上,将春草传最高品质的一面展现出来。(二)元宇宙、数字孪生、AIGC 等前沿应用为实时云渲染产业发展提供强大驱动力(二)元宇宙、数字孪生、AIG
100、C 等前沿应用为实时云渲染产业发展提供强大驱动力 元宇宙作为实时云渲染的典型应用场景,以新一代信息技术集合为基础,以构建虚拟世界为核心,以“共创、共享、共治”为主要特征,是数字经济与实体经济融合的高级形态,有望通过虚实互促引领下一代互联网发展,加速制造业高端化、智能化、绿色化升级,支撑建设现代化产业体系。当前元宇宙的发展热点主要聚焦于数字生活及工业场景。在数字生活领域,多家公司推出消费级 VR 头显设备、AR 头显设备、AR 眼镜等,将市场下沉至大众用户,进一步满足数智文旅沉浸式体验空间、元宇宙游戏、文旅元宇宙等强沉浸场景中用户对交互体验的需求。元宇宙在工业场景中的应用主要以解决问题、实现资源
101、的更高效配置为目标导向,是新型工业化建设的重要发力点之一。当前多地推出工业元宇宙发展规划,加快打造工业数字孪生生态,培育“工业元宇宙+产线”、“工业元宇宙+工厂”、“工业元宇宙+园区”等多场景应用,不断探索工业元宇宙创新应用的新模式。发展虚实实时云渲染技术与产业发展研究报告(2023年)49 融合互促的工业元宇宙,将进一步加速三维交互的工业元宇宙体系的构建,加速制造业的智能化、数字化升级转型。元宇宙在沉浸交互的生活消费场景、虚实融合的公共服务场景、支撑智慧安全的应急保障场景及三维交互的工业场景等多种领域的应用推广,将进一步推动实时云渲染产业规模的增长扩大,实时云渲染相关技术的突破也将进一步加速
102、元宇宙在不同领域的应用推广。数字孪生作为一种将现实世界与虚拟世界连接的技术,通过创建物理实体的虚拟副本,为实时云渲染市场的发展提供了新的机遇和动力。数字孪生技术在各行各业(如制造业、建筑业)的广泛应用将为实时云渲染市场带来更多跨行业合作的机会。随着 ChatGPT 的爆火,AI 再次受到全球的重点关注。从底层的大模型到上层的各种“AI+”应用,AIGC 已成为行业升级的新风口,越来越多的科技公司开始深入研究 AIGC,探索将 AI 和大模型技术与自身应用场景相结合,利用 AIGC 打造新的增长曲线。如将虚拟数字人与 AI 相结合,通过融合新一代 AI 强大的逻辑和生成能力,提升虚拟数字人的理解
103、能力和响应准确度,满足用户多方面的需求。在 AI 的赋能加持下,虚拟数字人将逐渐“智能进化”,并能根据教育、金融、电商、物流、社交等不同场景的需求,化身成虚拟教师、虚拟客服、虚拟主播、虚拟好友等多种身份角色,为用户提供更加个性化的沟通服务。例如在各种虚拟活动场景中,新一代的虚拟数字人能够自然应对用户咨询,随时随地为用户提供指引;在社交娱乐场景中,新一代的虚拟数字人可以为用户提供 24 小时的陪伴,用实时云渲染技术与产业发展研究报告(2023年)50 户还能够定制自己专属的个性化数字人,创造一个时刻在线的贴心好友;在虚拟直播场景,新一代的虚拟数字人不仅能够全天候直播卖货,还能智能生成话术、回复问
104、题、弹幕互动,帮助企业实现服务与营销的数智化转型。高精度的虚拟数字人画面渲染需要大量的算力支持,数字人与AI 结合后,自生成内容对算力的依赖进一步提高。实时云渲染通过海量的云端计算资源,能够解决 AI 数字人对终端的性能束缚,满足AI 数字人多场景的实时应用,AIGC 的快速发展将为实时云渲染提供新的发展机遇。应用场景的拓展为实时云渲染市场的发展提供了新的机遇和挑战。实时云渲染平台需要不断提升自身的技术和服务水平,为用户提供更加优质的体验。同时,开发者需要不断创新,为用户带来更加丰富、多样化的内容。只有在多方的共同努力下,实时云渲染市场才能更加和谐、健康、绿色的发展。(三)人工智能技术推动实时
105、云渲染更加智能化、自动化、高效化(三)人工智能技术推动实时云渲染更加智能化、自动化、高效化 人工智能已成为全球最活跃的科技创新领域,并以空前的广度和深度推动着社会发展,加速着产业转型优化。以深度学习为主导路线的人工智能技术不断升级优化,逐步向更多的行业领域渗透。人工智能在云渲染领域的应用可以使渲染过程更加高效,并能提供更好的视觉质量和用户体验。主要包括以下方面:基于深度学习的图像超分辨率技术:通过训练深度神经网络模实时云渲染技术与产业发展研究报告(2023年)51 型来将低分辨率图像转换成高分辨率图像,从而提高图像的质量。这种技术可以应用于游戏渲染中,使得低分辨率的纹理或者模型在渲染过程中被动
106、态地提升为高分辨率,从而提供更加细腻的视觉效果。基于机器学习的渲染自动优化技术:利用机器学习算法对渲染器进行训练和优化,从而在渲染过程中减少冗余计算,提高渲染速度和效率。这种技术可以通过学习过往渲染任务的数据和结果,自动寻找合适的渲染参数和优化策略,从而达到更高的渲染性能。利用强化学习进行渲染策略的动态调整和优化:通过强化学习算法,在渲染过程中智能地调整渲染策略,优化渲染结果。例如,可以通过模拟渲染器的行为并根据预设的奖励函数进行训练,使其能够根据当前的渲染情况和任务需求,动态地选择合适的渲染参数和策略,从而达到更好的渲染效果和性能。利用生成对抗网络进行内容生成和编辑:生成对抗网络(GAN)可
107、以用于生成逼真的图像和内容,并且可以用于对已有图像进行编辑和增强。在渲染中,可以利用 GAN 生成新的纹理、模型或者场景元素,从而丰富渲染结果。此外,GAN 也可以用于对渲染结果进行编辑,例如改变光照、材质等属性,从而快速得到满足需求的渲染效果。结合 NeRF、DIBR 和 DLSS 等技术,实现更高质量、更真实、更高效的图像渲染。NeRF(Neural Radiance Fields)利用神经网络模型建模场景中实时云渲染技术与产业发展研究报告(2023年)52 的辐射场,以实现高度逼真的三维重建和渲染。通过深度学习,NeRF 可以从大量的图像和相机视角生成场景的立体形状和纹理。这种技术可以提
108、供更具细节和真实感的渲染效果。人工智能在 NeRF中的应用在于通过训练神经网络模型来捕捉场景的辐射属性,使得渲染能够以更高质量和更快的速度进行。DIBR(Depth Image-Based Rendering)是一种基于深度图像的渲染技术,它通过将深度信息与纹理信息相结合,实现对虚拟场景的渲染。传统的 DIBR 方法通常使用手动定义的规则来合成深度图像,而人工智能可以通过机器学习方法来从现有的图像数据中自动学习深度图像合成策略。利用深度学习技术,可以使得 DIBR 技术更加精确和高效,并在渲染中产生更真实的景深效果。DLSS(Deep Learning Super Sampling)是一种基于
109、深度学习的超采样技术,在渲染中可以提供较高质量的图像放大和反锯齿效果。通过训练神经网络模型,DLSS 可以从低分辨率图像中恢复出高分辨率图像的细节,从而提供更清晰和逼真的图像。此技术可以大幅优化渲染性能,减少计算资源的消耗,并在保持画质的同时提高渲染速度。通过深度学习和机器学习的方法,可以自动学习场景的属性、合成深度图像,并通过超采样实现更高分辨率的渲染结果。人工智能技术的应用将推动渲染技术的进一步发展,为用户提供更优质的视觉体验。实时云渲染技术与产业发展研究报告(2023年)53 六、行业应用与典型案例(一)教育行业(一)教育行业 实时云渲染与教育行业结合逐渐紧密,中国教育科学研究院印发的中
110、国智慧教育蓝皮书(2022)提到:“创新教育教学场景,促进人技融合,培育跨年级、跨班级、跨学科、跨时空的学习共同体,实现规模化教育与个性化培养的有机结合”。实时云渲染在教育行业中的应用主要体现在虚拟实验、智慧课堂、在线教育等方面,为学生和教师提供更加沉浸式、互动性强的学习体验。实时云渲染技术可以将数字孪生实训平台中的教学内容实时渲染到虚拟空间中,此外,实时渲染云平台整合第三方丰富成熟的课程内容以及各种VR/AR 终端,打造面向 5G XR 的智慧教育整体解决方案,为教育行业提供更加优质的教育内容,有力推动教育变革和创新。1、应用案例:国开在线教育元宇宙平台 案例介绍:国家开放大学前身是中央广播
111、电视大学,是面向全国开展开放教育的新型高等学校。在推广相关设计类课程时遇到很多学生终端性能不满足,搭建相关环境流程繁琐等问题。北京庭宇科技有限公司与客户通过多轮产品沟通和技术测试,通过将课程学习统一上云,为学员统一提供云渲染桌面的形式解决了终端环境和终端算力不足的问题,大大降低了课程学生学习相关课程的启动门槛。资源统一上云管理,也提高了整体的维护管理效率。解决方案:庭宇科技 2023 年与国开在线(国家开放大学全资校办平台)共建元宇宙云教育平台,以科技赋能、算力驱动,全方位实时云渲染技术与产业发展研究报告(2023年)54 推动教育变革,通过 VDI 云桌面为云渲染底座,放置国开在线丰富的课程
112、资源,两大服务商联合打造立体云教育基地,实现云与端双边融合,远程接入仿真实训,培养专业技能人才。平台服务于 45 个省级分部,可统一连接使用,共享多维课程资源。此外,云教育架构充分利用云计算服务的资源复用、灵活拓展、海量并发优势,任意地域学生只需统一完成认证。来源:北京庭宇科技有限公司 图 11 国开在线官方网站展示庭宇木鹰云教育 应用成效:平台允许学生利用课余、碎片时间随时随地接入学习;打破课程资源区域不平衡,实现全国漫游共享;立足于教育变革,课程资源服务化;不受运行环境限制,兼容老旧课程。(二)工业行业(二)工业行业 工业虚拟现实将通过在虚拟与现实空间的联动协作,来赋能工业各个环节与场景,
113、其运行离不开实时渲染。单一的、本地的渲染计算资源与渲染方案难以满足大型 3D 软件的实时交互与应用,而通过将软件放在云端,利用云端强大渲染算力,则能保障用户即使实时云渲染技术与产业发展研究报告(2023年)55 只在轻量化设备的支撑下,也能获得超大规模,超高复杂度,高度逼真的实时交互体验,助力经济社会深度数字化转型。1、应用案例:工业虚拟现实软件实时云渲染项目 案例介绍:该案例客户是一家从事虚拟现实功能化开发,为设计师提供专业的虚拟现实解决方案的企业。企业核心产品是一款构建虚拟场景的软件,软件对于用户的显卡、存储空间等均有较高要求,因此在产品推广/试用阶段,用户终端性能极大程度的影响了市场推广
114、效果。在此次合作中,海马云基于自身成熟实时云渲染平台,向客户提供实时云渲染服务,用户无需高昂硬件配置,也无需下载安装,点击就可以通过 H5/微端的方式迅速体验到该企业产品,大幅降低用户终端门槛,提高获客效率。解决方案:海马云为该企业提供全栈实时云渲染服务。在基础设施层,在全国超 30 个省份和地区,以及美国、日本、欧洲、东南亚等地区和国家自主建设 100G 全光节点,云端拥有超大规模 GPU 集群,支持分布式渲染集群,形成全球实时云渲染基础设施覆盖。在平台层,以自研的面向超高带宽和超低延迟的实时传输系统、基于容器的异构图形虚拟化技术、自研百万级容器实时调度管理系统、大容量分布式存储系统等多项前
115、沿技术,实现超高画质超低延迟的实时云渲染体验。企业用户无需高昂硬件配置,也不用下载近10G 的安装包,就能以最低 60ms 的端到端传输延迟,最高4k/8k/144FPS 超高分辨率,体验软件全部功能。实时云渲染技术与产业发展研究报告(2023年)56 应用成效:海马云帮助该企业有效解决了大型软件终端存储和配置上的压力,同时降低了市场推广的成本,提高推广获客效率。通过此次合作,企业工具使用率提升约 20%,在促进用户体验/试用环节发挥显著效能。(三)医疗行业(三)医疗行业 近些年来实时云渲染技术正在加速渗透医疗行业,凭借其高拟真和沉浸感、可重复利用、0 风险操作等特性,拓展了医学教育和培训手段
116、并降低人力物力资源消耗。借助全景直播能力实现远程会诊,打破时间地域、感染风险、医疗条件等各方面限制,极大缓解了我国医疗资源分配不均问题,并以其丰富的可视化效果,在医疗图像处理和模型设计仿真领域中占据一席之地。这些创新应用正逐步显现出云渲染技术不可替代的优势和价值:降低医疗硬件要求和成本,提高医疗服务质量和效率,促进医疗数据共享和分析,为医疗行业带来新的创新和机遇,有助于提升我国医疗水平和人民健康水平。1、应用案例:火山引擎&英特尔 VR医疗教育培训项目 案例介绍:火山引擎携手英特尔,助力北京某三甲医院打造高效能 VR 医疗培训系统,拓展云渲染应用场景与 5G 行业解决方案。公众急救培训:传统方
117、式是由医疗机构定期组织公众、企业培训,受到场地、人员、设备数量等限制。而通过云渲染技术、AI 和云计算可提高培训场景真实性,实现近 8K+电影级的画面效果显示;实时云渲染技术与产业发展研究报告(2023年)57 通过 VR 的交互互动提高受训者的参与度,提高公众对急救知识和流程的认知度,避免如对 AED 使用不熟悉导致的人员死亡。医疗现场培训:急诊科室培训例如留观病人的查房问诊等,目前主要方式是学生跟随专家进行现场观摩学习,这种方式受限于时间、感染风险等条件,无法有效且持续进行。并且对于突发状况或特殊病例,专家及学生很难及时到场指导或学习。借助实时云渲染技术,让实景培训或指导打破时空限制,实现
118、录制视频无法达到的身临其境和自由视角效果。解决方案:来源:北京火山引擎科技有限公司 图 12 火山引擎 VR 医疗教育培训技术方案框架图 公众急救培训:引入火山引擎边缘计算节点,构建基于边缘云的边缘渲染平台,利用高性能 GPU、虚拟化技术、硬件加速技术实时管理和渲染 VR教学场景;采用 BVC 编解码器融合英特尔高级矢量扩展 AVX-512指令集,实现超清高质视频的实时快速编解码;利用实时音视频veRTC 实现高品质低延时的传输。实时云渲染技术与产业发展研究报告(2023年)58 客户端基于 PICO 头显完成解码与渲染,呈现双目高清画面;采集头显位姿和手柄数据并实时上传,保证用户头动与操作及
119、时响应,给予用户身临其境的感受。整体实现双目 2K、72FPS 的高清画面显示,能清晰显示急救场景细节,操作手感流畅无卡顿,头动延时小于 20 毫秒,端到端延时小于 100 毫秒。本套方案也适用于云VR 游戏串流。医疗现场培训:采集端使用 360 度全景相机,将生成的 8K 全景视频流通过 5G专线上传至火山引擎边缘云计算渲染平台后,完成全景视频转码和分发,实现高画质低延时的 8K 全景直播体验。使用了基于变换视角的自研 VR 推流方案,能在满足用户观看 8K 全景视频的画质要求下,控制下行视频流在 10Mbps 以内,满足头动延时小于 20 毫秒,使用户能在普通家庭 Wi-Fi 下畅享 VR
120、 视频,极大降低 VR 设备使用门槛,也极大节省服务侧流量成本。客户端基于 PICO 头显完成交付,也提供 SDK 满足多端介入需求。整体效果实现院方设想场景,画面流畅无卡顿,显示效果清晰,满足院方看清 2 米外生命体征仪器显示数字的需求。本套方案也支持点播、虚拟场景实时云渲染等多种场景,满足不同需求。应用成效:VR 医疗急救培训应用已在该北京三甲医院医学应急教育培训中心部署,开展了大量医疗培训实践,大幅提升培训效能,且每次使用的边际成本几乎仅为 5G 流量费,有效帮助压降培训成本,提升经济效益。而实时查房系统可以让专家对一线医生进行远实时云渲染技术与产业发展研究报告(2023年)59 程指导
121、,和病人实时交流,为远程智慧医疗带来更多可能。对国家一直倡导的区域医联体建设、强化基层诊疗能力,将产生深远影响。(四)文旅行业(四)文旅行业 文旅行业与实时云渲染技术相结合,其中一个典型场景就是文旅元宇宙。近年来,文旅景区数字化转型升级是已成为文旅行业的潮流趋势,各文旅景区结合自身资源特色和属性,打破传统旅游“时”与“空”的局限,构建与其文化特色相匹配的沉浸式场景空间和体验业态,通过线上线下融合,让用户获得更有沉浸感、科技感、补偿感的体验。在文旅内容创作阶段,通过云上高性能的渲染算力、海量存储能力和领先的空间搭建云渲染引擎,开发者可以专注于业务需求的满足,避免本地渲染算力约束带来的内容品质下降
122、。此外,在一些文旅细分场景中,依托云上渲染能力可以打造不一样的创新业务,例如数字藏品的跨链分享,做到和真实世界一样,让用户的数字收藏可以在不同的元宇宙空间和场景中流动。一次制作可以在不同的元宇宙空间中被欣赏和体验,大幅减少了投入成本,扩大了用户群。1、应用案例:东方明珠云美术馆项目 案例介绍:东方明珠云美术馆项目,是围绕东方明珠云美术馆研发的高画质、支持“数字人”百人同屏互动的应用项目,是上海市十大元宇宙应用场景标杆项目、揭榜挂帅项目之一。蔚领时代利用自身的实时云渲染技术,为“云美术馆”的海量艺术展品进行赋能。用户只需要通过手机,快速访问小程序登录,实时云渲染技术与产业发展研究报告(2023年
123、)60 创建自己的数字人“虚拟化身”,便可进入元宇宙空间沉浸式观展。解决方案:通过本解决方案,实现用户无需下载庞大的客户端,用低端手机也能跑 3A 游戏级的线上元宇宙场景。用户创建一次高品质数字人“虚拟化身”,可在多个活动多次重复使用,应用中随时进行个性化装扮,装扮数据存储在云端,随时随地可调用。并且依据项目的目标流量人数,支持至少上百人同屏,实时聊天、发布表情、动作驱动时,也能拥有高画质、高品质、流畅的交互体验。此外,灵活契合营销需求,用户可通过手机、VR/AR 眼镜、PC、平板等设备,在低成本本地算力的情况下进入宏大的元宇宙世界。项目采用以下技术方案:数字人工具平台:基于实时云渲染能力构建
124、数字人工具平台,提供多种核心服务,以支持数字人各种商业应用和终端实现。来源:北京蔚领时代科技有限公司 图 13 数字人工具平台架构图 实时云渲染技术与产业发展研究报告(2023年)61 数字人生产管线:通过蔚领自研的掌握核心知识产权的数字人生成管线,提供数字人服务。包括:WAvatar 虚拟化身云服务、WDNA 微表情编辑系统、MTP 模型自动化拓扑系统、WFace 面捕驱动系统、WLive Link 动捕标准化数据接入结构。支持多种照片 AI 生成、光场扫描、DNA 混合、人工雕刻等技术手段进行模型制作,拥有自动化模型拓扑管线,从立项到上线投入的成本不到传统管线的一半。自研发尖端建模组件、结
125、合光场扫描技术、表情身体智能绑定技术,以及表情迁移技术,捕捉真人日常表情、口型面部肌肉动作等细微变化,使其更生动、个性化且更具可互动性。同时支持布料实时模拟与离线模拟,兼顾仿真与效率。云端实时渲染:自研的“方舟”架构,利用多 GPU 协同渲染,可支持通过云端实现实时渲染,为高品质数字人在沉浸式地元宇宙场景中,满足用户消费的个性化需求提供了技术支撑。元宇宙空间搭建技术:自研的 DataAsset 数据结构,实现虚拟空间对象关系的标准化管理,提供快速搭建虚拟空间的整套管线系统。应用成效:本项目满足了用户低门槛、差异化的参观需求,助力科技赋能推动文化发展,传承历史,增强文化自信的目标。通过实时云渲染
126、技术在数字人及应用场景的支持,应用能够以小程序为载体扩大项目影响力。利用公域流量,将有效激发用户兴趣,强化沉浸体验的元宇宙参观之旅。项目与线下展览协同,每半年更换一次主题,包括用户数字人实时云渲染技术与产业发展研究报告(2023年)62 的装扮和场景等,让用户可以定期获得不同的体验。通过促进科技与艺术融合,为文化消费构筑新入口与新场景。2、应用案例:嵩山主题文旅元宇宙 案例介绍:河南登封文旅集团联合阿里元境发布首个嵩山主题文旅元宇宙产品,围绕嵩山打造游戏化互动空间和数字藏品,结合线下景点虚实联动,构建嵩山文化新场景和数字新品牌。这也是河南省登封市首次将当地文化旅游资源与元宇宙相结合,利用新科技
127、打造文旅消费新场景,拉动当地旅游消费增长。解决方案:移动互联网发展了十多年后,流量逐渐枯竭的问题开始显现,整个数字营销领域都在寻求突破。而元宇宙在经过前期的“轰轰烈烈”后,已经沉淀出了真正符合实体经济需求的形态与解决方案。阿里元境与河南登封文旅集团、河南广电大象元的合作,将现实中的“人”用户、“货”线下权益、“场”景点资源映射到元宇宙中的“数字人”、“数字权益”、“数字 3D 空间”。通过对数字权益的运营,关联到线下真实的“货”来提升真实用户的忠诚度,将传统的一次性数字营销,通过元宇宙变成了可持续的营销活动。实时云渲染技术与产业发展研究报告(2023年)63 来源:元境生生(北京)科技有限公司
128、 图 14 元境解决方案 元宇宙本身是具备生命力的,其中的各项元素,游戏化内容会随着市场、业务的发展持续更新与变化。此次活动中,用户既可以通过线下数字藏品直接扫码游览线下景点,用户线下打卡的景点,也会同步在线上数字藏品中点亮,真正做到虚实结合。应用成效:升级后的“人货场”关系,主打的是一种“win-win”双赢模式。用户在线上元宇宙的活动,即是一种线上娱乐、教育形式,也能带来线下的权益。而作为此次合作中的 IP 授权方登封文旅,可以通过与元宇宙虚实结合的方式更好的做用户运营,相比较传统社群模式,元宇宙带来更多的用户粘性与更大的想象空间。同时,元宇宙也将成为当地文旅资源的数字化品牌,将登封的文旅
129、资源展示在全世界面前,带来巨大的社会公益与文化传播价值。(五)金融行业(五)金融行业 近年来,数字技术所蕴藏的技术创新活力和应用革新潜力,正实时云渲染技术与产业发展研究报告(2023年)64 深度影响着金融行业的发展趋势,以实时云渲染为代表的数字技术不但对金融行业进行着业务流程的重塑,也为用户带来了全新的业务体验,数字空间与物理空间的深度融合,正在为金融行业带来新的发展机遇。从应用情况来看,国内金融机构主要围绕提升用户服务体验、强化服务环境建设、创新金融营销等方面开展数字化升级。1、应用案例:银行低延迟云渲染智能数字营销项目 案例介绍:在竞争日益激烈、新客拓展趋势放缓的市场环境下,银行业针对企
130、业客户的金融服务手段、产品同质性日趋明显,银行要在竞争中站稳脚跟、赢得市场,需要跟上数字化变革发展的主旋律,依托数字力量不断拓展用户服务的深度和广度,增强客户服务的精度和准度。为达成低成本高效率触达客户、精细化深度化服务客户的目标,某银行个人金融业务与海马云云手机达成合作,以云手机提升业务营销效率,提高用户服务体验,构筑数字营销竞争力。解决方案:海马云将自身云手机能力与该银行智能营销系统进行深入集成整合,形成统一的协同平台。方案基于海马云实时云渲染能力,将该银行金融营销系统 AI 智能客服持续稳定运行在云端手机中,利用海马云云手机端云协同能力,通过低延时渲染方案,支持多用户实时操作云端营销系统
131、,让多角色、多终端实现实时协作工作。同时利用海马云云手机实时音视频上下行功能,将云端应用的实时云渲染技术与产业发展研究报告(2023年)65 音视频画面高清低时延的实时渲染同步给本地客户端,实现集约运营人员和客户之间实时视频通话,帮助该银行提高信息处理能力,大幅提升客户服务和营销效率。面对金融类业务数据安全问题,海马云云手机采用云端独立部署,同时采用包括身份认证、数据加密、访问控制等多层次的安全策略,保护客户云端数据不落地、不外泄、不丢失。海马云云手机依托于海马云多年积累的底层基础设施与平台能力构建,拥有全国覆盖率最高的云化虚拟桌面服务节点,全栈式打通服务器、存储、网络、操作系统、云平台和应用
132、组件,在海量云端分布式容器资源池及音视频编解码、网络传输等技术的加持下实现以云助端,即使身处复杂的网络环境下,也能以超越旗舰机的性能,助力该银行个人金融业务实现高清、低时延、稳定流畅的云手机使用体验。应用成效:通过此次合作,海马云云手机帮助某银行个人金融业务在有效降低运营成本的同时,增强客户服务的速度和精准度,用户触达成功率提升 200%+,用户月度有效沟通占比增加 100%+,以数字化力量助力该银行在激烈的竞争中加速市场占领的脚步。(六)游戏行业(六)游戏行业 云游戏是实时云渲染技术在游戏行业中最典型的应用形式。在云游戏中,游戏运算与渲染都在云服务器完成,将实时游戏画面编码并传输到玩家的客户
133、端设备进行解码和显示。实时云渲染为云游戏行业提供高品质的游戏渲染画面,提高渲染效率、降低终端设备实时云渲染技术与产业发展研究报告(2023年)66 性能要求,实现跨终端的游戏体验,助力云游戏沉浸式体验新玩法。云计算、5G 网络与 AR/VR 技术的不断发展与普及,将会进一步推动云游戏的发展与广泛运用,实时云渲染技术也必将发挥更加重要的作用。实时云渲染使得云游戏成为现实,它将继续改变与影响整个游戏产业的未来。1、应用案例:云原神 案例介绍:云原神是开启云游戏商业模式新时代的一款现象级的游戏,是由蔚领时代和米哈游共同打磨的游戏产品。原神游戏发布之初,由于游戏的高清画质和庞大的包体,众多玩家无法在自
134、己的个人设备上流畅地体验最高清画质的游戏。通过蔚领提供的实时音视频渲染和低延迟串流技术,即使中低端的手机也可以体验到高端 PC 机的精品游戏画质,极大地满足了玩家对游戏的体验诉求。解决方案:作为国内领先且同时支持 X86 架构及 ARM 架构的云游戏服务平台,蔚领云游戏服务平台在两个架构中同时支持多种方案。在 X86 架构中不仅支持容器化多开方案,也支持桌面模式的一对一方案,帮助客户实现成本降低及体验升级;在 ARM 架构中,平台同样兼顾 Android 板卡方案和 ARM Server 方案,为客户提供最适合的技术方案模式。实时云渲染技术与产业发展研究报告(2023年)67 来源:北京蔚领时
135、代科技有限公司 图 15 蔚领云游戏服务平台 蔚领的解决方案共分为四个部分:基础层服务:蔚领云游戏服务平台采用定制的高性能 X86 服务器集群以及高性能 ARM 服务器集群,结合云厂商优质的云服务资源,为用户提供最底层的服务保障。平台层服务:蔚领自研的云游戏容器技术,配合 PaaS 平台的全链路功能覆盖,为用户提供计费统计、数据统计、分布式调度等一站式的标准化平台服务。业务层接入:蔚领云游戏服务平台为用户提供全终端 SDK 接入,包括但不限于 Android SDK、IOS SDK、JS SDK 等终端形态,降低用户本身研发投入的同时,实现平台功能的快速对接。业务场景层:平台可帮助用户实现云游
136、戏场景之外,也可支持用户实现云 VR/AR、云应用、云渲染等多重场景,全面赋能数字化行业发展。实时云渲染技术与产业发展研究报告(2023年)68 应用成效:云原神上线后所达成的成果以及表现已经成为云游戏行业里程碑产品,树立了云游戏产业的标杆。2022 年 1 月 10 日云原神IOS 平台公测正式开启,成为全球首款在 App Store 上架的云游戏,上线第二日即冲上免费榜第 3 名。2、应用案例:战舰世界云游戏版 案例介绍:战舰世界(World of Warships)是由战争游戏研发公司 Wargaming 出品、360 在中国大陆运营的海战题材网游巨制,超清 3D 建模高度还原战舰细节,
137、为玩家带来超强的真实感沉浸感。战舰世界原本专注于运行在 Windows 平台,依托于阿里元境的实时云渲染技术能力,战舰世界云游戏打破了固有的运行方式,不再依赖于本地设备的性能条件和平台能力,而是将运行计算和渲染全部置于云端,让云端的海量算力充分发挥出价值,本地设备将仅作为接收音视频和操控的设备。解决方案:高品质游戏内容的呈现往往离不开设备强大的渲染能力做支撑,而部分玩家受制于电脑的性能,流畅地运行与画面效果全开不能兼得,对体验的提升带来了很大的挑战。战舰世界云游戏通过云端算力保障高品质的渲染效果,通过高效的数据传输保障流畅的体验。元境凭借扎实的实时云渲染基础设施,为海量云端算力提供保障,在算力
138、保障之外,依托于全国可覆盖的 2800 多个边缘节点、31个省运营商全覆盖,实现玩家终端最后 10 公里的触达。元境也充分考虑到当下的市场需求和网络现状,对 4G 网络、5G 网络和 Wi-Fi实时云渲染技术与产业发展研究报告(2023年)69 网络进行了带宽侦测、卡顿识别、码率自适应、帧率自适应等优化,通过分区部署、多运营商网关接入以及端边云一体化等手段实现全网、全域的覆盖,使云游戏的体验始终处于特定网络条件下的较高水位。让玩家可以在更多不同的网络环境下,随时随地享受畅爽的云游戏体验。来源:元境生生(北京)科技有限公司 图 16 元境解决方案 应用成效:通过对云上图形算力的充分运用,大幅降低
139、了内容运行对硬件配置的要求。并以浏览器的形式提供服务给最终用户,最大程度的做到了跨端分发。借助流服务自身的特性,用户运行应用省去了大量的下载与安装时间,并可以通过各种 APP 进行分发与传播,为内容的运营方拓展用户群体提供了极大的便利。3、应用案例:咪咕快游电信级云游戏商用平台 案例介绍:中国移动咪咕公司充分发挥 5G+算力网络的技术优实时云渲染技术与产业发展研究报告(2023年)70 势,利用实时云渲染技术将游戏的渲染计算任务迁移到云端,打造了全国首个电信级云游戏商用平台咪咕快游。在行业内构建起跨“移动端、TV 端、PC 端”全产品矩阵,实现用户云游戏体验全场景覆盖。满足“超高清画质、低时延
140、、跨终端即点畅玩”等技术特性。同时平台结合“游戏+直播”场景创新需求,支持玩家与好友实时语音互动,更有游戏直播、攻略视频、云对战、云助战、云观战等云交互服务,为玩家带来一体化的线上游戏娱乐新体验。解决方案:实时云渲染在云游戏行业中主要用于云端服务器游戏画面渲染。它将游戏场景渲染成视频流,在视频流编码阶段,将渲染的视频流进行编码压缩,以便更高效地传输给终端用户。根据游戏画面的复杂度可采用不同的渲染架构,即点对点实时云渲染和分布式实时云渲染。针对画面精度要求不太高、低复杂度的云游戏可以采用点对点实时云渲染,单个任务在云端服务器和终端侧点对点结合智能编解码、串流技术实现渲染实时输出。针对高精度高算力
141、低时延的大场景云游戏,通过对分布式计算框架、渲染引擎和引擎配套的物理引擎、动画引擎、布料仿真引擎进行分布式改造,结合协同渲染技术和智能算力调度技术,实现单帧画面的块级拆分,把原本一台机器渲染的画面任务分摊到多台,从而实现大场景的分布式实时渲染。实时云渲染技术与产业发展研究报告(2023年)71 来源:中国移动咪咕公司 图 17 分布式实时云渲染流程 云游戏的实时渲染需要强大的算力支持,咪咕快游通过构建ARM、X86、GPU 异构算力,并采用算力性能升级、算力下沉和边缘节点扩容等技术手段,有效地优化了算力分布和扩展了算力节点覆盖,以确保算力节点与业务发展规模相匹配。应用成效:凭借中国移动大网优势
142、,咪咕建成了覆盖全国范围、技术领先且品质优良的云游戏算力网络,能够支持手游和主机游戏的实时云渲染能力。咪咕快游云游戏平台可为用户提供 4K 超高清画质内容传输,保证 5G 网络下的最低时延为 20 毫秒,以及移动端60 帧高帧率画面,确保用户享受高质量的游戏体验。截至 2023 年 6月,全场景有效月活用户数达到 1.2 亿,并拥有 2200+款在线畅玩精品正版云游戏内容,可满足用户全品类全方位内容需求。实时云渲染技术与产业发展研究报告(2023年)72 4、应用案例:广汽埃安云游戏定制合作项目 案例介绍:“移动云”是中国移动基于自研的先进技术打造的安全智慧云品牌,充分发挥“央企保障、安全智慧
143、、算网一体、属地服务”优势,为客户提供行业领先的云计算、大数据、人工智能产品。项目整体交付端到端的 5G 云游戏车载能力,包括云游戏算力、云游戏 PaaS 平台、5G 物联网卡、为广汽埃安定制的客户端、云游戏游戏手柄。车主接入云游戏时,云游戏平台根据车主的实时位置,向车主分配距离最近的边缘云游戏算力,端到端网络延迟最低达到20ms。云游戏内容具有较强的操作性,可满足车主在等人、驻车休息、长途行车时后座乘客娱乐等多场景需求。来源:中移(苏州)软件技术有限公司 图 18 车载云游戏方案 解决方案:安全性高、占用率低:云游戏包体全部运行在云端,产品本身有安全检测,车企只需要内置一次,即可达到接入海量
144、游戏的效果,不占用存储、运行资源。实时云渲染技术与产业发展研究报告(2023年)73 千车千面精细化定制:可根据不同车企用户画像及品牌定位,定制 UI 界面风格及游戏内容,满足不同车企个性化定制需求。应用成效:助力智能电竞仓打造:车企客户无需花费巨额游戏版权费即可为用户提供 3A 大作云游戏服务,打造跨次元梦想电竞仓。增值收入提升:丰富的内容及良好的操控体验吸引用户通过车企购买会员权益、游戏手柄、流量包等,助力车企增值收入提升。5、应用案例:达龙云 VR 案例介绍:达龙云 VR 为了解决用户 VR 一体设备算力不够无法流畅运行大型 VR 优质内容的问题,借助云端算力让用户体验更流畅高画质的内容
145、,减少卡顿掉帧带来的眩晕感,提升 VR 体验。随着元宇宙的兴起,元宇宙是未来虚拟世界和现实社会交互的重要平台,是数字经济新的表现形态,潜力巨大。为了呈现更加真实的元宇宙,各种元应用必然在云端运行,而 VR 作为进入元宇宙的硬件之一,达龙云 VR 可以为元宇宙的发展提供基础设施。通过将内容、用户和服务整合到云端,可以更好地实现跨平台、跨设备的元宇宙体验,使用户可以在不同的虚拟现实环境中自由流动。解决方案:实时云渲染技术与产业发展研究报告(2023年)74 来源:上海达珑信息科技有限公司 图 19 达龙云解决方案 达龙云 VR 将虚拟现实技术与自研 DLXR Streaming RTC 技术、算力
146、切分、云渲染、空间计算以及终端交互等关键技术相结合,旨在为用户提供高质量、更流畅以及更具交互性的 VR 服务。对于性能有限的 VR 一体机来说,渲染任务交由云端 GPU 集群处理。这意味着终端设备无需承担复杂的渲染计算任务,减轻终端设备负担的同时让终端专注于更有效的交互功能,例如实时运动捕捉、手势识别和空间定位等。画质表现上通过将渲染任务从终端设备转移到云端,不仅能够提供更高质量的图像和高帧率的画面效果,还能减少丢帧卡顿带来的眩晕不适感,从而让更多的用户感受到虚拟现实技术的所带来的魅力。应用成效:达龙云 VR 目前已在 SideQuest、87VR、Pico 应用商店上线,硬件适配方面涵盖了当
147、前主流的 Quest2、Pico neo3/4、实时云渲染技术与产业发展研究报告(2023年)75 HTC VIVE FOCUS3 在内的多款 VR 硬件。引入了中文梗博物馆、SpaceDraw等多款优质内容。随着云 VR 应用的推出,开拓了VR 应用场景的同时,提升了用户使用 VR 设备时的体验。(七)影视行业(七)影视行业 影视行业是实时云渲染的一个重要应用场景。传统的影视及动画制作使用的大量渲染资源给制片公司带来成本压力,并且渲染过程需要耗费大量时间,延长了制作周期。在新兴的互动影视及云演艺直播场景,传统的单机渲染或离线渲染无法满足根据用户的交互实时处理和呈现高品质影音效果的需求。实时云
148、渲染在动画制作领域中的应用可以大大提高生产效率和降低成本,实现快速迭代设计、大场景分布式渲染、降本增效轻资产,对传统影视动画行业的发展有着非常积极的影响。在云演艺和直播场景中,实时云渲染技术可以针对舞台背景、特效、直播节目中的数字场景进行实时渲染,提升演出和直播效果,提高渲染速度和质量,减轻设备负担,未来应用前景广阔。1、应用案例:基于 5G+算力网络的分布式实时渲染元宇宙比特空间星际广场 案例介绍:星际广场是中国移动咪咕在 2022 卡塔尔世界杯足球赛期间推出的首款以世界杯为主题的云原生社交互动观赛平台,是基于 5G+算力网络的分布式实时渲染元宇宙比特空间。星际广场提供 24 小时高清世界杯
149、赛事节目直播、世界杯周边节目等元宇宙沉浸观赛体验,具备虚拟形象定制生成、万人同屏观赛、游戏化互动等实时云渲染技术与产业发展研究报告(2023年)76 元宇宙数实互动功能,实现小屏、大屏(咪视界)、智能硬件(移动云 VR 等)等多端交互链接。解决方案:在这个项目中采用了创新分布式实时渲染技术,实现了云原生实时互动体验的最小业务模型,采用多(N)台电脑(运算设备)的集群,服务更多(M)个用户的一个非对称的多对多业务模式,达成一定程度的算力设备共享的体验。这也是率先实现实时渲染交互中的计算和渲染任务多用户共享的具有突破性创新的系统的首次产品化体验。这样根据更多的体验需要更大的算力为代价的假设,更多的
150、算力可共享的系统,才可以在实时渲染领域体现设备集群相较于每个人拥有高性能算力设备的优势。来源:中国移动咪咕公司 图 20 星际广场画面 应用成效:星际广场同时采用了高清数字人、实时状态同步、自定义大场景渲染管线、基于空间声场的范围语音和支持动态扩展的服务器框架等技术,为用户打造了一个高沉浸、低延时的互动空间,借助本地渲染引擎预测和数据传输算法优化,实时状态同步方案支持万人同时参与。产品在完成超大尺寸场景渲染的同时,引入动静光照系统、场景光照探针和动态阴影,模拟真实且梦幻的展厅效果,打造更为真实的场景沉浸感。用以上的技术突破与实现,为用户营造出独一无二的元宇宙赛事观看体验。编制说明编制说明 实时
151、云渲染作为新一代信息技术的融合产业,全面赋能各个行业。在此阶段,中国信息通信研究院联合行业代表企业,共同编制发布实时云渲染技术与产业发展研究报告(2023 年),希望为业界厂商、政府机构等相关方提供有益参考,共同推进实时云渲染产业创新发展。特别感谢安徽海马云科技股份有限公司、阿里云计算有限公司、北京蔚领时代科技有限公司、北京庭宇科技有限公司、北京火山引擎科技有限公司、北京凌宇智控科技有限公司、北京英博数科科技有限公司、北京松应科技有限公司、硅基大陆(成都)科技有限公司、光线云(杭州)科技有限公司、咪咕文化科技有限公司、启朔(深圳)科技有限公司、上海达龙信息科技有限公司、深圳云天畅想信息科技有限公司、腾讯云计算(北京)有限责任公司、武汉芯动控股集团有限公司、新国脉数字文化股份有限公司、元境生生(北京)科技有限公司、中移(苏州)软件技术有限公司等单位的支持(以上排名不分先后)。限于编写时间、项目组知识积累与产业尚未完全成熟等方面的因素,内容恐有疏漏,烦请不吝指正。中国信息通信研究院 泰尔终端实验室中国信息通信研究院 泰尔终端实验室 地址:北京市海淀区花园北路地址:北京市海淀区花园北路52号号 邮编:邮编:100191 电话:电话:-2923 传真:传真: 网址:网址: