1、2022年1月2日元宇宙框架梳理之算法引擎证券研究报告行业研究互联网传媒核 心 观 点资 料 来 源 ： Roblox， Unreal， 东 吴 证 券 研 究 所 2n 我 们 认 为 ， 元 宇 宙 可 被 视 作 下 一 代 互 联 网 ， 或 者 可 称 之 为 “全 真 互 联 网 ”。 与 现 有 的 互 联 网 相 比 ， 其 主 要 特 征 体 现 在 沉 浸 性 以 及 用 户 创 造 内 容（ UGC） 的 提 升 。 受 到 虚 拟 世 界 补 偿 论 和 创 造 世 界 的 成 就 感 与 满 足 感 的 激 励 ， 人 们 正 在 用 不 断 发 展 的 技 术 来

2、创 造 一 个 虚 拟 的 /与 现 实 紧 密 结 合的 、 比 移 动 互 联 网 拥 有 更 多 沉 浸 性 与 用 户 创 造 内 容 （ UGC） 的 “元 宇 宙 ”。 我 们 认 为 ， 元 宇 宙 的 发 展 是 一 个 长 期 的 过 程 ， 伴 随 着 算 力 、 算 法 、 XR、通 信 与 区 块 链 技 术 的 不 断 发 展 螺 旋 式 前 进 ， 在 游 戏 、 工 业 设 计 、 远 程 展 示 、 工 业 远 程 操 作 等 场 景 发 挥 革 命 性 的 作 用 。n 算 法 （ 引 擎 ） ， 定 义 了 虚 拟 世 界 中 的 基 础 规 则 和 呈 现

3、 方 式 。 它 定 义 并 实 现 了 游 戏 中 的 自 然 法 则 。 这 些 法 则 包 括 光 影 效 果 、 动 画系 统 和 物 理 系 统 等 。 引 擎 可 以 减 少 重 复 开 发 ， 降 低 开 发 门 槛 。 通 常 ， 引 擎 进 行 物 理 模 型 计 算 、 AI计 算 、 图 像 渲 染 、 声 音 、 动 画 系 统 渲 染等 功 能 。n 我 们 认 为 ， 随 着 虚 拟 世 界 的 不 断 发 展 ， 平 台 化 引 擎 软 件 作 为 基 础 性 开 发 入 口 ， 使 用 者 将 越 来 越 多 ， 应 用 场 景 也 会 从 游 戏 逐 渐 发

4、展 到 广 告 设 计 、电 影 、 展 览 等 其 他 场 景 。 随 着 元 宇 宙 概 念 的 兴 起 ， 引 擎 公 司 将 作 为 软 件 领 域 “卖 铲 人 ”的 角 色 而 受 益 。n 风 险 提 示 ： 元 宇 宙 仍 处 于 发 展 早 期 ， 技 术 研 发 所 需 时 间 具 有 不 确 定 性 ； 政 策 监 管 风 险 ； 市 场 系 统 性 风 险 。算力 算法通信交互技术产权规则场景应用 元宇宙GPU/CPU/ASIC芯片 5G:低延迟确保沉浸感和元宇宙随时可获得性VR/AR、脑机接口：人与虚拟世界的连接器区块链/NFT：便捷高效的权属认证游戏、工业设计、远程

5、展示、工业远程操作 虚拟世界创作工具图 表 ： Roblox平 台 由 UGC创 作 的 各 种 虚 拟 空 间 图 表 ： 虚 幻 引 擎 创 造 的 沉 浸 性 场 景 图 表 ： 元 宇 宙 的 六 边 形 模 型oPtNpNoQnRvNtRsOqRsOnQbR8Q6MsQrRoMsQlOrRqRfQnNrN6MrQmMxNoOtRvPtPtR目录2、英伟达Omniverse3、Unity4、Unreal（Epic Games）5、Roblox36、其他公司7、风险提示1、算法引擎为什么是元宇宙时代的卖铲人？什 么 是 元 宇 宙 ： 沉 浸 性 以 及 可 定 制 的 交 互 提 升图

6、 表 ： 2021年 11月 bilibili平 台 中 新 宝 岛 播 放 量 为 1.2亿 次 ； 而 YouTube平 台 中 新 宝 岛 的 播 放 量 为 30万 次资 料 来 源 ： bilibili， Youtube， 东 吴 证 券 研 究 所 4n Metaverse 一 词 由 前 缀 “meta”（ 意 为 超 越 ） 和 词 根 “verse”（ 由 “宇 宙 ”反 演 而 来 ） 组 成 。 元 宇 宙 是 由 科 幻 小 说 家 尼 尔 -斯 蒂 芬 森 在 1992年 的 科 幻 小 说 雪 崩 中 提 出的 ， 在 该 小 说 中 ， Metaverse元 宇

7、宙 是 一 个 脱 胎 于 现 实 世 界 ， 又 与 现 实 世 界 平 行 、 相 互 影 响 ， 并 且 始 终 在 线 的 虚 拟 世 界 。 它 栩 栩 如 生 、 让 人 沉 浸 其 中 。 人 们 在 这 个虚 拟 世 界 中 可 以 做 任 何 事 ， 除 了 吃 饭 ， 睡 觉 ； 这 比 现 有 的 虚 拟 世 界 来 讲 ， 是 一 种 更 高 维 度 的 交 互 性 体 验 。n 什 么 是 元 宇 宙 ？ 对 于 元 宇 宙 的 理 解 还 处 于 “盲 人 摸 象 “的 阶 段 ：1. 传 统 游 戏 公 司 们 认 为 元 宇 宙 的 核 心 在 于 可 定 制

8、角 色 与 场 景 的 开 放 世 界 ；2. 区 块 链 从 业 者 认 为 元 宇 宙 的 重 点 在 于 去 中 心 化 、 与 真 实 世 界 相 仿 的 经 济 系 统 与 治 理 模 式 ；3. 互 联 网 大 厂 及 虚 拟 现 实 相 关 企 业 认 为 元 宇 宙 应 该 侧 重 于 沉 浸 式 的 体 验 以 及 线 上 线 下 的 交 互 。n 我 们 认 为 ， 元 宇 宙 的 特 征 体 现 在 沉 浸 性 以 及 用 户 创 造 内 容 （ UGC） 的 提 升 。 这 是 一 个 长 期 的 过 程 ， 需 要 伴 随 芯 片 算 力 提 升 、 软 件 设 计

9、引 擎 大 众 化 、 VR/AR等 交 互 设备 的 便 利 化 同 时 发 展 ， 叠 加 区 块 链 技 术 以 及 相 关 去 中 心 化 应 用 生 态 的 不 断 发 展 ， 才 能 达 到 最 终 的 形 态 。n 我 们 认 为 ， 元 宇 宙 的 发 展 将 带 来 新 维 度 的 交 互 方 式 ， 比 移 动 互 联 网 带 来 更 大 的 社 会 改 变 。 以 bilibili为 例 ， bilibili提 供 了 新 的 交 互 手 段 （ 发 弹 幕 ） 和 较 为 便 利 的 视 频二 次 创 作 平 台 ， 使 bilibili形 成 了 很 强 的 用 户

10、粘 性 和 新 的 文 化 现 象 ， 在 视 频 平 台 的 激 烈 竞 争 中 取 得 独 特 竞 争 优 势 。 对 于 游 戏 领 域 ， 早 期 的 很 多 游 戏 ， 例 如 魔 兽 争 霸 也拥 有 地 图 编 辑 器 ， 较 为 流 行 的 MOBA玩 法 也 脱 胎 于 玩 家 自 制 的 地 图 ， 但 与 Roblox相 比 ， 其 可 实 现 的 游 戏 类 型 偏 少 ， 丰 富 度 较 低 ， 也 缺 少 方 便 的 互 动 手 段 ， 无 法 向 游戏 之 外 扩 展 。 我 们 相 信 ， 由 元 宇 宙 带 来 的 更 丰 富 、 更 沉 浸 式 的 交 互

11、体 验 ， 将 给 游 戏 、 教 育 、 展 览 、 工 业 制 造 、 设 计 规 划 以 及 公 共 服 务 等 领 域 带 来 全 新 想 象 空 间 。图 表 ： 从 魔 兽 争 霸 的 地 图 编 辑 器 到 Roblox的 编 辑 器资 料 来 源 ： 悟 饭 游 戏 ， 东 吴 证 券 研 究 所为 什 么 要 追 求 元 宇 宙 ： 虚 拟 现 实 补 偿 /世 界 模 拟 论图 表 ： 对 现 实 世 界 的 精 神 扩 充资 料 来 源 ： 清 华 大 学 元 宇 宙 报 告 ， 东 吴 证 券 研 究 所 5n 虚 拟 现 实 补 偿 论 ： 人 在 现 实 世 界 所

12、 缺 失 的 ， 将 努 力 在 虚 拟 世 界 进 行 补 偿 。n 世 界 模 拟 论 ： 假 定 一 个 文 明 为 了 得 到 补 偿 而 创 造 虚 拟 世 界 的 冲 动 是 永 恒 的 ， 那 么 在 长 时 段 的 发 展 中 就 必 然 会 创 造 出 一 个 个 虚 拟 世 界 ， 其 自身 所 处 的 世 界 也 极 有 可 能 是 上 层 设 计 者 打 造 的 。n 米 兰 昆 德 拉 ： 人 永 远 都 无 法 知 道 自 己 该 要 什 么 ， 因 为 人 只 能 活 一 次 ， 既 不 能 拿 它 跟 前 世 相 比 ， 也 不 能 在 来 生 加 以 修 正

13、。 没 有 任 何 方法 可 以 检 验 哪 种 抉 择 是 好 的 ， 因 为 不 存 在 任 何 比 较 。 一 切 都 是 马 上 经 历 ， 仅 此 一 次 ， 不 能 准 备 。n 杨 德 昌 ： 电 影 发 明 以 后 ， 人 类 的 生 命 至 少 延 长 了 三 倍 。n 布 希 亚 区 分 了 人 类 仿 真 历 史 的 三 个 阶 段 ： 第 一 个 阶 段 是 仿 造 （ counterfeit） ： 认 为 现 实 世 界 中 才 有 价 值 ， 虚 构 活 动 要 模 拟 、 复 制 和 反 映 自然 。 真 实 与 它 的 仿 造 物 泾 渭 分 明 。 第 二 个

14、 阶 段 是 生 产 （ production） ： 价 值 受 市 场 规 律 支 配 ， 目 的 是 盈 利 。 大 规 模 生 产 出 来 的 仿 造 物 与 真实 的 摹 本 成 为 平 等 关 系 。 第 三 个 阶 段 是 仿 真 （ simulation） ： 在 此 阶 段 ， 拟 像 创 造 出 了 “超 现 实 ”， 且 把 真 实 同 化 于 它 的 自 身 之 中 ， 二 者 的界 限 消 失 。 作 为 模 仿 对 象 的 真 实 已 经 不 存 在 ， 仿 造 物 成 为 了 没 有 原 本 的 东 西 的 摹 本 ， 幻 觉 与 现 实 混 淆 。发 展 时 期

15、表 现 形 式 沉 浸 感 参 与 感古 代 1900s 文 字 门 槛 较 高 ， 需 要 有 文 字 理 解 能 力 ， 传 播范 围 较 窄 参 与 门 槛 高 ， 需 要 有 一 定 文 化 知 识 。 根 据 经 典 文 学 进 行 层 出 不 穷 的 二 次 创 作 是 虚 拟 现 实 补 偿 论 的绝 佳 案 例1900s 视 频 （ 电 影 电 视 ） 画 面 不 需 要 想 象 即 可 获 得 ， 大 众 沉 浸 感高 由 于 需 要 昂 贵 的 设 备 ， 早 期 很 难 有 参 与 感 ； 随 着 PC的 普 及 ， 像 弹 幕 类 互 动 、 二 次 剪 辑 很 大 提

16、 高 了参 与 感 ， 这 种 互 动 式 创 作 丰 富 了 视 频 生 态1950s 游 戏 大 众 沉 浸 感 很 高 ， 经 常 被 批 判 为 “精 神 鸦片 ” 天 生 具 有 很 高 的 参 与 感 。 除 开 发 者 设 定 的 剧 情 外 ， 游 戏 通 常 也 会 开 放 编 辑 器 ， 玩 家 可 以 低 门 槛 的进 行 二 次 创 作 ； 编 辑 器 的 功 能 以 及 可 拓 展 场 景 也 在 不 断 增 加未 来 元 宇 宙 无 法 轻 易 分 辨 虚 拟 与 现 实 应 当 具 有 更 低 的 参 与 门 槛 ， 使 得 大 众 可 以 轻 易 参 与 创 作

17、 ， 真 正 获 得 虚 拟 现 实 的 补 偿 感元 宇 宙 的 六 边 形 模 型 及 市 场 展 望资 料 来 源 ： 东 吴 证 券 研 究 所 绘 制 6资 料 来 源 ： 东 吴 证 券 研 究 所 绘 制算 力 算 法通 信交 互 技 术产 权 规 则应 用 场 景 元 宇 宙GPU/CPU/ASIC芯 片 5G:低 延 迟确 保 沉 浸感 和 元 宇宙 随 时 可获 得 性VR/AR、 脑 机 接 口 ： 人 与虚 拟 世 界 的 连 接 器区 块 链 /NFT：便 捷 高 效 的权 属 认 证游 戏 、 工 业设 计 、 远 程展 示 、 工 业远 程 操 作 模 拟 真 实

18、 世界 预 计 推 广 时 间游 戏 展 览教 育 设 计规 划 医 疗 公 共服 务工 业制 造市场变化程度圆 面 积 代 表 市 场 规 模n 我 们 认 为 ， 元 宇 宙 尚 处 于 早 期 ， 行 业 发 展 呈 现 多 元 化 势 头 ， 值 得 关 注 的 为 以 下 六 个 方 面 ：n 算 力 -提 供 基 础 的 计 算 能 力 ， 主 要 包 括 GPU/CPU/ASIC等 芯 片 ；n 算 法 -作 为 虚 拟 世 界 的 创 作 工 具 ， 平 台 化 软 件 引 擎 降 低 了 虚 拟 世 界 的 创 作 门 槛 ， 促 进 元 宇 宙 时 代 的 以 UGC为 主

19、 的 内 容 繁 荣 ；n 通 信 -5G： 低 延 迟 是 确 保 沉 浸 感 的 重 要 因 素 ， 也 是 元 宇 宙 随 时 可 获 得 性 的 保 证 ；n 交 互 技 术 -VR/AR、 体 感 衣 、 脑 机 接 口 等 ： 作 为 人 与 虚 拟 世 界 的 连 接 器 ， 很 大 地 促 进 虚 拟 世 界 的 沉 浸 性 ；n 产 权 规 则 -区 块 链 ： 便 捷 高 效 的 权 属 认 证 ；n 应 用 场 景 -游 戏 、 工 业 设 计 、 远 程 展 示 、 工 业 远 程 操 作 等 。n 我 们 认 为 ， 元 宇 宙 会 很 大 改 变 人 类 社 会 形

20、 态 ， 这 是 一 个 长 期 的 过 程 。 从 推 广 时 间 来 看 ， 游 戏 、 教 育 、 展 览 等 行 业 会 更 早 受 到 元 宇 宙 概 念 的 影 响 而 发 生 改变 ， 其 中 游 戏 的 市 场 规 模 很 大 ， 市 场 变 化 程 度 也 较 为 剧 烈 。 除 游 戏 外 ， 工 业 制 造 、 设 计 规 划 以 及 公 共 服 务 市 场 空 间 很 大 ， 将 会 给 相 关 领 域 带 来 持 续 和 长久 的 投 资 机 会 。算 法 （ 引 擎 ） ： 虚 拟 世 界 的 基 础 规 则图 表 ： 游 戏 引 擎 中 的 物 理 与 动 画 引

21、 擎 系 统资 料 来 源 ： Pybullet， 英 伟 达 官 网 ， 东 吴 证 券 研 究 所 7n 算 法 （ 引 擎 ） ， 定 义 了 虚 拟 世 界 中 的 基 础 规 则 和 呈 现 方 式 。 它 定 义 并 实 现 了 游 戏 中 的 自 然 法 则 。 这 些 法 则 包 括 光 影 效 果 、 动 画 系 统 和 物 理 系 统 等 。 （ 游 戏 ） 引 擎 可 以 减 少 重 复 开 发 ， 降 低 开 发 门 槛 。 通 常 ， 引 擎 进 行 物 理 模 型 计 算 、 AI计 算 、 图 像 渲 染 、 声 音 、 动 画 系 统 渲 染 等 功 能 。n

22、平 台 化 引 擎 公 司 逐 渐 发 展 壮 大 。 早 期 虚 拟 世 界 的 设 计 通 常 由 大 型 公 司 来 进 行 ， 设 计 引 擎 通 常 也 是 自 有 的 封 闭 引 擎 ； 随 着 虚 拟 世 界 的 开 发 人 员 的 不 断 增 多 与 虚 拟 世 界产 业 的 不 断 壮 大 ， 很 多 优 秀 的 引 擎 选 择 平 台 化 发 展 战 略 。 其 中 比 较 有 名 的 为 Unity和 Unreal引 擎 。 平 台 化 引 擎 的 出 现 很 大 降 低 了 开 发 门 槛 ， 使 更 多 中 小 创 作 者 有 能力 来 进 行 高 逼 真 度 或 者

23、 是 更 加 宏 大 的 虚 拟 世 界 的 创 作 ， 促 进 了 UGC的 发 展 。 除 软 件 公 司 外 ， 像 英 伟 达 这 样 的 以 硬 件 为 主 的 公 司 也 开 始 进 入 软 件 领 域 ， 推 出 了Omniverse设 计 软 件 ， 也 致 力 于 推 动 算 法 以 及 引 擎 领 域 的 发 展 。 图 表 ： （ 游 戏 ） 引 擎 公 司图 表 ： 人 物 在 说 话 时 的 面 部 模 拟UnrealUnity3D Cocos、 Egret、 Layabox3A游 戏 大 作H5游 戏 制 作3D手 游 制 作RobloxWEGDevelop、RPG

24、maker、 微 信 小游 戏 工 具 橙 光 文 字 游 戏 制 作 工 具 、Visual novel maker3D游 戏 编 辑 器2D游 戏 编 辑 器文 字 游 戏 编 辑 器 银 河 编 辑 器 ：由 编 辑 器 向 引 擎 跨 越游 戏 编 辑 器 游 戏 引 擎 游 戏 引 擎 向 通用 平 台 跨 越 OmniverseUnrealUnity通 用 平 台算 法 （ 引 擎 ） ： 平 台 化 特 征 显 现n 引 擎 ， 特 别 是 游 戏 引 擎 ， 经 历 了 从 自 有 游 戏 引 擎 到 平 台 化 引 擎 的 发 展 历 程 。 我 们 认 为 ， 随 着 像

25、Unreal 和 Unity这 样 的 平 台 化 引 擎 能 力 不 断 提 高 ， 其 可 使 用 的 场 景 会从 游 戏 逐 渐 扩 展 到 其 他 广 告 、 个 性 化 展 示 以 及 工 业 设 计 等 领 域 ， 扮 演 着 卖 铲 人 的 角 色 ， 成 为 元 宇 宙 时 代 的 基 础 性 工 具 。8资 料 来 源 ： 东 吴 证 券 研 究 所 绘 制目录2、英伟达Omniverse3、Unity4、Unreal（Epic Games）5、Roblox96、其他公司7、风险提示1、算法引擎为什么是元宇宙时代的卖铲人？n 英 伟 达 （ NVIDIA） 是 一 家 以

26、GPU（ Graphics Process Unit， 图 形 处 理 单 元 ） 芯 片 设 计 起 家 的 人 工 智 能 计 算 公 司 。 1999年 ， 英 伟 达 定 义 了 GPU，GPU的 出 现 被 业 界 视 为 现 代 计 算 机 图 形 技 术 的 开 端 。 在 独 立 GPU领 域 ， 英 伟 达 的 GPU出 货 量 全 球 市 场 占 有 率 在 2014年 以 来 始 终 保 持 60%以 上 ，2021Q1市 场 占 有 率 达 81%， 处 于 绝 对 的 领 先 地 位 。n 我 们 认 为 ， 英 伟 达 希 望 用 Omniverse来 复 制 CU

27、DA的 成 功 经 验 ， 使 英 伟 达 成 为 未 来 元 宇 宙 时 代 （ 虚 拟 世 界 ） 软 硬 件 一 体 化 的 基 石 性 公 司 ， 给 英 伟达 带 来 新 的 收 入 增 长 点 。 英 伟 达 早 在 2006年 就 前 瞻 性 地 投 入 资 金 开 发 了 CUDA系 统 ， 可 以 方 便 开 发 者 调 用 GPU资 源 来 进 行 AI模 型 训 练 以 及 科 学 计算 等 领 域 ， 英 伟 达 的 GPU也 成 为 AI领 域 不 可 或 缺 的 基 础 ， 其 以 CUDA为 基 础 的 数 据 中 心 业 务 营 收 在 2019-2021年 近

28、 三 年 已 经 占 公 司 营 收 的 40%以上 。 而 Omniverse将 虚 拟 世 界 的 设 计 门 槛 大 大 降 低 ， 这 有 助 于 UGC（ User Generated Content， 用 户 生 成 内 容 ） 的 形 成 和 生 态 系 统 的 建 立 ， 且 将和 英 伟 达 的 数 据 中 心 业 务 和 云 游 戏 业 务 产 生 联 动 ， 使 英 伟 达 介 入 更 多 软 件 层 面 的 业 务 ， 形 成 软 硬 件 联 动 ， 筑 牢 虚 拟 世 界 的 壁 垒 。图 表 ： GPU + CUDA AI资 料 来 源 ： 公 司 官 网 ， 东

29、吴 证 券 研 究 所 10英 伟 达 ： Omniverse降 低 虚 拟 设 计 门 槛 ， 成 为 元 宇 宙 时 代 “卖 铲 人 ”图 表 ： GPU + Omniverse Metaversen 英 伟 达 使 用 USD (Universal Scene Description， 通 用 场 景 描 述 ) 和 MDL（ Material Definition Language， 材 质 定 义 语 言 ） 搭 建 了 一 个 可 以 在 不 同 设 计软 件 运 行 的 通 用 平 台 。 USD 不 仅 仅 是 一 种 文 件 格 式 ， 也 是 一 种 丰 富 的 场 景

30、表 示 ， 可 利 用 API 支 持 复 杂 的 属 性 继 承 、 实 例 化 、 分 层 、 延 迟 加 载 以 及 其 他各 类 关 键 特 性 。 NVIDIA 的 MDL， 以 USD方 法 表 示 材 质 的 资 料 和 参 数 ， 简 化 不 同 应 用 特 定 材 质 定 义 间 的 交 换 。 这 种 标 准 定 义 使 许 多 应 用 中 的 材 质 ， 可 以达 到 基 本 相 同 的 展 示 效 果 。n 英 伟 达 通 过 Nucleus数 据 库 和 Connect 库 ， 实 现 数 据 在 不 同 平 台 的 同 步 设 计 和 实 时 渲 染 。 Omniv

31、erse 客 户 端 可 以 将 对 数 据 和 虚 拟 世 界 的 修 改 发 布 到 Nucleus 数 据 库 (Database)， 数 据 包 括 几 何 图 形 、 灯 光 、 材 质 、 纹 理 ， 以 及 描 述 虚 拟 世 界 及 其 演 变 的 数 据 信 息 。 Connect库 以 插 件 （ SDK， Software Development Kit） 的 形 式 ， 使 各 种 设 计 软 件 （ Maya、 PS等 设 计 软 件 ） 连 接 到 Nucleus。 完 成 链 接 之 后 ， DCC（ Digital Content Creation， 数 字 内

32、 容 生 成 ） 将 使 用 Omniverse Connect 库 应 用 从 外 部 接 收 的 更 新 ， 并 实 时 显 示 渲 染 的 结 果 。 Omniverse Connect 也 会 跟 踪 自 上 次 发 布 活 动 后 的 所 有 本 地 更 改 。 当 应用 发 出 请 求 后 ， Omniverse Connect 库 将 针 对 每 个 差 异 构 建 一 个 独 立 文 件 ， 并 将 其 发 布 到 Nucleus， 然 后 转 发 给 所 有 参 与 的 设 计 者 。 通 过 这 套 系 统 ， 设计 者 不 仅 可 以 方 便 应 用 不 同 的 设 计

33、软 件 进 行 3D模 型 的 开 发 ， 还 可 以 多 人 实 时 看 到 渲 染 结 果 ， 降 低 了 开 发 门 槛 的 同 时 提 高 开 发 者 之 间 的 交 流 效 率 。n 英 伟 达 不 断 开 拓 Omniverse内 生 应 用 ， 长 远 来 看 可 能 取 代 某 些 软 件 的 功 能 。 举 例 来 说 ， Omniverse推 出 了 AUDIO2FACE， 这 个 模 块 可 以 根 据 语 音 片 段 来模 拟 人 物 的 嘴 部 动 态 ， 这 很 大 提 高 了 虚 拟 人 物 的 真 实 性 。 Omniverse计 划 逐 步 推 出 其 他 功

34、 能 的 软 件 模 块 ， 来 丰 富 Omniverse的 自 有 生 态 。图 表 ： Omniverse的 底 层 思 路 是 实 现 不 同 设 计 平 台 的 打 通 ， 制 定 通 用 标 准司 官 网 ， 东 吴 证 券 研 究 所 11Omniverse： 制 定 通 用 标 准 ， 打 通 不 同 设 计 平 台 ， 降 低 设 计 壁 垒图 表 ： Omniverse降 低 开 发 门 槛 ， 提 高 交 流 效 率 图 表 ： AUDIO2FACE模 拟 讲 话 功 能Kit 构 成 Omniverse核 心 模 块12n Omniverse Kit是 基 于 USD构

35、 建 的 工 具 包 ， 集 合 了 英 伟 达 所 有 技 术 ， 用 于 创 建 能 够 解 决 实 际 问 题 的 应 用 程 序 。 它 还 可 以 用 于 开 发 用 户 自 己 的 Omniverse应 用 程 序 。 使用 Python编 写 脚 本 ， 以 C+为 核 心 提 高 效 率 ， 同 时 随 附 完 整 源 代 码 ， 开 源 进 行 远 程 控 制 、 可 帮 助 开 发 者 轻 松 搭 建 各 种 模 拟 组 件 和 应 用 程 序 。n Kit核 心 是 高 度 模 块 化 。 Kit中 包 含 许 多 用 于 执 行 PhysX、 渲 染 、 计 算 机 图

36、 形 等 SDK， 用 于 协 调 本 机 存 储 的 USD数 据 对 其 进 行 操 控 。 Kit中 应 用 程 序 由 扩 展 程 序 组 成 ， 扩展 程 序 是 Kit构 建 块 ， 代 码 完 全 使 用 python编 写 ， 扩 展 程 序 还 包 括 图 标 、 图 形 、 配 置 等 。 Kit可 以 独 立 使 用 Nucleus文 件 路 径 字 段 、 文 件 网 络 、 树 状 视 图 、 添 加 搜 索 ，连 接 到 Nucleus AI索 引 服 务 的 单 独 扩 展 程 序 ， 基 本 组 件 主 要 由 USD/Hydra、 Omniverse Clie

37、nt Libaray、 Carbonite、 Omniverse RTX Render、 Scriping、 UI构 成 。n Extensions是 基 于 Omniverse Kit的 应 用 程 序 的 核 心 构 建 块 。 Extensions分 为 核 心 扩 展 和 由 核 心 扩 展 构 成 的 其 他 扩 展 ， 核 心 扩 展 包 括 Viewport、 Stage、 Layers、Content Browser、 Version Control、 Details Panel、 Extensions Manager、 Movie Capture、 Audio、 Saved

38、Layouts等 程 序 ， 实 现 了 窗 口 界 面 、 加 载 卸 载 扩 展 程 序 、 声音 支 持 等 多 种 程 序 基 本 功 能 。n 在 Core Extensions支 持 下 ， 实 现 了 Simulation Extensions、 Animation Extensions、 Design Extensions、 Omniverse Remote Extensions、 AI ToyBox Extensions 、 Utility Extensions等 多 种 扩 展 ， 构 建 了 Isaac、 Create等 多 种 应 用 。， 东 吴 证 券 研 究 所图

39、 表 ： Omniverse Kit构 成 图 表 ： Omniverse Kit主 要 组 成USD/Hydra Omniverse Client Library Carbonite Omniverse RTX Render Scriping UIUSD是 Kit使 用 的 主要 场 景 描 述 ， 可 以通 过 外 部 共 享 库 直接 访 问 。 Pixar的Hydra是 渲 染 工 具 。任 何 兼 容 Hydra的渲 染 器 都 可 以 连 接到 Omniverse Kit渲染 窗 口 。 Omniverse客 户 端 (如 Kit)在 加 载 和 保 存 Assets(如USD,

40、MDL和 纹 理 )时 使用 的 与 Omniverse服 务器 和 本 地 文 件 系 统 通 信的 库 。 如 用 于 在Omniverse Nucleus服 务器 上 读 /写 /复 制 数 据 /文件 和 文 件 系 统 类 查 询 的API。 Omniverse Kit基 于 Carbonite基 础 框 架 而 构 建 ， Carbonite插 件 都 是 使 用 C接 口 编 写 的 ，以 实 现 持 久 的 ABI兼 容 性 。 该框 架 可 通 过 一 组 轻 量 级 扩 展 程序 提 供 插 件 管 理 、 输 入 、 文 件访 问 、 持 久 设 置 管 理 、 音 频

41、、资 产 加 载 和 管 理 、 线 程 和 任 务管 理 、 图 像 加 载 、 本 地 化 、 同步 和 基 本 窗 口 等 各 类 功 能 。 Pixar的 Hydra被 用 来 连 接USD和 RTX。 因 为 Kit需 要支 持 大 量 的 渲 染 器 ， 多 个自 定 义 场 景 委 托 ， 多 个Hydra引 擎 和 一 系 列 其 他需 求 ， 在 Kit应 用 程 序 中提 供 一 个 带 有 Gizmos和其 他 控 件 的 Viewport， 所有 渲 染 在 高 帧 率 下 异 步 。 Kit附 带 一 个python版 本 。可 以 在 基 于Kit的 应 用 程序

42、中 运 行 任意 的 python脚 本 。 Omniverse Kit带有 一 个 默 认 的 UI，允 许 它 作 为 一 个USD检 查 器 ， 编辑 器 ， 布 局 工 具和 查 看 器 。n Omniverse Nucleus是 Omniverse的 数 据 库 和 协 作 引 擎 。 通 过 Omniverse Nucleus， 团 队 可 以 将 多 个 用 户 连 接 在 一 起 ， 同 时 使 用 多 个 应 用 程 序 。 这 允 许人 们 使 用 他 们 最 舒 适 和 最 快 的 应 用 程 序 ， 并 为 快 速 迭 代 打 开 了 许 多 大 门 。 为 此 ， O

43、mniverse Nucleus提 供 了 一 组 基 本 服 务 ， 这 些 服 务 允 许 各 种 客 户 端 应用 程 序 、 渲 染 器 和 微 服 务 共 享 和 修 改 虚 拟 世 界 的 表 示 。1. Nucleus具 有 应 用 程 序 之 间 的 高 效 协 作 和 实 时 同 步 、 用 户 和 群 组 管 理 、 保 留 所 有 更 改 历 史 、 控 制 访 问 列 表 和 权 限 管 理 、 安 全 的 传 输 协 议 、 边 缘 缓存 与 备 份 等 功 能 ， 具 备 数 据 库 的 基 础 和 高 级 功 能 。2. Nucleus是 一 组 服 务 的 集

44、合 ， 利 用 其 复 杂 的 架 构 ， 同 时 支 持 Windows和 Linux， 可 以 在 网 络 上 使 用 ， 并 允 许 Client层 应 用 程 序 连 接 到 这 些 服 务 。 在Nucleus中 ， 每 个 组 件 都 可 以 与 多 个 其 他 组 件 相 互 通 信 。n Omniverse Connect 库 以 插 件 的 形 式 分 布 ， 使 客 户 端 应 用 能 够 连 接 到 Nucleus。 完 成 必 要 的 同 步 后 ， DCC 插 件 将 使 用 Omniverse Connect 库 应 用 从 外部 接 收 的 更 新 ， 并 在 必

45、 要 时 发 布 内 部 生 成 的 更 改 。 NVIDIA已 经 在 开 源 的 USD发 行 版 上 构 建 了 扩 展 和 附 加 的 软 件 层 ， 使 得 DCC工 具 和 计 算 服 务 可 以 通 过Omniverse Nucleus DB轻 松 地 相 互 通 信 。 这 些 扩 展 和 添 加 以 及 利 用 它 们 的 应 用 程 序 插 件 统 称 为 NVIDIA Omniverse Connect。图 表 ： Nucleus实 现 用 户 实 时 协 作资 料 来 源 ： 公 司 官 网 ， 东 吴 证 券 研 究 所 13Nucleus和 Connect ， 实

46、现 数 据 跨 平 台 同 步 设 计 和 实 时 渲 染图 表 ： Nucleus内 部 架 构 图 表 ： Nucleus用 户 权 限 管 理Audio2Face 基 于 Omniverse Kit的 面 部 动 画 生 成 技 术14资 料 来 源 ： 公 司 官 网 ， 东 吴 证 券 研 究 所 图 表 ： 音 频 输 入 图 表 ： 角 色 转 换 图 表 ： 多 个 实 例n Omniverse Audio2Face是 一 款 由 AI 支 持 的 应 用 程 序 ， 仅 从 一 个 音 频 来 源 即 可 生 成 和 音 频 同 步 的 对 唇 面 部 表 情 动 画 （ 由

47、 AI 提 供 技 术 支 持 ） 。 可 简 化 3D 角 色 的 动 画制 作 ， 以 与 任 何 配 音 音 轨 匹 配 ， 方 便 游 戏 电 影 和 实 时 数 字 助 理 制 作 动 画 角 色 。 Audio2Face还 提 供 了 一 个 完 整 的 字 符 传 输 管 道 ， 为 用 户 提 供 了 一 个 简 化 的 工 作 流 ，使 他 们 能 够 使 用 Audio2Face技 术 驱 动 自 己 的 字 符 。 数 据 转 换 选 项 卡 还 提 供 了 各 种 输 出 格 式 包 括 连 接 自 定 义 的 Blendshape网 格 。n Audio2Face工

48、作 原 理 ： Omniverse Audio2Face 应 用 程 序 基 于 原 始 NVIDIA 研 究 论 文 。 Audio2Face 预 装 有 “Digital Mark”。 这 是 一 个 3D 角 色 模 型 ， 可 以 使 用 用 户 的音 轨 进 行 动 画 处 理 ， 因 此 入 门 步 骤 非 常 简 单 。 只 需 选 择 音 频 并 将 其 上 传 到 应 用 程 序 即 可 。 该 技 术 将 音 频 输 入 到 预 先 训 练 的 深 度 神 经 网 络 中 ， 而 网 络 输 出 会 实 时 生 成角 色 的 面 部 动 画 。 用 户 可 以 通 过 编

49、辑 各 种 后 处 理 参 数 来 编 辑 角 色 的 性 能 。 然 后 ， 网 络 输 出 会 生 成 角 色 的 3D 顶 点 网 格 ， 以 创 建 面 部 动 画 。 用 户 在 此 页 面 上 看 到 的 结果 主 要 为 Audio2Face 的 原 始 输 出 ， 很 少 或 没 有 编 辑 过 后 处 理 参 数 。n Audio2Face支 持 音 频 输 入 、 角 色 转 换 、 实 例 多 样 、 数 据 转 换 等 多 种 丰 富 的 功 能 ， 为 用 户 带 来 多 样 体 验 。图 表 ： Audio2Face工 作 原 理Isaac Sim 基 于 Omni

50、verse Kit的 AI机 器 人 模 拟 仿 真 平 台15资 料 来 源 ： 公 司 官 网 ， 东 吴 证 券 研 究 所n NVIDIA Isaac Sim由 Omniverse提 供 支 持 ， 是 一 款 可 扩 展 的 机 器 人 仿 真 应 用 程 序 和 合 成 数 据 生 成 工 具 ， 为 逼 真 、 精 确 的 虚 拟 物 理 环 境 提 供 支 持 ， 以 开 发 、 测 试和 管 理 AI机 器 人 ， 拥 有 生 成 合 成 数 据 、 模 拟 操 作 、 模 拟 导 航 、 机 器 人 /资 产 导 入 四 大 功 能 。n 为 训 练 感 知 模 型 生 成