《腾讯研究院:2024数字科技前沿应用趋势报告-智能科技 跨界相变(88页).pdf》由会员分享,可在线阅读,更多相关《腾讯研究院:2024数字科技前沿应用趋势报告-智能科技 跨界相变(88页).pdf(88页珍藏版)》请在三个皮匠报告上搜索。
1、智能科技跨界相变 20242024 数字科技前沿应用趋势 封面图片由腾讯混元AI生成过去一年,我们见证了数字科技的加速度。每个人都身处变革巨浪之中,既对大模型的突破进展无比兴奋,也对未来充满了无限憧憬。新年伊始,眺望未来2-3年的科技趋势。我们正驶向一个由连接衍生交互、由计算催生智能的时代。高性能计算、量子计算、云计算和边缘计算这四大计算“融汇贯通,正催生全新的计算范式。通用人工智能渐行渐近,大型模型走向多模态,AI智能体可能成为下一代平台,AI科学家有望加速问世。全球已达共识,AI治理将引领我们踏上更智慧、更安全的未来。机器人演进加速,灵巧手让人形机器人更敏捷、更像人。AI与生命科学的交融,
2、将帮助我们洞察更多的生命奥秘。我们会进入一个3D、全真在场的新世界。脑机接口不仅在医疗实现突破,正拓展至更多的互动场景。或许不久的将来,我们将亲自见证意识上载从科幻成为现实。手机卫星电话、垂直起降飞机将改变我们的应急方式和出行模式。交通网、信息网、能源网的融合,将推动智能、绿色的能源变革。未来已来,一个充满韧性和重塑的全新时代即将揭开序幕。让我们拥抱变革,共同谱写人类与科技和谐共生的新篇章!在这个日新月异的变革时代,我们有幸见证并参与了数字科技的创新突破。特别是近年来,以大模型为代表的AI技术,让我们看到了通用人工智能的曙光,有望大幅加速技术演进的步伐。腾讯的2024数字科技趋势,从连接、交互
3、、计算和智能四个维度,对100多项未来技术和重点方向给出了趋势性判断。从星地直连的卫星互联网,到垂直起降飞机的未来交通网,再到能源、信息和交通的多网协同,未来网络连接的广度和深度都迎来无限可能。交互方式正在发生变革,数字交互引擎不仅让虚拟世界更真实,也让真实世界更丰富,未来的全新3D视界呼之欲出,脑机接口的新进展也带来了更大的想象空间。计算无疑是各类智能的底层基础支撑,也成为当前竞争的焦点领域。而智能的升级,不仅会给机器人注入具身智能,还给微观世界的基因计算带来新突破。预测未来的最好方式,就是创造未来。相信在行业各界的共同努力下,这些前瞻洞见会更快到来,从趋势变成现实。丁 汉中国科学院院士去年
4、以来,以生成式AI为代表的人工智能技术发展激荡人心,正在引发智能的元革命。可以遇见的未来,智力将会成为一种基础设施服务,新的IaaS呼之欲出。类比摩尔定律,未来可能会出现新的智能定律,对信息世界、物理世界和生命世界带来全方位的影响。未来十年,AI会无所不在。首先,现有的各类应用可以用AI重新做一遍,新的交互变革、体验创新将会带来更新的智能硬件、更多的智能服务,孕育出比历次工业革命都巨大的产业机会。其次,AI会成为各领域的底层操作系统,AI+机器人的具身智能,AI+生命科学的基因计算,AI+未来出行的自动驾驶汽车和垂直起降飞机,甚至AI+脑机接口的硅基和碳基结合的新生命体,都会一步步成为现实。最
5、后,AI能力的提升也伴随着风险的扩大,我们要充分发挥技术发明的智慧和把握应用方向的智慧,让AI科技更善良、更有创意,朝着强化人、成就人的方向可持续发展。张亚勤中国工程院院士、清华大学智能产业研究院(AIR)院长一、计算重塑高性能计算的“四算聚变”二、智能升维多模态智能体加速AGI进程AI加速人形机器人“手、脑”进化AI+基因计算解读生命密码三、沉浸交互数字交互引擎激发超级数字场景脑机接口从医疗突破迈向交互革命沉浸式媒体催生3D在场四、未来连接星地直连通信推动泛在网络覆盖eVTOL加速空中出行奔赴新时代多能流实时协同重塑虚拟电厂目录本章节与行业机构光子盒联合研究推出量 超 云 边高性能计算3.0
6、将以高性能集群为基础,融合量子计算、云原生和边缘高性能,形成并行与分布式一体的计算架构。0102破 墙 而 出处理器、存储和网络等关键硬件技术,正在不断进化、重组甚至是革新,试图突破现有的性能瓶颈,其中存算一体技术为“后冯诺依曼时代”提供新的发展路径。趋势要点今年,全球各地高性能计算集群迎来向2.0架构(CPU+GPU)的升级潮,高性能计算集群、量子计算、云计算和边缘计算的“四算融合”也成为高算 3.0 演进的新趋势,衍生新一轮科技探索。高算相关研究机构和企业纷纷加大了在计算单元、存储、网络互联、软件中间件、算法等关键技术上的科研投入以适应新形势,并努力寻找穿越“内存墙”的有效路径。未来几年,
7、高性能算力应用将爆发,以人工智能和科学计算模拟为代表的应用算法、软件、以及相关的研究成果和记录将迎来一轮刷新。加之可持续计算的加大投入,高性能计算技术应用发展呈现快演进、重效能的新形势。03模 拟 一 切计算机模拟,因为算力的提升、软件工具的迭代、以及与人工智能的结合,将成为大语言模型之后、迭代最快的应用发展路径。2024年数字科技前沿应用趋势04可 持 续 计 算持续高企的耗能,使得“计算能效”成为可持续计算的重要指标,高性能计算各个层面为“降耗提效”加紧探索。大事记chronicle of events2024年数字科技前沿应用趋势9 月,算能与山大共同研发了面向高密度计算和数据中心场景的
8、 RISC-V 融合服务器集群方案正式交付,这是 RISC-V 在数据中心的首次商业落地,标志着 RISC-V 正式迈入高性能计算领域。该集群共有 3072 核,采用 48 颗算能科技 SG2042RISC-V SoC 64 核 CPU芯片。首个RISC-V高性能服务器集群交付2 月,Google Quantum AI团队在自然杂志上发表名为通过扩展表面码逻辑量子比特来抑制量子错误的论文,证明将多个量子比特分组合成为一个逻辑量子比特的纠错方法可以提供更低的容错率,进而证明量子纠错达到“盈亏平衡点”,量子计算机将“越纠越对”。这是量子计算发展的重要里程碑,为实现通用计算所需的逻辑错误率指出了新的
9、途径。纠错量子技术实现“盈亏平衡点”7 月,欧洲中期天气预报中心(ECMWF)发布了 4 月和 7 月进行的对比测试报告,将华为盘古气象模型于欧洲数值模型进行了对比。报告显示,盘古气象模型在一系列精度指标上展现出优势,在处理气象学家关心的极端天气预报方面表现出色。其1 小时-7 天的预测精度均高于传统算法 operational IFS,同时预测速度提升 10000 倍。相关论文也发表在自然杂志。盘古气象模型投入欧洲气象预测最新 E 级高性能计算机 Jupiter 开建10 月 4 日,欧洲高性能计算联合组织EuroHPC启动了欧洲第一台百亿亿级高性能计算机JUPITER的建设。该系统专为科学
10、和工业领域的最大可能模拟和人工智能应用而设计,预计 2024 年推出。JUPITER采用了当前最先进的高性能计算技术方案,包括欧洲自研 CPU Rhea、英伟达GH200、液冷机柜等,此外系统还预留了量子计算和神经形态计算的扩展规划。1.0:CPU为核心计算单元2.0:CPU+GPU成主流3.0:CPU+GPU+QPU 异构计算集群至今未来图片均来自互联网公开信息2024年数字科技前沿应用趋势关 键 学 科量子信息科技集成电路设计与系统信息与计算科学冯诺依曼架构下,限制高性能算力扩展的“内存墙”越发明显https:/ 高性能计算集群全柜化浸没式相变液冷技术硅光集成芯片连接与测控技术量子存储器技
11、 术 热 点市 场 趋 势热 议 问 题数据来源:https:/ 5 年,高性能计算传统 市 场 的CAGR将维持在8%,而高算 云 服 务 的CAGR 将超过18%。合并市场总量预计将在 2027 年 达到592亿美元。00000400005000060000202220232024202520262027高性能计算市场趋势(单位:百万美元)服务器云服务存储应用相关服务中间件随着高性能计算机群不断引入web 服务和容器化等云计算技术,以及云计算平台开始提供分布式高性能虚拟机服务,两者技术栈开始迅速同化;传统高性能计算与量子计算的融合,成为未来高性能算力跃升的高潜路径,世
12、界各大研究机构纷纷开展试验;量子计算系统的扩展引入了集群的思路,量子云平台将成为量子计算软件开发和应用探索的重要基础设施;高性能、低功耗的芯片技术正在培育高性能边缘计算的基础,云边协同的分布式架构将成为高性能计算未来的典型架构之一。云超同化量子集群出现、云服务普及2024年数字科技前沿应用趋势高性能算力的充分利用,云计算技术的引入是必要选择。现有高算集群云原生化脚步进一步加快,如IBM 云原生高算Vela,以及 AWS 和英伟达联合的Project Ceiba;另一方面云计算平台对于并行+分布式的高性能计算方案实践,也展现了进一步释放现有算力价值的可能。比如谷歌云提出“算力多切片训练”方案,以
13、实现超出一般高算集群负载的超大规模 AI 训练。量子计算集群出现:IBM 公布可扩展量子计算系统 IBM Quantum SystemTwo,引入模块化架构和计算机集群设计,可让系统容纳 10000 个量子比特。量子云服务普及:这有助于上层软件和应用的高效研发。全球已有超过20家机构推出该服务,机构从整机公司(如IBM),发展到云服务商(如AWS),再到科研院所(如北京量子院)。高性能计算走向云边协同高性能边缘计算(HPEC)成长中:目前HPEC单点算力可达千万亿次每秒,自动驾驶和机器人是典型应用场景。除传统计算平台外,神经形态芯片、光电计算芯片等新技术的成熟也在不断提升边缘算力和能效。可以运
14、行文生图大模型的骁龙 8Gen3 很快将面世。IBM神经形态芯片NorrthPole 比相同制程的 CPU 芯片能效提升 25 倍。将在自动驾驶等场景试点。清华大学研发的 ACCEL 光电计算芯片在视觉 AI 任务中,比同用途常规芯片快三千余倍,能效提升四百万余倍。云边协同:为获得实时计算决策以及更高的信息安全环境,将部分数据处理、模型训练以及推理等工作,从数据中心/云平台迁移至云边协同架构下,是必要的技术路径。量超融合量超融合成为行业共识:通过将计算任务在量子计算机和高性能集群之间进行分解和调配,实现量超协同,在大幅节约资源的情况下,双向发挥量子计算机和超级计算机各自优势。预计连接两者的量子
15、测控系统将成为量超融合“三步走”的关键系统之一。2023年9月,本源量子与上海、郑州机构/公司共同打造了中国首个“量超融合”先进计算平台2023年11月,芬兰VTT技术研究中心开放量子计算机,并通过LUMI超级计算机进行访问IBM Vela 架构IBM Quantum System Two 集群既谷歌和亚马逊,微软、Meta 今年先后发布自研高性能芯片;而老牌芯片公司也相继补齐 CPU 和 GPU 产品矩阵;同时,ARM和RISC-V芯片在高性能领域的应用探索也在增加,高性能芯片性能之争加剧;冯诺依曼架构的“内存墙”越发明显,业界纷纷采用存算一体技术,提升现有芯片性能的同时,研发神经形态计算芯
16、片,探索“破墙”之路;量子比特制备的各条技术路线均有进展,竞争更加激烈;而芯片互联、逻辑量子比特制备等突破,显示量子计算芯片发展开始追求质量和实用。存算一体,突破“内存墙”量子比特制备路径之争将更激烈QPU 发展从数量到质量芯片技术多元化发展加剧英伟达、Intel、AMD 等纷纷采用 HBM和LPDDR 等内存技术实现近存计算,内存带宽突破5TB/s,算力再提升。2024年数字科技前沿应用趋势Quantinuum推出32量子比特GHZ状态的新一代H2离子阱量子计算机。英伟达 Grace CPU 采用960GB LPDDR5X 内存AMD MI300X 采用192GB HBM3e 内存多条技术路
17、径并进:超导、离子阱、光量子、冷原子等路径均有进展,竞争将更激烈。千级量子计算机达成:IBM发布了1121量子比特的Condor 处 理 器;AtomComputing将在24年推出全球首台超过1000量子比特的中性原子量子计算机。Intel 推出名为Tunnel Falls、含有12个硅自旋量子比特的量子芯片。AWS(亚马逊)发布超导量子芯片,提出“主动+被动”纠错方案,专注提升纠错能力。九章三号首次突破255个可控光量子数目。众多科技企业纷纷加入高性能芯片大战的同时,芯片技术的多元化发展进一步加剧。微软的ARM 架构CPU Cobalt100Meta RISC-V 架构SoC AI 加速芯
18、片位于葡萄牙的高性能计算集群Deucalion将 采 用 富 士 通 的ARM 架构高性能芯片 A64FX。算能科技日前向山东大学交付 国内首台RISC-V 服务器集群,该 集 群 拥 有 48颗RISC-V 高性能芯片SG042。神经形态计算(Neuromophic Computing)是“后冯诺依曼时代”突破“内存墙”的重要计算技术路径。受人类大脑原理的启发,神经形态计算芯片通过存内计算(Computein Memory)方式,实现高算力的同时实现超低功耗。目前该类芯片尚处研发早期,Intel,IBM,中科院和清华等发布阶段成果。芯片互联出现:IBM发布133比特具备互联结构的Heron处
19、理器。这是国际首次完成芯片互联的结构,模块化量子计算机时代即将到来。逻辑量子比特制备突破:哈佛大学、QuEra、MIT和NIST/马里兰大学联合实现在48个逻辑量子位上执行复杂纠错量子算法。云原生技术的加快普及,以及虚拟化和容器化技术与传统计算变成平台的结合,将加快AI 计算和传统科学计算应用的大规模迁移,高性能算力的潜力将进一步得到释放;人工智能大模型的研发、科学计算应用软件的迁移,以及科学计算建模算法与人工智能技术的结合,将比预计的快许多,科学家和科研团队的生产力将迅速提高,科学研究将迎来快速进步的新形势。云原生技术加快普及2024年数字科技前沿应用趋势云平台容器服务将加快对高性能计算服务
20、的支持,并进一步兼容CUDA 等并行计算平台,为用户提供高度自动化的高性能计算工作环境,大大提高研发和实验效率。云平台HPC云服务容器服务谷歌云H3,A3GKETPU v5e亚马逊云EC2UltraCLusterEKS微软云NC H100 V5AKS英伟达云DGX CloudNCTIBM云VPCKS腾讯云THCCTKE阿里云SCCACK百度云CHPCCCE华为云GACSCCE计算平台CUDAOpenCLOpenACCOpenMPSYCLROCmoneAPI+科学模拟应用和成就将迎来大爆发更多高算集群尝试 LLM 训练算力骤增,算法升级:传统高算集群正在迅速的向CPU+GPU的计算架构升级,如芬
21、兰的 LUMI;同时,全球新建高算集群也如雨后春笋,如德国的JUPITER 和沙特的 Condor Galaxy;而云超同化使各地高性能算力更易访问;此外,许多传统模拟数值算法经AI 技术优化后,性能大幅提升。需求强烈:各国科研团队、企业和研究机构纷纷基于高性能算力展开各项科学计算模拟实验。核聚变模拟血流和癌细胞模拟地理空间模拟暗物质模拟气象模拟与预测量子电路模拟飞机材料腐蚀模拟大涡模拟传统高算集群通过加装 GPU 集群、结合云平台高性能计算服务得到升级后,将具备更强的 AI 加速计算能力,进而可以支持人工智能大语言模型的训练。智谱 AI 的 ChatGLM3支持在神威高算上运行;芬兰将基于
22、LUMI 创建项目 LumiLLM,研制多语言模型,全面覆盖欧洲官方语言;美国阿贡国家实验室开始基于 Aurora创建 ScienceGPT,预计参数数量达到1 万亿,将为广泛的科学研究提供帮助。Aurora 高算集群于今年完成安装,理论峰值算力达 2E。可持续计算,是数字经济和双碳目标背景下,高性能计算技术演进历程中的路标和灯塔。拥有可持续高性能计算的技术,也将成为重要的竞争力;环境可持续的同时,计算能效将成为评估高性能计算技术先进性的重要指标,存算架构、冷却技术、计算软硬件和供需匹配3条路径将并行展开探索;机器学习、神经网络等人工智能技术与传统科学计算建模的结合,将有助于大大提升建模效率和
23、模拟精度,进而提高能效;践行可持续的高性能计算2024年数字科技前沿应用趋势以TOP500 排名第一的Frontier 高算集群为例,其算力可达 1.6EFlop/s,功率可达20 兆瓦,相当于近 1万户家庭用电水平。据统计,数据中心的耗电量约占全球耗电量的 1%,我国 2020 年占比是2.7%。虽然当前尚无准确的数据中心能耗预测,但急剧增加的人工智能大模型训练等高耗能计算应用,势必会使这个数字继续增加。可持续计算,通常指在设计、建造和使用计算机技术(包括硬件、系统、软件)的过程中,力求实现最大的能源效率和对环境影响的最小化。世界经济论坛发布2023 十大新兴技术报告,“可持续计算”位列其中
24、。Intel、IBM、英伟达等先进计算企业也在不遗余力的践行和推动可持续计算。包括Green500、CCF、以及业界机构与企业,均采用“浮点运算次数/每瓦特(Flops/Watt)”作为能源效率评估的核心指标。2023 年 11 月 Green500 排名第一的是位于美国的 Henri 高算集群,能效达到 65.4GFlops/Watt。计算能效将更受关注浸没式液冷加快普及更合理的算力供需匹配更先进冷却技术更高能效的计算软硬件提高计算能效的3 个途径传统风冷所需能耗可占数据中心总能耗的 20-30%。液冷,特别是浸没式液冷能耗相比风冷低 30%以上。同时,利用环境水冷却的水下数据中心也在实验中
25、。英 特 尔 将 24台装有至强处理器的服务器,置于一个充满合成且非导电油的槽中冷却。高能效软硬件持续探索清华大学研发出全球首枚忆阻器存算一体芯片,能耗仅为同类AI用途ASIC 的 3%IBM 研发出基于相变存储器、用于深度学习推理的存算一体芯片 AIMC,在 8 位向量计算任务中,能效可达 9.76 TFlops/w高带宽内存:H200 采用高带宽内存 HBM3e,能耗降至 H100 的一半;超低功耗计算单元:神经形态计算具有超低功耗下实现高算力的潜力,值得持续探索。AI+科学模拟:深势科技团队将机器学习技术与科学模拟相结合,复现了今年戈登贝尔奖获奖实验,而相比获奖方案,复现实验所需资源减少
26、四个数量级,模拟速度提升三个数量级。追求“量子效用”IBM 提出“当量子计算机能够以超出暴力经典计算方法的规模执行可靠的计算,从而为计算问题提供精确的解决方案时,即能获得量子效用”。同时建议基于 100 多个量子位来探索能获得量子效用的应用案例。多模态、Agent和端侧从文本到图像、音视频等更多维度,多模态将推动AI应用的广度;Agent为AI带来“手和脚”,大幅拓展应用深度。端侧大模型成为各大硬件厂商重点,有望带来新生态。0102AI for Science生成式AI对科学研究的助力日益凸显,“AI科学家”有望来临。03趋势要点生成式AI推动技术迈入了通用AI的门槛,从理解到生成,从感知到决
27、策,人工智能的能力进一步提升。加上多模态、Agent、以及具身智能等方向的持续探索,AI有望完成“感知决策行动”的闭环。迈入AGI门槛后,AI将有望成为通用目的技术,进而成为新生产力,给全球经济、社会带来全方位的巨大影响。价 值 对 齐RLHF和宪法性AI等多种技术和治理方式,持续强化与人类价值的协调,对齐也成为大模型的重要竞争力之一。2024年数字科技前沿应用趋势关 键 学 科数学心理学信息与计算科学Gartner:生成式AI是当前炒作顶点在特定领域协助或主动完成某些任务。如驾驶、医疗对话等领域强于人类。具有可泛化的任务执行能力。可通过图灵测试,让人类误以为是人类,或通过大学考试。明显比人更
28、有智慧,或解决问题能力明显超越人类,帮助解决危害人类的问题。GPT4迈进了AGI的门槛能否进化到下一阶段,存在争议2024年数字科技前沿应用趋势Math3月,在ChatGPT发布4个月后,GPT4正式发布,带来新的多模态识图能力演示,回答的准确性相比GPT3.5大幅提升了40%。其人类考试的成绩较GPT3.5大幅提升,达到Top 10%水平。11月6日,Open AI开发者日发布GPT-4 Turbo,允许用户上传资料,生成自定义的智能助理。同时开放应用商店,打造类似APP Store的应用生态。GPT4发布12家中国AI大模型首批备案通过8月31日起,12家大模型陆续通过生成式人工智能服务管
29、理暂行办法备案。北京5家,百度“文心一言”、百川智能“百川”大模型、抖音“云雀”、中科院“紫东太初”、智谱“智谱清言”;上海3家,商汤“商量 SenseChat”、MiniMax“ABAB 大模型”、上海人工智能实验室“书生通用大模型”;安徽1家,讯飞“星火”;浙江1家,阿里“通义千问”;(5)天津1家,360智脑;(6)广东1家,腾讯“混元”。11月,第二批大模型备案通过11家。至此,国内已形成一批初见水平的AI创业企业,如minimax、智谱、百川、月之暗面(moonshot)。全球高度关注AI治理11月1日,由英国倡议发起的首届“全球AI安全峰会”在伦敦布莱切利园开幕,布莱切利庄园是二战
30、期间盟军破译密码的主要地点。会议首日,美国、中国、欧盟和大约20个国家共同签署了布莱切利宣言,重点在于识别人工智能产生的共同关注风险,建立对风险的科学认知,并制定跨国风险缓解政策。大事记chronicle of events文生视频文生图AGI多模态文本生成负责任的AIAgent可解释AI关键技术点3年以上2-3年以上0-1年以上影响力中等影响力大影响力极大行业大模型代码生成MaaS数据来源:IDC2024年数字科技前沿应用趋势因果AI向量数据库端侧大模型合成数据蛋白质生成分子模拟多模态是人类世界的本来样貌,AGI的发展趋势一定是朝向多模态。技术将从单一的文本、图像、视频(2D和3D),再到声
31、、光、电,甚至分子、原子等各类模态,而且具备跨模态迁移的特性。通过设计不同模态对应的解码器,可以实现多模态之间的切换。未来理想的框架是:“多模态的对齐和融合+统一的编码器和解码器”,可以更好地解决多模态的理解和生成任务。从专业单反到“傻瓜相机”超级“变形金刚”北大联合腾讯提出LanguageBind的多模态预训练框架。用语言作为与其它模态之间的纽带,冻结语言编码器,然后用对比学习方法,将各个模态映射到一个共享的特征空间,实现多模态数据的语义对齐。图读世界多模态大模型可以实现对图像和视频的理解,包括数量、类型、空间关系、人物、地点、事件、时间序列,以及图像中隐含的信息(如搞笑图、医学诊断等)。从
32、LLM走向LMM多模态大模型百花齐放:Blip2、InstructBlip、LLaVA、VisualGLM、MiniGPT5、VideoLLaMA、ImageBind、Meta-Transformer、GPT4V、Gemini、Pika、Runway、混元、文心一言、ChatGLM、MiniMax等。多模态具有更突出的优势:带来了更灵活和友好的用户交互。是一个更完善的任务求解器,可以使用更多样化的任务类型。主要的实现方法:多模态指令、多模态上下文学习、多模态思维、LLM 辅助视觉等将LLM(大语言模型)和文生图相结合,让用户可以不必再学习复杂的Promot技巧,直接用日常语言提示,即可生成专业
33、级的图片。这种方式,巧妙地利用了LLM的理解能力,进一步提升了文生图的效果。腾讯混元生成图片“醉后不知天在水,满船清梦压星河”由香港中文大学多媒体实验室和上海人工智能实验室 OpenGVLab联合开发的Meta-Transformer可以应用于许多应用领域,包括3D识别、夜间安全、天气预报等。2024年数字科技前沿应用趋势Google Gemini的演示Agent是指能够独立思考、自主行动并可以与环境交互的软件程序或机器人等实体。Agent包含三步:PPA,即感知(Perception)-规划(Planning)-行动(Action)。人工智能之父、图灵奖得主马文明斯基(Marvin Mins
34、ky)在1986年出版了一本里程碑式的著作思维的社会(The Society of Mind),试图解读人类思维这个复杂的过程。Minsky认为社会中的某些个体经过协商之后可求得问题的解,这些个体就是Agent。Agent应具有社会交互性和智能性。比尔盖茨撰文,表示AI Agent将是下一个平台,人工智能即将彻底改变人们使用计算机的方式并颠覆软件行业。在不久的将来,任何上网的人都将能够拥有由人工智能驱动的个人助手,远远超越今天的技术水平。Agent发展如火如荼LLM+Memory+Planning+Tool use对话式编程A Survey on Large Language Model ba
35、sed Autonomous AgentsAutoGen框架允许多个 LLM 智能体通过聊天来解决任务。LLM 智能体可以扮演各种角色,如程序员、设计师,或者是各种角色的组合,对话过程就把任务解决了。微软AutoGen发布短短两周内,星标量从 390 增到 10K,并在 Discord 上吸引了 5000 多名成员。在大模型的加持下,根据会话自动调用相关的插件调用更便捷以自然语言的方式完成插件、各类应用的开发和部署开发门槛更低每个人将能拥有由AI驱动的个人助手,无需再根据需求下载不同的APP,把需求告知代理即可AI时代的新入口Agent是主动释放LLM潜能的关键,让大模型从“有脑”到“有手有脚
36、”2024年数字科技前沿应用趋势大模型正在向端侧转移,AI 推理将在在手机、PC、耳机、音箱、XR、汽车,以及其它可穿戴式新型终端上运行。目前,一些手机已经在利用本地 AI 支持如暗光拍摄、降噪和人脸解锁等功能。未来借助端侧大模型,并结合向量化后的各类个人数据,用户可以跟手机进行更流畅的交互,实现各种原生操作和功能。端侧大模型应用的三种可能:(1)端侧原生集成AI模型,类似siri,帮助用户调用其他软件,从而可能成为硬件新入口(2)将大模型作为独立app,例如MIT一位教授将开源模型集成在手机端做一个独立app;(3)将大模型接入即时通讯软件作为chatbot,例如Whats App已经集成了
37、Meta AI。2024年数字科技前沿应用趋势新一代 Ray-Ban Meta AI 互动FSD V12或重启中国计划;自研DOJO超算架构提升大模型能力谷歌Pixel 8 Pro 发布了 AI Core 应用首个更新,Gemini发布端侧 Nano 版AI PIN等原生大模型终端试水手机终端新型终端智能车手机端侧大模型苹果AjaxGPT,性能超GPT3.5,PC上2000亿参数小米13亿和60亿参数,面向手机、汽车和机器人VIVO130亿蓝心大模型实现端侧跑通,开源7B大模型OPPO安第斯(AndesGPT),10亿参数荣耀魔方,70亿参数联想推出AI PC端侧大模型的主要优势:1.本地数据
38、处理效率更高2.节省云端服务器带宽和算力成本3.对用户数据更好的隐私保护4.开启更多交互新方式、新体验高通骁龙8 Gen3 支持终端侧运行100亿参数的模型在AI技术的加持下,科学研究的效率大大增加。通过理论探索、设计实验、分析数据等方向为科学发现提供动力。AI与各个科学领域结合后,正在发生一场充满潜力和挑战的科技革命。文献阅读及问题提出数据优化和处理对现象和数据观察提出某种猜想;对既有文献的梳理,在此基础上提出新的研究问题,帮助科学家发现新问题。生成式AI与科研生成式AI成为基因科学的新引擎:生成式AI被用于预测基因序列、发现新的药物靶点以及设计新型的生物材料。数据分析和挖掘自然科学领域大模
39、型DARWIN,是一个为物理、化学和材料科学应用而精心设计的专业化大语言模型(LLM),在多个科学任务中取得了最先进的结果,旨在通过人工智能驱动的自动化来增强和加快探索发现的过程。科研神器ChatPDF可以用十秒解析上万字的研究文献,分析文献结构、定位内容,提高阅读效率。AI文献阅读与问题提出数据优化处理数据分析挖掘科研大模型AI可以通过大量数据和复杂的数据分析,帮助提取有用信息和填补数据缺失,从而提高数据质量和利用效率。降低对数据的依赖。AlphaFold已预测出超过100万个物种的2.14亿个蛋白质结构,几乎涵盖了地球上所有已知蛋白质。AI可以帮助科学家预测蛋白质的结构,从而优化药物研发过
40、程。麻省理工学院(MIT)的研究人员开发出一种扩散模型FrameDiff,该模型能够生成自然界中不存在的新型蛋白质结构。该模型可以生成多达 500 个氨基酸序列的蛋白质主链,且无需依赖于预训练蛋白质结构预测网络。菲尔兹奖得主,数学家陶哲轩认为,预计如果使用得当,到 2026 年,AI 将成为数学研究和许多其他领域值得信赖的合著者。AI成为生命科学新引擎 基因数据分析 蛋白质表达及测量 基因序列分析2024年数字科技前沿应用趋势一篇用GPT证明数学定理的论文引发巨大关注随着大模型,尤其是LLM成为人机交互的新界面,并涌现出强大的推理和内容生成能力,大模型的价值对齐日益成为一个关键问题,即让大模型
41、的能力和行为跟人类(使用者)的价值、伦理原则和真实意图相一致,确保人类与人工智能协作过程中的信任与安全。业界和研究人员已在探索实现大模型价值对齐的技术和治理措施,诸如人类反馈的强化学习(RLHF)、宪法 AI(Constitutional AI),可扩展监督(如AI监督)、模型可解释性等,以构建更加安全可靠且有用的大模型。未来对齐技术的发展,需要更好将人类监督和AI监督结合起来。RLHF是当前比较有效的对齐技术RLHF包括初始模型训练、收集人类反馈、强化学习、迭代过程等几个步骤,其核心思路是要求人类训练员对模型输出内容的适当性进行评估,并基于收集的人类反馈为强化学习构建奖励信号。AI对齐的多种
42、技术和治理措施2024年数字科技前沿应用趋势训练数据干预构建价值对齐的专门数据集。对训练数据进行记录,以识别是否存在代表性或多样化不足的问题。对训练数据进行人工或自动化筛选、检测以识别、消除有害偏见。可解释、可理解的大模型为了实现AI价值对齐,人们需要理解人工智能如何作出决策。例如OpenAI利用GPT-4来针对其大语言模型GPT-2的神经网络行为自动化地撰写解释并对其解释打分;有研究人员则从机制解释性(mechanisticinterpretability)的角度来应对AI对齐问题。红队测试在模型发布之前邀请内部或外部的专业人员,对模型发起各种对抗攻击,以发现潜在问题并予以解决。基于检索或外
43、部工具的对齐将要对齐的价值观保存为一个外部模块,大模型回复时需要检索出要对齐的价值观并作出合适的回复。通过外部工具(搜索引擎、代码编译器、计算器等)辅助回复的生成,以确保生成内容的真实性。凝聚行业共识,推动形成大模型价值对齐的技术和伦理指南,总结推广最佳实践。鼓励开放研究,支持关于AI安全性、公平性、可解释性、价值对齐和其他伦理议题的研究,并鼓励研究者公开其研究结果,促进全球社区协作。将人类监督和AI监督更好地结合,当下的AI价值对齐工作还面临一个关键问题,即在人类的智能基本保持不变的前提下,随着AI能力持续提升,人类自己对前沿AI模型的有效监督将变得越来越困难。因此,为确保AI安全,需要使我
44、们监控、理解、设计AI模型的能力与模型本身的复杂性同步发展。例如,OpenAI成立超级对齐团队,核心是希望探索利用AI来帮助人类解决比人类强大的AI系统的价值对齐问题。基于自然反馈对齐的探索:这是更天然的强化学习方式,如传言Open AI的Q*,一方面突破了人类数据的限制,可以自己生产海量训练数据,另一方面,模型具备了自主学习和自我改进的能力。2024年数字科技前沿应用趋势大模型0102灵巧操作03趋势要点根据工信部印发人形机器人创新发展指导意见,人形机器人集成人工智能、高端制造、新材料等先进技术,有望成为继计算机、智能手机、新能源汽车后的颠覆性产品,将变革人类生产生活方式,重塑全球产业发展格
45、局。特别是在关键技术突破方面,打造人形机器人“大脑”和“小脑”、突破“肢体”关键技术、健全技术创新体系。2023年以来,基于视觉-语言的大模型嵌入机器人本体,加速思考(“感知脑”)和执行(“灵巧手”)突破,推动机器人迈向智能化带来新的可能。在思考能力层面,大模型的嵌入极大提升机器人感知环境、分解任务、规划流程以及与环境交互的能力。同时,云边结合的分布式计算平台发展,强化了机器人的训练和分析决策速率。在执行层面,以灵巧手为代表的关键技术,进一步强化了人形机器人末端执行应用能力,集中体现在微操作、近操作等环节。随着视听触多模态、端侧算力、运动控制技术的进步、人形机器人技术将加速迭代,走向更柔性、更
46、智能、更灵巧。AI加速人形机器人“手、脑”进化多训练平台大模型的嵌入极大提升机器人分解任务、规划子任务,与环境交互的能力多感知、多自由度功能融合、微型驱动器产业化,强化了机器人的微操作、近操作能力云边结合的分布式计算平台发展,强化了机器人的训练和分析决策速率2024年数字科技前沿应用趋势关键学科、行业趋势、典型事件关键学科材料和工程机器人学机器学习Markets and Markets对人形机器人市场预测,市场规模将从2023年的18亿美元增长到2028年的138亿美元,其复合年增长率可达50.2%。高盛预测在最理想的情景下(产品设计、用例、技术、可负担性和公共接受度等障碍被克服),2035年
47、人形机器人市场或将达到1540亿美元。人形机器人市场规模2028年有望增长到138亿美元7月,李飞飞团队发布最新成果VoxPoser具身智能技术,可以使机器人直接听懂人类的自然语言指令并完成复杂任务,无需额外的数据和训练。0预训练完成复杂指令特斯拉擎天柱再次升级人形机器人Optimus快速迭代,商业化进程持续推进。特斯拉擎天柱的力控能力、抓取复杂物体的能力、利用FSD技术的视觉感知和处理能力。多家科技公司布局具身智能OpenAI投资了人形机器人公司1X,英伟达CEO黄仁勋也公开唱多“具身智能”。微软基于ChatGPT 自然语言理解和推理能力,生成控制机器人的相关代码。腾讯通过将预训练 AI 模
48、型和强化学习技术应用到机器人控制领域,使得Max能够在复杂环境中展现出栩栩如生的运动行为,并学会障碍追逐比赛的智能策略。大事记chronicle of events2023工业和信息化部关于印发人形机器人创新发展指导意见的通知,部署到2025年,人形机器人创新体系初步建立,“大脑、小脑、肢体”等一批关键技术取得突破。国家政策支持创新体系建立(资料来源:Markets and Markets,2023)2024年数字科技前沿应用趋势关键技术点及成熟度云-边端协同计算机器人视觉云端计算文本分析边缘计算LLM+机器人认知学习多模态感知内置微型驱动器交互式AI关 键 技 术 点3年以上2-3年以上0-
49、1年以上影响力中等影响力大影响力极大目前技术还在发散期,未来3-5年将进一步收敛多感知多自由度灵巧手端到端大模型实现站立、行走;有一定的手部能力主动识别、感知0-code、自然语言交互感知层可用大模型控制预制编程自进化、自学习实现奔跑、跳跃有听觉、视觉传感器复杂地形行走、多模态传感器,可用AI控制手眼协调端到端控制1848年,图灵在“机器智能”的文章中,首次提到“嵌入式智能(肉体智能)”(embodied-intelligence)和“非嵌入式智能(无肉体智能)”(disembodied-intelligence)”,这被公认是“具身智能”概念的首次提出;值得注意的是,1950年这两个核心概念
50、进一步发展为“智力”和“体力”,进一步将AI和机器本体做了区分。从Wabot-1开始,机器人的“硬件”和“软件”技术开始了各自发展到相互融合的螺旋上升,研发主体从AI和机器人本体两条路线逐渐汇聚。当前,以特斯拉Tesla-bot为代表的一系列人形、AI机器人颇受瞩目。具身能力是这一阶段机器人的技术前沿布局方向。代表性机器人:Wabot-1代表性机器人:波士顿动力Atalas特斯拉Gen-1、Gen2傅里叶GR-1、宇树H1、小鹏PX-5代表性机器人:Asimo2024年数字科技前沿应用趋势趋势要点1:大模型在文本、自然语言和视觉领域取得重要突破,提升机器人的理解能力英伟达创始人黄仁勋在ITF
51、World 2023大会上表示,人工智能的下一次浪潮将是具身智能,即能理解、推理以及与真实物理世界互动的智能系统。在Chatgpt出现之前,大模型与具身智能领域的结合更多出现在感知层面,在海量数据集上预训练的视觉模型只是作为一种更好的表征提取器来提升机器人在场景中的感知能力,而具体的规划与动作执行依然需要大量的具身场景数据进行训练。AI大模型,以及后续的多模态,可以从语音、视觉感知、决策、控制等多方面为机器人更好进行学习训练和进化。当前,算法的难点在于对随机性的自适应能力和尝试规划等问题。大模型目前可以完成离散动作的决策和选取,把通用任务进一步描述分解成个别动作,未来将持续发展算法的泛化能力,
52、向端到端大模型发展。谷歌:从语言模型到多模态模型综合布局英伟达:将动作Token映射到手臂上PaLM-E和RT-2采用了类似Token转化思路。PaLM-E的技术前身是谷歌的“PaLM”大语言模型,模型参数规模达到5620亿,集成用于控制机器人的视觉与语言,特征是无需重新训练即可执行各种任务。通过添加感知信息以及机器人控制,实现了PaLM模型的具像化,使之能跟真实物理世界互动。PaLM-E具有“正迁移”的表现,这意味着它可以从一项任务学到的知识和技能迁移到另一项任务,较单任务执行机器人性能获得显著提升。Robotics Transformer 2(RT-2)是由Google DeepMind突
53、出的一个用于控制机器人的视觉-语言-动作(VLA)的AI模型。RT-2使用经过精调的LLM来输出运动控制命令,可移植性训练数据中未明确包含的任务,并在新出现技能评估中将基线模型的表现提升了3倍。李飞飞和斯坦福:Vox Poser实现具身智能技术突破借助大模型,机器人获得应急能力,可应对突发状况Voxposer技术原理示意:LLM和VLM的双向交互过往机器人的控制模式是预设轨迹,导致机器人的控制与行动比较受局限。而李飞飞团队在2023年发布的VoxPoser系统,将LLM(大语言模型)和VLM(视觉语言模型)接入机器人,前者用来理解人类指令并生成交互代码,实现与后者的交互,而VLM进行规划路径,
54、生成操作指示地图3D Value Map。两者能力结合从而实现通过自然语言指令与机器人交互,可将复杂指令转化为具体行动规划,而无需预设数据和提前训练,同时,系统也具备很强的抗干扰能力,可以在遇到干扰因素时快速重新规划。VoxPoser还产生了四个涌现能力:(1)评估物理特性;(2)行为常识推理;(3)精度矫正;(4)基于视觉的多步操作;英伟达VIMA支持文本、视觉、语音等多模态作为机器人的任务输入;并使用使用预先训练的 T5 模型对多模态提示进行编码。在零样本泛化训练中,VIMA的任务成功率比之前的最优方法提高了最多2.9倍。2024年数字科技前沿应用趋势趋势要点2:云边结合的分布式算力平台发
55、展强化了训练速率和数据质量,降低产业化门槛由于机器人是 AI、算力、IoT、底层硬件等综合技术的集大成者,所以“具身智能”的进化速度取决于硬件和软件双轮驱动。当下,机器人技术受到训练数据短缺的限制。不同于大语言模型的数据集可以直接从互联网端获取,机器人的数据都是动态的数据集,需要在仿真环境中,获得动态模拟数据,也依赖于和物理环境的基础和交互,这些都需要一定的时间。当前,机器人训练数据有两类,包括真实数据和合成数据。例如,谷歌RT-1模型是基于17个月收集了13万台机器人的13万条真实数据,而英伟达也在通过少量示范+大规模自动生成的技术路线,为机器人“脑”的发展,创造“数据粮仓”。未来,通过云-
56、边-端融合的机器人系统和架构,例如云端运行超大模型Nvidia A100 GPU,边缘运行小模型。让机器人达到数百万千万级水平,从而降低价格成本,实现大规模商用。谷歌云:平台推动机器人自主决策水平特斯拉:人型机器人采用自动驾驶视觉神经网络算法和Dojo计算平台特斯拉计划利用Dojo对海量的视频数据进行无监督学习,以加速特斯拉的Autopilot和完全自动驾驶(FSD)系统的迭代,同时为特斯拉的人形机器人Optimus提供算力支持。Dojo将加速人形机器人的开发,其能够为机器人的神经网络训练提供算力支持,更快速地处理海量数据,有望推动机器人加速落地。Google 专门开发协议,将模型部署在多TP
57、U 云服务实现实时推理。实验结果表明,基于现成的VLM 模型PaLM-E 和PaLI-X,RT-2 取得了良好的泛化和涌现性能。英伟达与得克萨斯大学奥斯汀分校合作发布了一片最新论文,介绍了一个名为“MimicGen”的系统,只需少量人类示范,便能自动生成大规模的机器人训练数据集。英伟达:开发MiniGen可自动生成数据集腾讯:通过游戏仿真引擎和真实狗动捕数据,搭建分层预训练模型腾讯Robotics X机器人实验室和腾讯游戏合作,通过游戏技术推动了仿真引擎的准确性和高效性,并在游戏制作和研发过程中积累了多元的动捕素材。这些技术和数据对实验人员基于物理仿真的智能体训练,以及真实世界机器人策略部署,
58、起到了帮助作用。通过引入预训练模型和强化学习技术,可让机器狗分阶段进行学习,有效的将不同阶段的技能、知识积累并存储下来,让机器人在解决新的复杂任务时,不必重新学习,而是可以复用已经学会的姿态、环境感知、策略规划多个层面的知识,并“举一反三”。2024年数字科技前沿应用趋势趋势要点3:多感知、多自由度功能融合的灵巧手强化了人形机器人的微操作能力空心杯电机与灵巧手关节适配性高,特斯拉Optimus 选用其作为动力源,带动产业热炒腾讯研发拥有8个自由度、带触觉感知的灵巧手,可以完成调酒等复杂动作内置式多指灵巧手是灵巧手发展的主要技术路线。特斯拉人形机器人擎天柱灵巧手有6个执行器,可实现11个自由度,
59、其中空心杯电机为核心部件。腾讯Robotics X实验室公布最新机器人研究进展,首次展示在灵巧操作领域的成果,推出自研机器人灵巧手 TRX-Hand和机械臂TRX-Arm。其中,灵巧手TRX-Hand拥有像人手一样灵活的操作能力,可适应不同场景,灵活规划动作,自主完成“操作”。机器人迈向通用智能的道路上,还需要突破工程方面的难题才能发挥更大生成价值,带来颠覆性应用落地。目前论文和一些demo展示的机器人与大语言模型结合偏重交互问题,而机器人仍需解决复杂环境的通用移动能力和高精度操作能力。软件方面,强化学习控制算法按智能体(agent)是否理解环境与自身的动态模型可分为无模型强化学习算法与基于模
60、型的强化学习算法。硬件方面,灵巧手作为机器人实现操作的终端工具十分重要。空心杯电机、触觉感知传感器的发展,提升了人形机器人末端执行器的灵敏度和鲁棒性。中国科学院自动化研究所提出基于视觉-语言大模型推理的灵巧手类学习框架中国科学院自动化研究所王鹏研究员研究组研发的Casia Hand系列灵巧手及类人灵巧操作机器人在2023世界机器人大会上首次展出,课题组提出了一系列基于灵巧手的类人灵巧操作学习模型和算法,并在实际机器人上进行了验证。包括:基于视觉-语言大模型推理的灵巧手类人功能性工具操作学习框架。2024年数字科技前沿应用趋势生 物 育 种AI+生物技术加速育种4.0时代到来01生 命 健 康A
61、I+基因计算助力实现个性化健康预测02生 物 制 药AI+基因工程重塑分子药物设计和研发规则03趋势要点 基因是生命的最基本元素。基因计算指使用计算方法来分析和理解基因信息的过程。人工智能、大数据、云计算等数字技术正在广泛应用于基因检测、分析、预测、调控以及生物合成等方面,通过大算力的支持,充分利用多模态的海量基因数据,可以帮助我们解答生命科学的重要问题。AI与基因计算的结合,开辟了巨大的科学和应用前景,但同时也存在基因隐私保护、基因编辑伦理等问题。2024年数字科技前沿应用趋势特别鸣谢:谷晓峰中国农业科学院生物技术研究所副所长姚建华腾讯AILab AI医疗首席科学家杨子翊腾讯量子实验室高级研
62、究员存储和管理海量生物数据的技术,支撑生物数据的快速查询和分析热点方向关键学科生物信息学生物学计算机科学基因数据处理技术基因表达分析技术基因网络分析技术基因智能设计技术对基因组中的基因表达程度进行量化,帮助了解基因功能、调控机制及基因变异影响等利用复杂网络理论研究基因调控网络、蛋白质相互作用等,支持了解生物系统运作机制利用AI算法和大数据分析优化基因组设计和编辑过程,创造具有特定性状或功能的生物体根据BCC Research统计,全球消费级基因检测市场在2026年将达到377.2亿美元,2021-2026年亚太地区复合增速达 20.9根据Statista统计,2023年至2030年,全球基因编
63、辑行业市场规模将以22.3%的复合增速进行增长,2023年市场规模约为66.19亿美元,到2030年,预计达到360.61亿美元市场研究公司Global Market Insights Inc.发布报告预测,到2032年,基因组学行业中的人工智能市场规模将达到125亿美元,复合年增长率为39.2%2024年数字科技前沿应用趋势前基因组时代生物数据库建立、检索工具开发及DNA/蛋白质序列分析1958-1980s基因组时代后基因组时代基因组测序和识别、网络数据库系统建立和交互界面开发大规模基因组分析、多模态数据聚合处理、单细胞测序技术、基因编辑、基因疗法等1990s-2010s2010s-人类基因
64、组计划,完成92%基因测序AI分析海量多模态基因数据2024年数字科技前沿应用趋势Francis H.C.Crick提出中心法则相关图片来源:王志珍院士一个科技里程碑:分子生物学的中心法则;science官网;science文章 CRISPR technology:A decade of genome editing is only the beginning,https:/doi.org/10.1126/science.add8643 等Frederick Sanger等提出第一代DNA测序技术第二代测序技术(高通量测序)科学公布迄今最完整人类基因组测序结果基因编辑未来应用前景2023年1月
65、,诺贝尔化学奖得主Jennifer A.Doudna教授团队在科学杂志发表文章CRISPR technology:Adecade of genome editing is only the beginning;4月,中科院开发了PrimeRoot系统,在水稻和玉米中实现了长达11.1Kb的大片段DNA的高效精准定点插入,相关成果发表于自然-生物技术基因组编辑生物医药对话大模型2023年9月,清华大学智能产业研究院、水木分子发布新一代对话式药物研发助手ChatDD(Drug Design)和全球首个千亿参数多模态生物医药对话大模型ChatDD-FM 100B基因预测模型2023年9月,Googl
66、e DeepMind团队基于AlphaFold开发了新的人工智能模型AlphaMissense,可用于判别人类的基因突变是否会导致疾病,该研究进展Accurate proteome-wide missense variant effect prediction withAlphaMissense发布在Science;11月,DeepMind宣布,AlphaFold预测范围从蛋白质扩展至DNA、RNA等大事记chronicle of events2023单细胞测序数据分析多模态数据分析基因变异和表型关联分析基因编辑工具优化智能化表型组技术基因/蛋白质生成技术蛋白质结构预测技术基因调控网络关键技术
67、点3年以上2-3年以上0-1年以上影响力中等影响力大影响力极大单细胞测序技术2024年数字科技前沿应用趋势完整基因组合成单细胞测序数据分析基因表达调控精细控制基因变异和表型关联分析基因组注释自动化基因网络和调控元件分析基因设计技术个性化基因组分析多基因编辑系统高精度基因变异检测关 键 技 术 点多组学数据整合预测性基因组学基于AI+生物技术,进行标准化多维大数据关联分析和设计,利用基因编辑、合成生物等前沿技术,精准调节控制目标性状的基因和网络,选育新品种AI大模型强大的数据处理和模式识别能力,将用于支持对遗传信息的深度挖掘、表型特征的高精度预测以及育种过程的智能化决策分子育种正在产生大量的表型
68、和基因型数据,对海量基因测序数据、蛋白质结构数据、图像数据等数据的处理成为关键育种4.0中的数字技术表观预测:提升表观合成的精准度表观合成:依托空间组学数据库基因编辑:提高作物产量和性能2023年4月,农业农村部发布2023年农业用基因编辑生物安全证书(生产应用)批准清单。万建民院士团队开发了新型的多重正交碱基编辑器MoBE和随机化多sgRNA组装技术,获得了新的抗除草剂水稻突变植株。来源:南京农业大学官网通过整合多组学数据,构建智能模型,预测并优化人工设计的合成表观回路,大幅度提升表观合成的精准度,推动合成表观技术在作物改良上的应用。中国农科院生物所提出利用合成表观技术设计和创制智能作物(S
69、MART Crop)的途径和路线图。来源:中国农科院生物所海量表型数据、环境数据采集(物联网技术、遥感技术、GPS技术等)育种算力平台(云计算技术、网络技术、信息安全技术等)多维组学数据处理(大数据技术、AI技术等)高准确率模型构建(AI技术,如机器学习、NLP)基因测序、预测、编辑&表型设计(AI技术、数字孪生技术等)2024年数字科技前沿应用趋势AI与基因计算在个体健康管理、疾病预防、诊断和治疗等方面的应用将持续深化。例如,结合基因组信息和AI算法,构建高度精准的疾病预测模型,预测个体在未来发生特定健康问题的风险,从而实现早期干预通过AI,可实现复杂数据处理、解决数据噪声问题,也可高效的对
70、基因与功能之间的复杂调控关系进行识别、挖掘随着单细胞组学、单细胞多组学和空间组学突破,基因测序技术正在从多细胞/组织层级向单细胞层级进化基因测序:单细胞注释模型基因成像:依托空间组学数据库基因预测:分析基因突变的致病性在 基 因 突 变 如 何 影 响 人 类 健 康 方 面,AlphaMissense模型对全部7100万种可能的基因错义突变进行了分类,将其中89%的变异分类为“可能致病”和“可能良性”。相比之下,人类专家目前的成绩是0.1%。scBERT:在单细胞测序领域首次引入BERT范式。在预训练阶段通过大规模训练数据学习到通用的基因和表达编码,提升模型泛化能力、在跨平台数据集的鲁棒性;
71、基于少量数据微调,降低对精标注数据依赖,提升模型准确性。腾讯AI Lab scBERT模型来源:谷歌DeepMind 从空间角度出发,深入研究基因及其相互作用。空间组学技术借助各类成像或者测序技术,可以同时测量细胞的基因表达谱和空间位置,得到细胞微环境里其他细胞的基因表达和细胞间的相互作用。例如,基因交互式可视化、脑组织空间结构等。腾讯AI Lab 空间多组学数据库(SODB)2024年数字科技前沿应用趋势AI制药多模态数据统一表示多模态生物医药领域的基础模型BioMedGPT,旨在将生物世界中的分子、文本和知识进行统一表示学习,以提高各项下游任务的能力。BioMedGPT在数据层面整合了基因
72、、分子、细胞、蛋白、文献、专利、知识库等多源异构的数据。来源:清华AIR&水木分子AI技术在药物研发中,主要用于海量文献信息分析整合、发掘药物靶点、化合物高通量虚拟筛选、全新分子设计/优化、分子 ADMET 成药性预测、分子逆合成分析、耐药性预测等场景通过量子化学计算、AI技术与生物医药技术的结合,开发实用化、产业化的合成生物学技术,可提升企业创新药研发实力基因分析发掘药物靶点AI助力生物合成基因簇挖掘采深度学习法对基因组数据进分析,可发现、筛选并鉴定出潜在的、具有新颖结构的活性化合物相关的物合成基因簇。腾讯量子实验室模型流程图AI绘制基因互作网络,加快疾病治疗靶点发现。美国丹娜-法伯癌症研究
73、所基于人体基因表达数据集,预 训 练 了 一 个 基 于 迁 移 学 习 的 AI 模 型 Geneformer。对于罕见病,可能仅需少量的数据就能推测出这些罕见疾病的病理机制。来源:Nature期刊,Transfer learning enables predictions in network biology2024年数字科技前沿应用趋势打 造 构 建“超 数”的 高 效 工 具 集01大众应用方面,数字交互引擎或将走向UGC内容生产与交互工具02助推 行业 数字孪生 走向 实时行业应用方面,数字交互引擎推动各行业数字孪生走向实时性03趋势要点数字交互引擎是在文化创意场景下产生、伴随数字文
74、化产业升级而不断实现技术迭代一类工具集,集成了物理模拟、3D建模、实时渲染等多种前沿技术,是文化科技融合的典型产物。数字交互引擎主要由图形模块、仿真模块、实时渲染等模块构成,它以软件代码包形式创造虚拟场景,动态呈现其外观变化,支持其与物理世界进行实时交互。在发展前期,数字交互引擎主要应用于游戏场景,在行业场景下被称为“游戏引擎”;在服务游戏产业高效构建虚拟世界、与现实世界高质量交互的过程中,不断实现技术迭代、提升跨平台通用能力,逐步成为跨行业、跨场景应用的数字交互引擎。当前,数字交互引擎已经应用于文旅、汽车、工业等多元领域,成为构建实时虚拟世界、实现虚实交互的关键工具集。有望成为大众化3 D
75、内 容 工 具数字交互引擎与AIGC互相驱动,打造构建超级数字场景的高效工具集2024年数字科技前沿应用趋势关键学科计算机图形学物理学数学计算机科学软件工程的受访专家认为,数字交互引擎是关系到我国科技竞争力的重要技术82%73%提升数字孪生项目实施效率82%的受访专家认为使用数字交互引擎能够提升数字孪生项目实施效率优化实时交互能力,画面可以实时响应73%的受访专家认为使用数字交互引擎能够优化实时交互能力,画面可以实时响应受访专家认同数字交互引擎代表着游戏产业原生的科技力量2024年数字科技前沿应用趋势数据来源:中国音数协游戏工委、中国游戏产业研究院数字交互引擎的应用与价值研究报告。调研说明:本
76、次调研面向具有数字交互引擎应用经验的行业专家(包括文化和非文化领域),覆盖影视制作、演艺直播、文物保护、文化会展、文化旅游以及工业、建筑与智慧城市、汽车等八个领域,共计回收近100份有效问卷,收集到关于数字交互引擎技术行业应用情况的专业认知。早期游戏开发者构建通用代码的开发工具,如知名游戏制作工具RPGMaker,已具有“3D游戏之父”卡马克在开发游戏毁灭战士(DOOM)的过程中开发了Id Tech引擎,Id Software公司推出雷神之锤(Quake),Quake引擎被认为是游戏行业的第一款初代虚幻引擎(Unreal Engine)推出,将渲染、碰撞侦测、AI、图形、网络和文件系统集成为一
77、个完整的引擎Xbox360、PS3等主机平台发售,更强的硬件架构带来算力和游戏表现力的快速提升第一批基于UE3的主机游戏和PC游戏发布,将游戏表现力提升到新高度艺电(EA)、育碧(Ubisoft)等大型游戏厂商的自研引擎在各自的游戏类型上表现更好,不断提升游戏表现力国产游戏厂商陆续研发自研引擎,逐步推出QuickSilverX、START云游戏引擎、NeoX、Messiah等引擎2018年英伟达(Nvidia)发布支持实时光线追踪的RTX系列显卡2022 UnrealEngine5正式发布,核心的实时全局光照技术以及Nanite支持海量多边形技术全球头部厂商的自研引擎也纷纷实现了基于光线追踪的
78、实时动态全局光照技术,标志着引擎进入实时动态全局光照时代2005年初代Unity 引擎发布,数字交互引擎的适配平台从PC、主机拓展至Mac随着移动互联网时代到来,Unity率先支持iOS、安卓等平台,数字交互引擎开启“移动端跃迁”Unity支持的研发平台超过20余个,主流商业引擎涉足汽车、建筑设计、动画等领域,应用不断超越游戏场景国产自研引擎的跨行业应用进入加速期,助力文物保护、智能驾驶、智慧工厂等多元领域2024年数字科技前沿应用趋势来源:中国音数协游戏工委、中国游戏产业研究院数字交互引擎的应用与价值研究报告5月6月6月大事记chronicle of events2023英伟达发布Avata
79、r Cloud Engine for Games(ACE for Games),可高效生成智能化的游戏角色6月南航翔翼与腾讯游戏共同打造国产自研全动模拟机视景软件系统,国产引擎促进我国民航工业核心自研技术发展科技部将“三维数字交互引擎关键技术研发与应用生态构建”纳入国家重点研发计划AIGC+引擎实时数字孪生实时渲染关 键 技 术 点3年以上2-3年以上0-1年以上影响力中等影响力大影响力极大多类物理模拟系统2024年数字科技前沿应用趋势音视频技术Unity发布Muse和Sentis,用生成式AI加速实时3D应用创建,简化游戏项目集成 AI 的过程数字交互引擎及其生成的游戏场景,是AIGC爆发、
80、迭代背后的重要推动力:首先,游戏是AI的重要训练场景,促进AI决策更加智能;同时,数字交互引擎结合PCG(程序化内容生成)技术,已大量应用于3D内容制作,可助力AIGC提升3D内容生成能力;未来,数字交互引擎及其创建的3D数字资产也将为AI大模型训练提供重要支持。数字交互引擎融入更多AI能力,正在加速数字文化产业的工业化进程:当前AIGC已渗透进游戏制作的多个环节,包括动画、对话和语音、美术、3D资产及场景等,简化内容开发流程,提升影视、游戏、广告等行业的智能化、工业化水平。数字交互引擎与AIGC的结合,将打造构建超级数字场景的高效工具集。随着数字交互引擎的应用不断拓展,游戏正在成为一个不断创
81、造新价值和新可能的“超级数字场景”。未来,作为底层工具的数字交互引擎与AIGC相结合,将加速打造更多的“超级数字场景”,在感知与认知的双重维度上,实现人类生产与生活模式的全面跃迁。随着以数字交互引擎为代表的游戏科技进入游戏之外的更多领域,游戏将迎来新的产业扩容,成为不断创造新价值与新可能的“超级数字场景”。游戏作为前沿科技的“试验场”,在深度跨界、产业扩容的过程中,也将推动数字交互引擎进一步与多种前沿技术广泛连接,其中数字交互引擎与AIGC的加速融合将成为重要趋势,两者的互相驱动,将打造构建超级数字场景的高效工具集、辐射多元社会场景。2024年数字科技前沿应用趋势英伟达的Omniverse平台
82、集成了数字交互引擎、AI等多种技术能力,不仅能支持高效开发场景逼真、物理精确的游戏,也能广泛助力工业制造、自动驾驶等领域的虚拟仿真与协作。随着数字交互引擎与AIGC的融合加深、工具门槛进一步降低,数字交互引擎有望以更低的使用门槛为大众提供3D内容的生产力。正如短视频变革了今天的社会信息传播方式,未来,数字交互引擎也有望作为大众化的3D内容生产与交互工具,支持人们创造自身在虚拟空间中的形象及资产等,在数实相生世界里实现生产与生活。Roblox等游戏展现了“UGC+游戏+社交”的可能形态,面向大众的游戏创作工具已初现雏形;同时,UE、Unity等主流商业引擎集成大量AI工具,不断借助AI技术提升高
83、质量角色创作、大规模场景生成的效率,降低开发者的使用门槛与创作难度。高质量的画面效果及实时算力支撑提升关键模块技术水平:如实时渲染、物理模拟等云游戏提供强大算力支撑:平台算力云化,降低用户的接入成本丰富的开发者与多元的内容体系降低准入门槛:提供更完善素材和UGC工具,实现低门槛、高效率的创作构建用户社区:构建社区和丰富的生活、娱乐、社交功能,构建开发者生态良好可持续的盈利模式多元化商业模式:探索多元商业模式,推动创作者变现,聚集内容开发者生态商业技术UnityUnity引擎中集成大量AI制作工具Machine Learning Agents平台更智能、更大规模地打造出各类风格的数字资产,还可以
84、让这些数字资产以更接近真实世界的方式与真人实现交互通过深度强化学习和模仿学习相结合的方式,让游戏开发者能够轻松地训练用于2D、3D 和 VR/AR游戏的智能Agent,2024年数字科技前沿应用趋势展示:实时渲染感知:实时可视化交互:实时调用数字交互引擎凭借其在数据可视化、实时渲染、友好交互等方面的能力,已成为众多行业数字孪生重要的构建及运行平台,并支撑各行各业的数字孪生在应用层面提升实时性。未来,随着数字交互引擎集成更多AI能力,将进一步提升数字孪生构建的效率与智能化水平,助力数字孪生技术以更智能化的形式服务于各行各业,促进各领域提高研发生产效率、降低产业创新风险。支持数据的实时感知接入并进
85、行可视化展现能够实现3D模型的实时渲染和展示支持用户对孪生体的快速查看、调用和修改2024年数字科技前沿应用趋势医疗突破脑机接口将加速脑科学发展,助力医疗领域神经系统疾病监测与治疗突破01交互革命脑机接口将与混合现实等技术深度融合,推动新一代人机交互模式变革02人机共生脑机接口与人工智能相辅相成,成为促进人机和谐共生的重要路径之一03趋势要点脑机接口(BCI,brain-computer interface):在人或动物脑与外部设备间建立的直接连接通路,实现大脑与外部设备的直接交互。根据传感器或电极植入部位不同,主要分为非侵入式(Non-invasive)和侵入式(Invasive)两大类。经
86、过百年的近现代技术发展,脑机接口已形成了一系列基本的技术研究和应用范式,但由于对人脑认识的局限性,目前脑机接口仍处于发展早期。不过近年在数字技术尤其AI不断突破的加持下,脑机接口也呈现出加速发展的趋势,预计医疗、军事、教育、混合现实交互、类脑智能等领域将发挥重点带动作用,全球商用市场将以17%以上的年增长到2023年突破60亿美元。从长远看脑机接口的意义更为重大,是人类应对人工智能威胁、弱化老龄化社会冲击、探索人类本质等重大问题,构建人机和谐社会的重要路径之一。2024年数字科技前沿应用趋势涉及学科计算机科学神经科学认知科学信号与信息处理医学材料科学 1780年:意大利Luigi Galvan
87、i发现静电能让死青蛙腿肌肉抽搐,称动物电流 1875年:英国Richard Conton发现非人类动物大脑中的电信号 1924年:德国Hans Berger开发了脑电图(EEG)首次记录人脑中的电信号起源:1780s科学设想:1930s 1938年:美国Herbert Jasper构思绘制了从脑电波中解码出语言的示意图 1973年:美国Jacques Vidal论文首次提出“脑机通信”的概念 1984年:加拿大William Gibson在科幻神经漫游者描绘脑机接口设想 1969年:德国Eberhard Fetz研究验证猴子能学会用意念控制仪表的指针 1988年:美国Farwell和Donch
88、in创建P300拼写器,后成为重要的范式之一 1997年:美国Richard Norman开发了犹他电极阵列,后广泛应用科研论证:1960s 1984年:美国FDA批准人工耳蜗临床中用于成人 1997年:美国FDA批准脑深部电刺激(DBS)用于治疗原发性震颤和帕金森病 2005年:美国Cyberkinetics公司BrainGate实现人体脑机接口控制机械臂实用探索:1990s 2001年:美国ASU发表具有生物活性的基于聚酰亚胺的柔性皮质内电极阵列 2014年:IBM发布TrueNorth类脑芯片,推动更高效、低能耗的类脑计算发展 2019年:美国Neuralink公司发布具备1024个通道
89、的高速宽带脑机接口系统新技术融合:2000s脑机接口(BCI)信号处理预处理特征提取分类信号收集应用程序界面应用反馈2024年数字科技前沿应用趋势类脑芯片主要的传感器安装模式 脑磁图MEG 脑电图EEG 脑皮层电图ECoG 皮质内微电极(IM)功能近红外光谱fNIRS假肢/外骨骼微创植入技术高密度电极阵列柔性电极/生物相容电极神经调控/刺激技术关键技术点3年以上2-3年内0-1年内影响力中等影响力大影响力极大多模式传感器技术指标侵入式BCI技术目标侵入式BCI技术要点非侵入式BCI技术目标非侵入式BCI技术要点共性技术要点采样率(Sampling rate)每秒100,000Hz高密度电极阵列
90、,新型生物相容性电极1000Hz以上高密度通道新算法,减噪技术时延(Time Delay)无线通信,新算法10毫秒以内无线通信,新算法新算法,无线通信空间分辨率(Spatial Resolution)毫米级或细胞级高密度电极阵列,微创植入技术,新型生物相容性电极-高密度通道-控制自由度(Degree of Freedom)对数十个乃至上百个独立控制通道的解码高密度电极阵列,神经调控技术-高密度通道新算法,个性化优化信息传输速率(Information Transfer Rate)每分钟百字量级无线通信,高密度电极阵列每分钟60字以上无线通信,高密度通道新算法,减噪技术,无线通信准确率(Accu
91、racy)95%以上新算法,神经调控技术,个性化优化90%以上新算法,减噪技术新算法,减噪技术,个性化优化使用寿命(Functional Lifetime)5-10年以上新型生物相容性电极,无线供电系统,小型化设计依赖于设备设计和材料性价比新型生物相容性材料,如导电聚合物水凝胶新型生物相容性材料来源:State-of-the-Art on Brain-Computer Interface Technology多模态神经信息编解码无线通信技术人工神经网络无线供电系统滤波/降噪技术小型化设计数字孪生脑2024年数字科技前沿应用趋势2023年5月,马斯克的脑机接口公司Neuralink首次获得美国F
92、DA批准,开始人体临床试验开放招募,可能率先针对颈脊髓损伤或肌萎缩侧索硬化症(ALS)导致四肢瘫痪的患者。Neuralink的核心并非底层技术突破,而是强大的工程能力,实现了高通量、微型化脑机接口装置的机器人精准微创植入,有望加速脑机接口产品化、商业化的进程。Neuralink获批首次人体临床试验瑞士脑机科研团队让瘫痪男子再行走2023年5月,瑞士洛桑联邦理工大学等机构通过在人体内植入脑-脊接口(BSI),成功让因脊髓受损而下半身瘫痪的患者恢复自主行走能力。研究团队在自然杂志公布的研究成果显示,在患者头部和脊髓周围植入传导装置,能够实现在大脑和脊髓间重建“数字桥梁”。此项技术展现了脑机接口技术
93、应用对残障人群的巨大价值。苹果Vision Pro上市暗藏脑机接口2023年6月,苹果正式发布头显产品Vision Pro,宣布进入空间计算时代,其卓越的混合现实(XR)体验引发全球热议。除手动、声控等交互外,Vision Pro还实现了流畅的眼动交互,通过人眼与大脑连接,创造了一种简略的脑机接口(BCI)体验,如监测瞳孔变化预测用户行为从而实时重建UI。这打开了未来XR和BCI融合创新的探索空间。大事记chronicle of events研究机构2023E2030E增长率Precedence23.564.216.7%Gran View20.463.217.5%Zion216116.5%Al
94、lied2254.613.9%Data Horizzon23.67517.8%平均值226417%人工智能加速迭代与威胁:AI大模型加速迭代,在越来越多任务中展现出对人类脑力的超越性,这种颠覆性威胁下,脑机接口是未来人与AI共生的重要出路之一 神经相关疾病患病率攀升:1)老龄化加深,伴随癫痫、阿尔茨海默症和帕金森症等增多;2)神经发育障碍问题越来越受重视,如自闭症、注意力缺陷、学习障碍等;3)残疾人对辅助技术需求强 现代军事人机协作需求加强:在无人机、自主武器等大量应用的情况下,脑机接口可以提高军队人机协作能力,同时改善训练和医疗效果39.8%40.1%28.1%29.2%20.0%21.1%
95、12.2%9.7%20222032北美欧洲亚太拉美82.1%81.3%17.9%18.7%20222032非侵入式侵入式58.6%57.7%24.6%23.1%10.7%11.6%6.1%7.7%20222032医疗通信娱乐家居来源:Towards Healthcare,Precedence Research2024年数字科技前沿应用趋势医疗领域仍将是牵引脑机接口发展的重点领域。脑机接口与医疗的结合应用展现出了广阔的前景,不仅能为瘫痪和神经退行性疾病患者提供重要的沟通和控制解决方案,还有潜力推动神经科学和临床神经医学的研究进展未来脑机接口将重点向疾病治疗、人体增强等多样化的应用场景深化,潜在应
96、用功能包括恢复(如神经和精神疾病治疗)、替换(如控制神经假体)、增强(如增强感官体验)、补充和改善等神经发育障碍和退行肢体缺陷及运动障碍感觉缺陷和损伤心理健康与精神疾病一是重复刺激患者大脑,实现运动相关神经元部分连接或功能修复;二是获取患者运动意图,实现对外部设备控制完成行动通过脑电信号分析和调控人的情绪和认知状态,辅助诊疗抑郁症、焦虑症、精神分裂症等,并通过神经反馈训练促进患者康复瑞士EPFL脑-脊接口让瘫痪者恢复自主行走能力针对神经发育障碍、退行导致的各类疾病(如癫痫、阿尔茨海默症、孤独症),更精准的监测、分析、干预等提升诊疗效果Stanford、UCSF的读脑设备让失语者重新说话(Nat
97、ure)解码患者自身感觉信息,实现感觉补偿甚至修复,已在听觉、视觉、触觉等感觉缺陷和损伤诊疗中发挥积极作用癫痫:2021年浙大实现国首例款自研闭环神经刺激系统Epilcure治疗癫痫临床植入帕金森:2022年宣武医院完成国内首创闭环神经刺激器治疗帕金森病植入孤独症:BrainCo推出脑机接口社交沟通训练系统支持孤独症儿童治疗BCM通过动态电流电极,成功在受试者脑海中呈现指定图像(Cell)抑郁症:Inner Cosmos推出目前最小、侵入性最少的植入物“数字药丸”并开展临床实验Muse推出基于EEG的冥想和睡眠头带帮助用户日常精神和睡眠状态调整优化2024年数字科技前沿应用趋势人机交互模式的演
98、进需求将驱动脑机接口与其他技术的融合发展。通过脑机接口,我们可以实现直接从大脑获取信息和指令,这将与虚拟现实(VR)、增强现实(AR)和元宇宙等新兴技术有效融合,提供更为直接和自然的交互方式未来脑机接口与混合现实的结合,特别在商业及生活服务方面的适用领域会十分广泛,如娱乐、社交、身份识别、疲劳干预、个性化学习等。这类脑机技术多采用非植入式,更加安全便捷、更易被大众接受,真正形成消费级应用才能加速普及命令行交互Command-Line Interface图形交互Graphical User Interface自然交互Natural User Interface命令行Type命令行Type鼠标Po
99、int触控Touch眼神Gaze语音Speech手势Speech脑电Think脑机接口将促进人机自然交互全面升级【例】OpenBCI与Varjo合作开发的Galea BCI系统,整合包含多种传感器的非侵入式脑机接口系统和混合现实系统,创造出了能进行多重体验交互的新型软硬件平台主要传感&交互 脑电 肌电 皮肤电 光电(心率)眼动追踪 手部追踪 激光雷达娱乐:更沉浸生活:更便捷工作:更高效学习:更专注游戏主播用脑机头带玩3A游戏脑机头带对司机疲劳监测与警报脑电图耳机+神经科学APP教学基于脑机接口的智能家居系统研究【例】Meta2022年发布肌电图+AI腕带交互装置2024年数字科技前沿应用趋势应
100、对人工智能的潜在威胁提高了脑机接口发展的必要性。脑机接口有望架设人脑与人工智能的直接、高速连接,一方面能增强人脑信息处理和交互能力,避免被人工智能直接替代;另一方面能促进人工智能向人脑机制深入学习演进,走向更可信可控、低耗高效的发展方向类脑计算是脑机接口与人工智能结合的重点发展方向之一,主要包括神经科学研究(特别是对大脑信息处理基本原理)、类脑计算器件(硬件)、类脑学习与处理算法(软件),长期可能促成新的类脑计算结构体系、赛博格(人机融合体)、脑联网等的发展突破“人类必须成为机器人才能避免AI的统治这主要与带宽有关,即你的大脑和你的数字版本之间的连接速度”马斯克大脑信息解码与重建来源:Impr
101、oving visual image reconstruction from human brain activity using latent diffusion models via multiple decoded inputsAI技术的加速突破(如LLM、DM等),能支持更高效处理脑机接口采集的大量脑信号,提升对大脑文字、影像等信息解码与重建效率,促进大脑信息处理机制等的基础研究,提升未来“脑-脑通信”的可能性来源:Semantic reconstruction of continuous language from non-invasive brain recordings德克萨斯大
102、学奥斯汀分校研究团队 实 现,基 于 GPT-1 和 大 脑fMRI数据训练的模型,信息重建准确率:感知语音(听录音):72-82%想象语言(想故事):41-74%无声电影(看电影):21-45%大阪大学研究团队实现,基于扩散模型,重建通过fMRI获得的人脑活动图像,有效降低计算成本同时保留高生成性能类脑计算软硬件脑机接口促进脑数据采集和脑科学研究,能反过来支持类脑计算的框架、算法、芯片等技术创新,跳出冯-诺伊曼计算结构局限,推动更低功耗、高效率、可信可控的AI发展,降低AI风险、促进向人机和谐共生方向发展IBM在其类脑芯片TrueNorth的基础上酝酿用于神经推理的新芯片原型NorthPol
103、e,融合了类脑计算和硅优化计算之间、计算和内存之间、硬件和软件之间的界限,相比传统CPU能以极其节能的方式快速执行计算任务,大幅提升能效25倍中国科学院自动化研究所团队,创新一种基于神经调制依赖可塑性的新型类脑学习方法NACA,通过全局多巴胺的弥散支持与输入信号同步,甚至先于输入信号的正向信息传播,再加上选择性的对STDP的调整,使得NACA表现出明显的快速收敛和缓解灾难性遗忘优势2024年数字科技前沿应用趋势沉 浸 式沉浸式技术日趋成熟,模型成为视频的信息载体01AIGC已经商用,大模型在垂直领域不断强化多媒体能力02底层协议根据场景需求优化完善,推动多媒体赋能产业互联网03趋势要点未来视频
104、向沉浸式体验、高效生成演进、从面向人眼视觉到面向机器视觉、从消费级到产业端。体验、内容生成、标准和网络协议是多媒体的关键技术。伴随着设备从平面到XR的升级、AI技术的不断进步,以及产业互联网对视频的需求提升,多媒体体验将更加沉浸。同时,AIGC技术将高效生成文字、图片和视频。深度学习视频编解码也将进一步压缩,提升效率。此外,在应用层和网络层的优化,将进一步推动多媒体赋能产业互联网。多 媒 体+AI协议2024年数字科技前沿应用趋势关键学科多媒体技术信息与计算科学多媒体压缩、多媒体处理、多媒体理解、机器视觉生成编辑:硬件采集视频压缩编码:编解码标准视频传输:网络传输协议、时延、Qos、Qoe视频
105、的呈现:设备、交互、清晰度、HRD信息论音频数据处理过程输入设备输出设备采集预处理编码文件封装网络协议打包云端后台服务文件解封装抖动缓冲设备管理展示渲染解码网络协议解包发送接收2024年数字科技前沿应用趋势时间阶段分辨率清晰度标准设备聚焦方向交互领域1990年代电视阶段352240(NTSC制式)352288(PAL制式)MPEG-2电视传输渠道电视广播单向交互面向C端,链接人到人21世纪初PC流媒体阶段720p、1080p(标清和高清)(全高清,Full HD)H.264编码PC实现流媒体互动快进、双向弱交互2010-2020移动互联网阶段1080p、4K(UHD,超高清)H.265(HEV
106、C)AV1PC手机更高压缩比和分辨率基于移动设备、移动多媒体的双向交互2020年-今4K、8KHDR(10比特)H266VVC手机、XR更高压缩比和更多样的视频形态低时延、实时互动、3DoF、6DoF强交互面向产业,链接人和物、设备1、如何提高qoe和qos:进一步降低时延、提高压缩比。2、更高效的内容生成和呈现:AIGC、HDR技术3、更多样内容、互动内容、新媒体:沉浸式交互和体验 4、更深入产业,助力产业互联网2024年数字科技前沿应用趋势故宫 x 腾讯沉浸式数字体验展9月,苹果发布会介绍,用户可利用iPhone 15 Pro 超广角和主摄一起来拍摄带三维感的视频,并在AppleVisio
107、n Pro 中重现,这也是首款可以实现空间视频拍摄的智能手机。空间计算AIGC技术日趋成熟Stable Diffusion、Midjourney、Runway、Pika等专业模型,以及GPT4V、Gemini等多模态模型先后发布,文生图、文生视频技术日益成熟。裸眼3D1月,腾讯申请“全息裸眼3D设备”专利获批。9月,腾讯会议展示裸眼3D效果,同时具备双目视差和移动视差。观看者除了能体验到出屏的立体感,同时也可以通过左右移动,看到不同视角的立体内容,更真实,沉浸感更强。大事记chronicle of events6DoF云渲染点云AIGC 3D云游戏VCM关 键 技 术 点3年以上2-3年以上0
108、-1年以上影响力中等影响力大影响力极大视频编解码空间音频下一代视频压缩标准2024年数字科技前沿应用趋势空间计算超低延时直播视频向更加沉浸式,双向交互方向演进,3DoF视频已经商用落地,在微信视频号、快手等平台可以体验。裸眼3D产品已经产品化,谷歌、腾讯均发布了裸眼3D的产品。6DoF视频和体积视频目前还在演进和探索中,目前点云的技术路线相对比较成熟,有望实现突破。未来伴随硬件的进一步成熟和6DoF技术演进,更多的UGC 3D沉浸式内容将会出现,同时模型文件将成为多媒体的重要载体3DoF产品商用落地6DoF视频探索中三维重建技术是6DoF视频的核心,目前采集端用相机阵列进行采集,三维重建有深度
109、图、点云和光场等不同方式,其中深度图的方式较为成熟。硬件推动 高通xr芯片 苹果头显 裸眼3D屏幕日益成熟标准推动三维重建方式深度图点云采集相机阵列光场裸眼3D已经产品化 H265成熟:mv-hevc、3d-hevc,H266推动沉浸视频演进:针对全景视频、3D视频提出方案 6dof 点云标准:PCCUGC 3D内容随着Vision Pro、新款Iphone的推出,用户未来可以直接采集和显示3D图片和视频。模型文件成为重要载体模型文件成为载体,视频和应用的界限将模糊化。Nerf是未来重要方向。体积视频还在演化大规模分发链路支持云上直播和点播转码产品化多媒体容器格式支持分发协议优化4k、8k、转
110、码一部手机游云南VR360游白沙细月敦煌研究院VR360远程会诊系统2024年数字科技前沿应用趋势腾讯会议裸眼3D以极高的精度和细节捕获空间中深度、色彩等信息,生成3D模型素材,实现更为沉浸的体验。全球体积视频市场从 2022 年的 17.9 亿美元增长到 2023 年的23.1 亿美元,复合年增长率(CAGR)为 28.7%。AIGC技术在多媒体的文字、图片生成等方面已经商用,未来聚焦生成更加稳定的视频和3D内容。同时在垂直领域如数字人、超分、老片修复等方向不断强化多媒体的能力随着更多样化的块划分方法和编码模式的不断涌现,以及更复杂的预测和变换技术的引入,传统视频编码算法的复杂度不断提高,完
111、全依赖传统编码框架技术来提高视频编码压缩效率变得越来越困难。深度学习技术在图像分类、目标检测等计算机视觉任务上已取得了巨大的成功,近几年,深度学习技术为图像/视频编码框架定义了全新的结构范式,实现了图像和视频编码器性能的显著提升,这为图像/视频编码领域带来了新的研究机遇。数 字 人:Talking FaceGeneratio,利用Gan大模型,数字人动作更自然文本生成文本人类平均水平ChatGPTLaMDA文本生成图片人类专业水平MidJourneyStable Diffusion生成3D模型不可用Magic3DDreamFusion生成视频探索ImagenPhenaki生成音频可用Audio
112、LM生成动画可用PFNN/MANN/NSMDeepMimic1、技术进步在急剧加速;2、3D生成极有可能在2年内可用;3、创新多出现在多领域技术交叉领域AI 在垂直领域不断强化多媒体能力在超分、老片修复等方向:利用大模型利用解决视频稳定性,简化人工手动优化在传统编码框架中引入深度神经网络来进一步提升压缩性能。深度学习策略实现对传统编码标准中的块划分、预测模式等大量待搜索对象快速判决,从而缓解编码端搜索压力、降低计算复杂度。JVET 开展的神经网络视频编码(NNVC)探索实验和增强压缩视频编码(ECM)探索实验,相比VVC/H.266标准参考软件VTM,在RA和 AI配置下,Y、Cb、Cr三个通
113、道BD-rate分别节省:-21.17%,-32.29%,-33.05%和-11.06%,-22.62%,-24.13%,具备演进成为下一代视频编码标准的技术潜力。AI增强传统编码能力端到端神经网络视频编码技术:打破传统编码框架,完全使用深度学习方法实现编解码流程。基于神经网络视频编码,利用海量数据集进行神经网络训练,学习去除视频压缩失真任务中的先验知识。例如jpeg-ai的主要动机是基于深度神经网络的工具在图像编码、计算机视觉和图像处理任务中的出色性能。JPEG AI旨在开发一种图像编码标准,以满足云存储、视觉监控、自动驾驶车辆和设备、图像采集存储和管理、视觉数据实时监控和媒体分发等广泛应用
114、的需求。2024年数字科技前沿应用趋势AI生成视频、3D是主要探索方向多媒体技术在产业互联网中的应用,将根据不同场景进行优化,从而更好地满足产业互联网的需求。在产业互联网中,网络协议需要根据场景需求进行优化以提高传输效率。传统的直播传输的播放模型存在诸多问题,如缓存固定、传输可靠性过高、无法区分视频帧优先级等。针对这些问题,在消费互联网中的WebRTC通信模型基础上,进行优化,在网络时延、QoE和可靠性等进行优化,对场景需求进行最优匹配。2009-HTTP Live Streaming(HLS)协议2019-LL-HLS(Low-Latency HLS)采用chunk编码,将延时降低到3秒左右
115、基于TCP 协议2005-RTMP协议基于UDP协议快直播的延时可降低到800ms以内,并同时兼顾延时、卡顿和首帧耗时,综合QoS远超传统直播信令改造,利用miniSDP和0-RTT的结合,大幅减少信令耗时、提升信令交互成功,进而降低首帧耗时和提升开播成功率。音视频改造,让WebRTC支持AAC,H.265,附加前向纠错,抗50%以上丢包。还引入了B帧,增强了画质,同时大幅减少了码率。传输改造,采样柔性分级丢帧的传输策略来渐进式降低码率,以适应弱网情况。支持P2P分发网络,能够将看同一视频流的用户群就近地组织成网络,相互分享传输。2B2C:快直播电商领域,随时发起的低延时秒杀活动赋予了电商直播
116、更强的互动娱乐性,拉动了用户观看时长以及交易额增长企业体育直播,多机位镜头结合超低延时直播技术应用,能够无缝切换现场多视角镜头,现场沉浸式体验更佳。时延和c端QoS时延和稳定工业远程作业,基于100ms的极低视频延迟,实现远程流畅工程作业,降低作业危险和现场往返时长,提升作业效率。To B优化优化在C端低延时的演进路线信令改造:提升信令链路对网络异常抵抗能力,减少网络异常恢复时间,提升视频应用稳定性音视频改造,优化相机采集、视频渲染和视频编解码耗时,从音视频处理层面减少端到端画面延迟。传输改造,以减少视频传输延迟为目标,适当平衡抗丢包和抗网络波动能力,减少视频延迟;并引入多网传输策略,减少单一
117、网络依赖,提升传输稳定性;1998-RTSP 协议 over UDP2017-Secure Reliable Transport(SRT)协议2011-webrtc 协议画面延时可降低到100ms以内,兼顾抗弱网能力2024年数字科技前沿应用趋势卫星研制“工业化”通过使用工业级COTS器件、批量生产和可回收技术,卫星的研制和发射成本大幅度下降,大规模星座部署成本可控,服务能力大幅度提升01通信标准“一体化”3GPP基于5G开展非地表网络NTN技术研究,R17版本完成面向高轨弯管卫星的窄带物联网标准研究,实现星地通信技术一体,实现产业链融合02卫星通信“大众化”卫星通信系统正在拓展到更泛在、更商
118、业、更大众的应用领域,必然催生大量的软硬件需求。包括即时通信和应急通信产品的新需求,以及泛在物联网的爆发等。卫星网络安全也进入公众视野。03趋势要点实现Anytime Anywhere Anyone Anything 一直以来就是通信技术发展的目标,尽管目前地面蜂窝网络已经实现了70%人口的覆盖,但是仅有20%的地表面积被网络覆盖,大部分地区还处于失联状态。基于卫星的无线通信技术可以以较低的成本实现广域覆盖,并不受地质灾害、安装环境的影响,实现宽窄带通信服务星地直连需要通过商业航天和通信技术结合来实现。受益于商业航天近些年的快速发展,火箭发射成本得到了大幅度的降低,卫星的研制成本和性能也有了大
119、幅度的提升,可以满足星地直连大通量卫星研制和大规模星座建设和发射的需求。基于地面5G衍生的非地表网络协议实现了产业链融合和赋能,并有望实现星地通信一致化的体验。未来1-3年,随着卫星研制能力的提升和星地融合通信协议的进步,基于平板天线的宽带卫星通信系统和棉线微型设备的窄带星地融合通信系统有望进入大规模普及阶段,基于宽带的手机直连卫星通信技术也将得到快速的发展。2024年数字科技前沿应用趋势学科背景根据ABI研究预测,随着NTN技术的发展,未来手机直连卫星会进入到快速增长阶段。到2030年全球会有1.7亿台NTN移动终端设备,总共带来163亿美元的收入,从2022年到2030年间的复合年均增长率
120、可以达到76%。业务需求、星座规模、服务能力和带宽之间相互影响、相互促进。卫星成本降低和通信技术演进推进手机直连卫星应用的加速发展;手机直连卫星的发展促进应用需求的多样化,增加了对业务多样性和带宽的需求,又进一步对星座建设和通信技术演进提出要求;卫星数量越多,卫星的制造成本降低又进一步推动产业的发展。技术关键点和方向关键学科航空航天无线通信电子工程2024年数字科技前沿应用趋势2023年2月27日,星链公司发射星链2.0 mini版本卫星,重量800kg,支持S频段,计划支持T-mobile手机上星应急通信,开启低轨手机直连星座组网;2024 年初,发射了 6 颗支持存量手机直连的星链卫星。星
121、链2.0 mini版本入轨华为Mate60 Pro发布2023年8月,华为发布Mate 60 Pro手机,支持通过天通卫星的语音通信功能,标志着商用手机进入卫星通信时代。2024 年初,荣耀Magic6 系列旗舰新品,号称实现了体积最小、信号最稳、且最省电的手机卫星通信体验。基于NTN的窄带通信测试成功2023年,多家运营商和私营公司成功开展了基于3GPP IoT NTN的星地直连通信,验证了基于地面蜂窝的通信协议可以支持使用现有卫星进行通信大事记chronicle of events窄带物联应急通信服务6G星地融合通信语音通信低轨宽带通信关键技术点3年以上2-3年以上0-1年以上影响力中等影
122、响力大影响力极大时间点协议芯片设备天地融合1990年代以铱星系统为代表的私有协议专用芯片专用通信设备不融合21世纪初借鉴地面蜂窝通信协议研发专用卫星通信协议如全球星的通信协议是基于CDMA系统的专用芯片专用设备不融合2022年借鉴地面蜂窝通信协议研发专用卫星通信协议如全球星的通信协议是基于CDMA系统的专用芯片在通用设备中植入独立的专用卫星通信芯片业务融合2022年-至今基于3GPP NTN协议实现和地面蜂窝网络的兼容通用芯片在通用设备中植入独立通用的卫星通信芯片协议兼容未来星地融合的卫星通信协议通用双模芯片标准商用手机协议融合2024年数字科技前沿应用趋势 近年来,商业航天实现突破性进展,通
123、过使用工业级COTS器件、批量生产和可回收技术,卫星的研制和发射成本大幅度下降,大规模星座部署成本可控,服务能力大幅度提升。工业级器件大规模使用火箭可回收技术卫星批量化生产基于工业级器件降低卫星研制成本:大量的商业航天公司使用低成本高性能的工业级器件替代传统的宇航级器件研制低轨卫星,并通过多模冗余设计解决空间辐噪导致的失效问题,大幅度降低了卫星的研制成本和时间。SpaceX通过高推重比发动机、多级并发、动态调度等技术实现火箭发动机的可回收和重复使用,降低火箭的发射成本,并进一步结合星箭一体化技术增加单个火箭运载卫星的数量,从而大幅度降低卫星的部署成本。批量化生产卫星降低卫星的测试成本和研制周期
124、:通过卫星工厂来批量化生产标准卫星,可以降低卫星的研发和测试成本,并减少卫星的研制周期,为短时间内大规模星座部署提供保障。2017年3月,猎鹰9号火箭B1021成为世界上首个两次被成功回收的轨道级助推器2024年数字科技前沿应用趋势ABI:各种卫星的轨道高度示意通信标准“一体化”:3GPP基于5G开展非地表网络NTN技术研究,R17版本完成面向高轨弯管卫星的窄带物联网标准研究,R18推进基于宽带的5G NR NTN通信协议的研发工作,实现星地通信技术一体,实现产业链融合。3GPP确定技术演进标准ITU划分手机直连频段3GPP IoT NTN在轨测试成功3GPP R17标准正式发布,通信国际标准
125、化组织3GPP R17版本发布,支持面向卫星物联网的IoT NTN标准,标准完成了基于高轨弯管卫星的NB-IoT和eMTC系统的支持,后续会逐渐演进到低轨和NR NTN;国际电联ITU正式确定NTN网络的可用频段:ITU划定N255和N256频段可用于部署基于NTN的卫星窄带物联网系统,L频段的34MHz FDD带宽被定义为N255,S频段的30MHz定义为N256频段;基于R17 IoT NTN的在轨测试成功:多个运营商和卫星物联网公司开展了基于高轨卫星和R17 IoT NTN标准的在轨测试,并获得成功,标志着基于高轨卫星IoT NTN的通信协议已经初步实现了技术闭环https:/www.c
126、onnectivity.technology/2020/05/r-technical-explainer-on-3gpp-5g-non.html2024年数字科技前沿应用趋势卫星通信系统正在从专业和特殊行业应用拓展到更泛在、更商业、更大众的应用领域,必然催生大量的软硬件需求。其中一个重点趋势是对于宽窄带结合的即时通信和应急通信产品的新需求,由此带来对语音和视频压缩技术的新需求。另一个重点趋势是泛在物联网的爆发。近年来,卫星网络安全攻击事件激增。例如,卫星提供商Viasat的KA-SAT网络遭遇“多方面”攻击,导致乌克兰与欧洲部分区域KA-SAT卫星宽带用户服务全部中断,被忽视的卫星通信系统网络
127、安全进入公众视野。商用手机具备卫星应急通信功能低轨手机直连开展技术验证IoT NTN进入部署阶段,网络安全引起关注2022年末,华为和苹果相继发布手机支持应急通信短报文功能;2023年10月,华为发布Mate 60 Pro手机支持天通卫星的语音通话功能。Starlink发射2.0mini版本卫星,相比1.0版卫星,体积提升了4倍,重量增加了3倍,通信能力提升了4倍,未来支持S频段的T-Mobile的手机直连;AST Mobile开始部署基于低轨的超大阵列天线以支持手机直连功能,并开展了多次在轨测试。2023年MWC展上,鹏鹄物宇等单位联合发布了基于IoT NTN的卫星物联网终端设备和模组,设备
128、体积小,功耗低,有效降低了卫星物联网的使用门槛,为后续大规模普及提供铺垫。腾讯安全天马实验室聚焦前沿卫星互联网络及新基建下各类产业应用场景的安全研究,率先原创发现多个影响范围广泛的通用型高危漏洞,为卫星电话、地图测绘、广播电视、气象监测等应用领域提供安全保障。2024年数字科技前沿应用趋势趋势要点随着城市化进程加速,交通拥堵和环境污染问题日益突出,人类社会对绿色、高效的交通方式的需求日益迫切。在电动飞机技术、新能源技术和数字技术的发展和共同引领下,电动垂直起降飞行器(electric vertical take-off and landing,eVTOL)逐渐从概念走向现实,将彻底改变以地面交
129、通为主导的出行模式,加速空中出行奔赴新时代。eVTOL以电池为能源,采用分布式电推进系统,不仅大幅降低飞行噪音,提高操作安全性,还能实现垂直起降,无需跑道。这使其成为一种具备应用潜力的绿色、智能空中交通工具。近期,我国工信部等四部门共同发布绿色航空制造业发展纲要(2023-2035年)明确提出了到2025年实现eVTOL试点运行。在政策的大力支持下,空中出行有望在2025年后逐步成为公众的交通选择。在全尺寸原型机试飞测试中,多旋翼、复合翼、矢量推进构型的技术逐步得到提升,其中矢量推进构型成为业界主流方案。eVTOL的动力装置电推进系统也向更高效、更轻量级的方向发展。01宁德时代研发能量密度高达
130、500Wh/kg的锂电池技术,锂电的里程碑式突破有望推动eVTOL续航里程大幅提升,为eVTOL执行城际/区域空中交通奠定技术基础。02长期来看无人驾驶eVTOL是降低运营成本的重要方向,短期内有人驾驶是主流选择。在相对复杂的低空环境中实现无人驾驶,数字化智能化的空中交通管理系统成为必不可少的低空新基建。032024年数字科技前沿应用趋势eVTOL的发展历程空气动力学飞行力学结构力学仿生学材料学计算机控制理论eVTOL的应用场景2024年数字科技前沿应用趋势eVTOL从概念诞生到如今成为新兴行业,得到了航空航天企业、运输行业、政府、军方和学术界等机构的大力推广和支持。旅游观光、机场摆渡、城市空
131、中出租车、城际通航、区域客运、商务飞行等载人客运城市末端配送、紧急医疗服务、城际空中快递、乡村物流载物货运空中巡逻、应急处突、交通执法、缉毒缉私、空中监控、警力机动、军需运输、救援搜索、空中通讯等国防安防城市管理、消防灭火、应急救援、环保监测、疫情防控、自然保护、社区治理、农林植保公共服务eVTOL的相关学科美国NASA首次发布Puffin eVTOL的动画概念视频eVTOL先行者JOBY公司成立20092014美国直升机协会和美国航天航空协会正式引入 eVTOL概念,引起全球产业界跟进Uber提出城市空中出租车计划“Uber Elevate”20162018美国NASA定义基于eVTOL的城
132、市空中交通(UAM)概念欧盟航空安全局EASA发布eVTOL航空管理规定,建立针对性监管20192023中国民航局颁发首个无人驾驶eVTOL适航证,引发全球关注2021Joby、Archer、Lilium、Vertical四家evTOL公司通过SPAC在纳斯达克上市筹集资金Joby、Volocopter、Lilium、Archer 等公司的eVTOL原型机完成飞行技术演示20222023年,Joby,Archer,Lilium,Vertical等头部eVTOL公司已完成首架全尺寸原型机的飞行测试,实现了垂直起降、高速巡航、悬停飞行过渡到前飞等各项主要飞行任务,展示了eVTOL技术的可行性和未来
133、的商业化潜力。多家厂商完成全尺寸eVTOL的飞行测试大事记chronicle of events关键技术点3年以上2-3年以上0-1年以上影响力中等影响力大影响力极大2023年4月,宁德时代发布了其研发成功单体能量密度500Wh/kg的凝聚态电池,用于民用电动载人飞机项目的合作开发,被航空界认为是极大提升电动飞机续航里程的关键性技术。电动飞机高能量密度电池技术取得突破全球首个无人驾驶eVTOL适航证颁发2023年,欧盟EASA在原有适航认证基础以外还从监管角度定义了飞行器运行要求、电池电量储备要求、飞行员执照、空域整合以及合规要求等。美国FAA和中国CAAC也在积极制定eVTOL的监管框架并发
134、布相关文件。全球民航部门加速完善eVTOL监管体系低空通讯导航监测系统eVTOL主机厂的适航取证工作有序推进,eVTOL产业生态体系加速构建。随着各主要民航监管部门对多个型号和构型的eVTOL的审查工作不断推进,头部OEM有望在2025-2026年集中获得适航证。在此背景下,主机厂、零部件供应商、基础设施建设商、服务提供商以及领域外玩家(如互联网、物流、汽车企业)都在提前布局eVTOL市场。多旋翼eVTOL(短距离运输)矢量推进型eVTOL氢能源eVTOL高性能航空电池技术低空航行信息服务系统复合翼eVTOL2024年数字科技前沿应用趋势2023年10月,中国民航局为亿航智能EH216-S型号
135、载人无人驾驶航空器颁发型号合格证,也是全球首例面向无人驾驶eVTOL的型号合格证。亿航智能随后也举行了EH216-S型号的商业载人首飞演示。空域数字化孪生平台轻量高效的电推进系统全自动驾驶等飞行控制技术态势感知和空中避障系统备注:受限于篇幅,以上仅列出部分eVTOL的关键技术。载人客运是eVTOL的发展方向和核心场景,未来市场规模预计超万亿美元。eVTOL将率先在载货物流、城市服务、消防救灾等场景启动运营,待各项技术成熟政策完善和市场接受,才会迈入大范围载人客运时代。许多公司已经提前构想和研究空中交通的“共享出行”运营模式,摩根士丹利预测城市客运和区域客运等潜在市场规模在2040年将超过1万亿
136、美元。eVTOL续航里程持续提升,带动空中交通转向服务城际和区域出行。受限于电池能量密度不足,电动航空最初定位是城市空中交通场景。随着电池技术发展和续航里程提升,城际和区域出行的商业模式将为运营商带来更高的单位经济效益,为客户有效节省时间;同时所需的飞行频率和机队密度较低,对城市带来的影响更小。技术成熟度在eVTOL商业化的不同技术路线中,相较于多旋翼构型,矢量推进型和复合翼构型eVTOL在航程、巡航速度和载重比方面优势明显,具有较好的有效载荷、最大起飞重量和运营经济性,因此城际运输等空中交通商业场景中应用推广显示出更大的的潜力。eVTOL普遍采用分布式电推进系统(DEP,Distribute
137、d Electric Propulsion)作为动力装置,有利于提升飞行器的气动效率、载运能力、环保性和鲁棒性等,是一种航空领域的颠覆性技术。电推进系统向更高效、轻量和安全的方向发展矢量推进型和复合翼型的航程和效率优势较为明显eVTOL整机研发项目的主要技术路线形成eVTOL采用分布式电推进系统,利用电力驱动多个推进器作为动力装置,能有效提升飞行器气动效率、载运能力、环保性和鲁棒性等,是一种航空领域的颠覆性技术。电推进系统下一步发展的方向是更高效、更轻量、更安全。具体包括但不限于:高压平台的应用和推广普及;通过提高电压,降低线束直径;进一步提高功率元器件IGBT的效率;轴向磁通电机取代径向磁通
138、电机,降低电机重量;提高电源模块和驱动模块的效率。全球超900个eVTOL研发项目中,矢量推进构型最受青睐320个263个149个来源:美国垂直飞行协会,截止至2023年11月2024年数字科技前沿应用趋势eVTOL基于推进动力方式形成多种主要技术路线多旋翼构型实现技术路线简单,但是气动效率较低,有效载荷和航程相对有限。目前电池能量密度能支撑约30分钟飞行,用于短距离运输场景,无法支持中长距离载客运输。多旋翼“升力+巡航”复合翼构型可以有效地提升巡航效率、航程和安全性,但是垂直起降和平飞携带的无效结构重量过多,限制飞行器的有效载荷和飞行速度。复合翼倾转旋翼构型重量轻、推力大、效率高,在速度和航
139、程上具有优势,但开发难度、成本和风险高。倾转旋翼倾转涵道风扇构型的突出优势是在巡航阶段所消耗的能量更小,但是悬停的效率较低、消耗能量高,更适合长距离飞行场景。同时较其他机型更容易降低噪音和振动。涵道矢量推进构型的优势取决于定位的商业场景及其对应航程距离效率DEP推进效率达95%-97%,比先进的涡扇发动机高出20%。电机功率重量比可达其他发动机的6倍。安全功率不因高海拔或炎热天气而衰减。多个电机的冗余设计提升安全性。可持续纯电飞机运行全过程零排放。大幅度降低社区噪声水平15dB以上。eVTOL使用电推进系统具有多方面优势109个59个备注:后两类因飞行器可通过改变螺旋桨/机翼/涵道方向实现飞行
140、器的起降和巡航,又称为矢量推进型。从经济性的角度出发,绝大多数主机厂都在正式生产的eVTOL机型中采用更为成熟稳定、能量密度和功率密度相对较高的锂电池,以实现航程距离较长的空中交通,另一方面也满足适航认证过程中对于飞行器安全性的要求,加速适航取证后的量产制造。未来随着氢气储存技术和氢燃料电池的稳定性得到显著提升,以氢能源为动力的低空飞行器也有望得到应用推广。锂电池成为eVTOL商用的首选能源航空级别的高能量密度电池商业化渐近高能量密度电池技术被航空界认为是极大提升电动飞机续航里程的关键性技术。2023年4月,宁德时代发布了单体能量密度500Wh/kg的凝聚态电池,用于电动飞机研发。对于部分头部
141、企业而言,电池能量密度达到500Wh/kg,有潜力支持现有机型飞行400-500km。电池是eVTOL续航提升的主要驱动力氢能应用潜力大但受限于总成本高长期来看,氢燃料电池的能量密度最高可达锂电池的上百倍,然而,氢能电池受成本重量和储运及潜在安全风险等制约,短期内应用空间有限。氢能源在航空的应用潜力巨大头部厂商选择现阶段具备比较优势的锂电池航空业绿色转型的能源选择有锂电池、氢燃料电池、电子燃料(e-Fuels)等。在头部厂商的目标航程范围内,锂电池的技术更加稳定成熟,且能源效率高、单位成本低(见下表),且目前可通过与新能源汽车电池生产商合作进行量产。电池需满足安全、高能量、可量产等条件在满足航
142、空级别安全要求的条件下,提高电池的能量密度(Wh/kg)和功率密度(W/kg),且以业界可接受的成本实现量产,是电池研发的重要方向。当前电池性能尚不足支持eVTOL长距离飞行使用能量密度300Wh/kg左右的电芯,估算不同构型的eVTOL的单次充电的最大航程:多旋翼 构 型 为 30-40km,复 合 翼 构 型 为 250-280km,倾转旋翼构型为250km,涵道矢量推进构型为175km。高能量密度电池正在跨越商业化门槛公司(国家)电池能量密度商用时间宁德时代(中国)500Wh/kg的凝聚态电池2023年发布,未公布商用时间AmpriusTechnologies(美国)400Wh/kg的硅
143、阳极锂离子电池2024年商用Lilium WithIonBox(德国)330Wh/kg的硅阳极锂离子电池已经用在测试机型中来源:宁德时代,Amprius,LiliumH2FLY氢能飞机指标电池Batteries绿氢e-Hydrogen电子燃料e-Fuels一级能量效率73%22%13%电力价格0.36美元/kWH成本/千瓦时 轴功率0.5美元/kWH1.7美元/kWH2.8美元/kWH飞行航程1100(2040年)-2000km(2050年)最长达3400km最长达1600km氢能飞机商业化进度慢于电动飞机2024年数字科技前沿应用趋势来源:Lilium Battery Webinar,202
144、3年11月其他要求:快速充电减少碳足迹原材料可得性电池可回收德国H2FLY今年发布了一款双体式、四座位、单发的液态氢飞机HY4,并完成了有人驾驶的飞行演示。美国Universal Hydrogen今年试飞氢能源飞机,获得FAA颁发的特殊适航证。空中客车公司计划在2035年之前推出氢能飞机。Universal Hydrogen氢能飞机超高能量密度电池技术的研发厂商举例eVTOL电池研发的各项要求包括但不限于:得益于智能驾驶技术发展与政策支持等有利因素,eVTOL飞行器正逐步从传统的有人驾驶模式过渡到更高效的无人驾驶模式,呈现出“软件定义飞行器”的趋势。数字技术逐步在低空空域管理中应用和推广,从支
145、持空域数字化到助力监管部门在复杂和密集的低空空域中实现有效监管,有力促进和保障低空经济发展。通导监设施数据空域信息数据机实时数据城市空间数据数字孪孪低空空域真实低空空域空域建模 基于地理信息数据和BIM空间数据融合,及场景自定义编辑,实现大规模、高精度三维建模数据融合 无人机,空域、CNS 设施实时数据融合,低空空域运行态势实时感知时空计算 基于实时四维时空计算,实现无人机飞行计划和飞行航迹的时空冲突校验,保障飞行活动安全有序仿真模拟 依托低空空域数字孪生体,构建面向行业的算法仿真/训练能力,加速产业协同发展数字化平台应用加速低空空域开放和利用的进程全自动无人驾驶eVTOL是未来低空出行的演进
146、方向2024年数字科技前沿应用趋势数字技术进步前提下,“软件定义飞行器”成为可能未来eVTOL的竞争力关键既包括飞行器的设计和性能,也包括决策AI为核心的智能驾驶软件技,同时还需要配备高效的数字化空中交通管理系统。无人驾驶的核心是满足民航管理部门对安全性的要求无人驾驶不仅是技术实现的问题,还需要满足民航管理部门对航空安全性的要求。为了使eVTOL符合适航认证对于安全性的要求以及更容易被乘客接受,主机厂会对早期机型配备飞行员或无人驾驶安全员,但长期看实现自主飞行是大幅度降低运行成本的方向之一。亿航EH216-S是无人驾驶eVTOL低空基础设施建设助力高效安全空中交通管理低成本、高精度、高可靠性的
147、通讯、导航、监视系统,可以实时获取航空器的信息,降低航空器间隔,提高空域流量和安全性。基于传统气象雷达以及激光雷达等新一代传感器收集的气象数据,结合AI大模型等技术,为低空飞行带来更精准、网格化的气象服务。基于云计算、边缘计算、深度学习和人工智能的管控和调度系统,为eVTOL飞行提供决策支持,比如实时航路规划、起降场选择。腾讯数字孪生技术在低空空域的应用低空空中交通管理面临高度复杂性和不确定性eVTOL未来在低空运行的流量大于现有通航直升机,但数量级会少于城市内的网约车。eVTOL运行调度的环境是三维,还要考虑到天气等因素对低空空域的影响,环境的复杂性、不确定性较高。我国正在加强和规范空域资源
148、管理、促进空域有效利用空域是国家重要战略资源。2023年11月,国家空管委发布中华人民共和国空域管理条例(征求意见稿),提出实现空域资源科学精细配置、分级分类管理、动态灵活使用。低空基础设施可支撑高效安全的空中交通管理数字化平台应用加速空域数字化集成物联感知、空间构建、时空计算、逼真渲染、仿真推演、数字孪生等技术的数字化平台,为空域管理部门进行民用场景的空域设计、航道规划、模拟测试提供数字化工具。Lilium Jet 是配备飞行员的eVTOL工业-电力互联网协同炼钢厂,以钢铁工艺流程中可调节负荷为初步虚拟电厂试点,并逐步囊括多种可调节资源01算力-电力多个IDCs通过光纤可以进行数据负荷传输,
149、并与其之间传输数据的光纤网共同构成算力网络实现协同02电动汽车(EV)将电力网络与交通网络这两个复杂的人造系统紧密耦合,交通网将成为强大的调控资源03交通-电力随着新能源技术与信息技术的发展与成熟,虚拟电厂将成为双碳背景下关键环节能源结构转型的重要解决方案。当前,未来电网的源、荷、储三端正在发生重大变化;源端:波动的清洁能源将大规模、高比例地接入电网;负荷端,大量用户或将迎来参与发电、储能与电网响应的“新身份”;储能端,大量电化学储能技术的发展,以及氢储能技术的研发,正在大幅减少能量的存储与运输成本。以往虚拟电厂更多应用在较为狭窄的应用场景,接下来,我们应该将其上升到城市甚至是城市间的尺度。城
150、市运行中有三类调节性负荷,分别是工业、算力和交通。随着工业革新、大模型算力、新能源汽车等领域的发展,其电力需求仍在不断攀升,是危也是机,让数字化聚合起来的“电厂,可以通过承担多网耦合、协同的工作,将上述几类用电大户,转变为可调节的资源,从而有效应对由于能源结构转型所带来的电网压力,保障新能源下新型电力系统的顺利转型。2024年数字科技前沿应用趋势整个南方电网的响应时间只有几秒电力的供需平衡在总量和时间两个维度上都有挑战每一次平衡delta的过程挑战机遇本地控制云平台储能可调负荷电力交易/辅助服务交易市场虚拟电厂:以数字化聚合起来的“电厂”分布式能源灵活性平稳出力引导自备电厂、传统高载能工业负荷
151、、工商业可中断 负荷、电动汽车充电网络、虚拟电厂等参与系统调节,省级电网基本具备5%以上的尖峰负荷响应能力2021/10 国务院2030年前碳达峰行动方案收益:浙江2021 小时、分钟、秒级响应,支付4元/KWh收益社会价值:10MW灵活性可等效每年减排9000吨,节省燃气电厂备用费 8000万元虚拟电厂虚拟电厂:以数字化聚合起来的“电厂,由于大电网新能源占比不断提升,虚拟电厂需要承担多网耦合、协同的工作2024年数字科技前沿应用趋势新型电力系统的储能需求与C端互动,平移伸缩电动车充电速度,聚合为“大电池”-工业V2G数据中心虚拟电厂管理平台响应调度算力-电力协同腾讯IDC离线业务/断点续算/
152、可续渲染工业-电力协同生产节奏调整,短流程钢铁“华容道”时间时间连铸LF AOD2 AOD1电炉6电炉5电炉4电炉3电炉2电炉1时间时间负荷负荷5001511 Wh4535661 Wh3707623Wh2节点节点4142753Wh4节点节点功率功率(W W)交通-电力协同智能充电、V2G等新型虚拟电厂须从系统工程的角度,寻找城市运行当中核心三类调节性负荷并进行整合,建立长期虚拟电厂管理机制2024年数字科技前沿应用趋势可再生能源消纳以及电力电子化是实现碳中和的关键,稳定电力供应是实打实的刚性需求。随着近年来新能源行业发展,电力电子资源的不断增加,国家需要有更高效的数字化控
153、制手段蔚来参与全国最大规模V2G需求响应山东电力交易现“负电价”运营中广核新能源虚拟电厂参与响应8月23日,车网互动验证中心(简称e-Park)的V2G充放电系统需求响应试验在无锡正式启动。该系统是目前国内规模最大的V2G充放电系统,为新型电力系统建设提供了有力支撑。“五一”期间,山东电力现货市场实时交易电价波动剧烈,区间为1047.51元/兆瓦时至-80元/兆瓦时(约为1.05元/度至-0.085元/度),多次出现负电价。2023年中,中广核新能源深圳虚拟电厂成为首批满足并网接入要求的标准化虚拟电厂,并成功参与首轮精准响应,响应容量和响应精度位于虚拟电厂运营商前列。智能、有序、高效的数字化控
154、制手段成为当下能源变革的先决条件2024年数字科技前沿应用趋势腾讯以钢铁工艺流程中可调节负荷为初步虚拟电厂试点,并逐步囊括多种可调节资源;初步盘查,可通过调整电炉的生产节奏和功率以获得负荷灵活性;可根据不同优化目标对当日生产计划进行调整-容量:典型短流程电炉炼钢生产线可提供5-20MW灵活性:-方法:调整电炉的生产节奏和功率以获得负荷灵活性:-策略:可根据不同优化目标对当日生产计划进行调整模型与目标策略:可以设定不同的生产目标,如:最快生产时间、最快生产时间+模铸、最低电价、最大化峰谷错开、最低电价下的需求侧响应(未来引导的响应方式)。电弧炉(20MW)典型短流程电炉炼钢生产线可提供5-20M
155、W灵活性产品轧钢机(10MW)废钢电弧炉(20MW)炼钢部分轧钢机(10MW)轧钢部分设备:在保证生产情况下调节产出;组织:需要平衡设备运行和人力排产;电网交互控制:电网需要按不同时间尺度通知、控制负荷方在响应时段降低电炉功率,延长电炉时间,或设备错峰,获得灵活性,目标在不损失总产量的要求下:1、降低整体用电费用;2、降低负荷、获得补助2024年数字科技前沿应用趋势根据与其他数据中心是否互联,数据中心有两类:独立的数据中心(如传统的机房);互联网数据中心(IDC):多个IDCs通过光纤可以进行数据负荷传输,并与其之间传输数据的光纤网共同构成数据网络(i.e.,算力网络)东西电力资源差异大,云计
156、算场景下IDC负荷通过算力网络转移数据负荷,AI海量计算时代尤其重要。在不影响任务表现的情况下,调节服务器功率,关注响应速度、响应深度、响应时长、响应精度对实时性不敏感的计算任务进行扩缩容和“断点续算”,快速改变负荷分布包括科学计算、视频渲染等独立/耦合并行任务算力/负荷平移压扁伸缩时间原始可秒级灵活调节负荷分布2024年数字科技前沿应用趋势电动汽车(EV)将电力网络与交通网络这两个复杂的人造系统紧密耦合;EV 的充放电与出行由驾乘用户决定,形成以EV 为核心的信息-物理-社群系统(Cyber-Physical-Social System,CPSS),带来新的问题与调控潜力电力-交通网络耦合的
157、定义:充电负荷通过交通网络转移,改变电网潮流分布,新能源车时代尤其重要。充电负荷时空分布(上海)出行服务供需不平衡充电供需不平衡目标:出行需求/充电负荷的供需不平衡?可通过各类价格对营运车辆进行适当引导出行价格可用于对车流密度与供需关系调控充电价格可用于对充电需求时空分布的调控最大化系统可容纳的EV充电服务数量确保公平和可靠可以最大化EV充电服务数量把可节省时间作为激励信息,用户个人数据上传交通拥堵信息发布2024年数字科技前沿应用趋势顾问指导专家李学朝腾讯智慧交通副总裁张胜誉腾讯量子实验室负责人腾讯杰出科学家张正友腾讯首席科学家、腾讯AI Lab及腾讯Robotics X 实验室主任李 航腾
158、讯集团市场与公关部总经理(名单按姓氏的首字母顺序排列)郭凯天腾讯集团高级副总裁策划司晓腾讯研究院院长2024年数字科技前沿应用趋势王 迪腾讯机器学习平台部副总经理商世东腾讯云副总裁腾讯天籁实验室负责人岳 淼腾讯集团市场与公关部副总经理李 强腾讯集团副总裁政企业务总裁刘 颖腾讯云副总裁刘 杉腾讯云副总裁腾讯多媒体实验室负责人腾讯杰出科学家刘 威腾讯杰出科学家刘煜宏腾讯数据平台部副总经理张 军腾讯集团市场与公关部总经理赵 岩腾讯星星海实验室负责人腾讯杰出科学家特别鸣谢(名单按姓氏的首字母顺序排列)2024年数字科技前沿应用趋势安柏霖付涛井天增刘超茹炳晟杨卿张露文陈创前高峰孔倩刘金松宋丹丹杨雪张强陈
159、俊文谷晓峰李力刘晶唐敏豪杨子翊张陶陈磊郭庆来李芮刘兆瑞滕超杨钟灵张翔陈立翰韩磊李伟罗璇王焕超姚建华张意晗陈梦珂郝少刚李忻吕奇瑞王军姚麟张云飞陳銘良贺辉群李阳阳毛峻岭王宇凡叶佳宾赵军陈强侯文祯李源孟祥芝吴昊曾耿华郑兴源陈晓岸胡仁成李志成倪瑞捷吴羽曾钦杵郑一聪陈煜东胡轶强黎国龙聂再清肖玮邹弘宇郑宇代凌燕黄婷婷梁聪慧潘兴德谢良张策窦淼磊纪多斌廖芳莉庞宏启熊依雪张川川冯宇彦焦典林海川戚元觐徐佳康张建青执行编委王强刘莫闲陈守双周政华主笔高性能计算:刘莫闲多模态智能体:王强、曹建峰、徐思彦人形机器人:徐一平、王焕超AI+基因计算:袁媛数字交互引擎:陈孟、李南脑机接口:吴朋阳沉浸式媒体:宋扬、王强星地直连通信:王鹏eVTOL:陈楚仪、张雪琴虚拟电厂:李瑞龙联合出品腾讯星星海实验室、腾讯云异构计算产品中心、腾讯量子实验室、腾讯数据平台部、腾讯机器学习平台部、腾讯云智能数智人,腾讯Robotics X、腾讯AI Lab、腾讯北极光工作室、腾讯互娱研发效能部引擎技术中心、腾讯多媒体实验室、腾讯会议天籁实验室、腾讯 SSV 应急开放平台、腾讯安全天马实验室、腾讯智慧交通、腾讯SSV碳中和实验室、腾讯院士专家工作站、腾讯集团公共事务部、腾讯集团市场与公关部、腾讯新闻、腾讯研究院2024年数字科技前沿应用趋势主编刘琼