《通算一体网络十大基础问题白皮书(2022)(22页).pdf》由会员分享,可在线阅读,更多相关《通算一体网络十大基础问题白皮书(2022)(22页).pdf(22页珍藏版)》请在三个皮匠报告上搜索。
1、 通算一体网络十大基础问题白皮书 2022/12/17 INCCOM (Integrated Computing and Communications)I 摘要 未来无线网络将迎来通信、计算、数据、AI 融合的全面智能化时代,通信产业呼唤基础数学、通信理论和计算科学的交叉碰撞,亟需围绕后香农信息论、现代编码技术、网络通信技术、分布式智能信息处理等方向展开创新性研究,探索通信计算一体化环境下新的理论范式。本白皮书首先阐述通算一体网络的内涵和三大典型应用场景,在此基础上提出通算一体网络的十大基础问题,包含:分布式信息处理的数学基础、通算一体环境下信息熵的重定义、融合计算的信源编码问题、通算一体场景
2、下的网络信息论、支持存算一体的计算架构与芯片、智能通信的物理架构与网元内生计算、通算一体网络架构和融合控制机理、多智能体的任务协同和性能优化理论、通信与计算的资源置换机理和联合编排方法、通算融合架构下的数据安全和隐私保护。上述十大问题涉及理论基础、协议架构、算法机制三个层面。对于每个问题,均详细阐述了其具体内涵,以及在研究中所面临的挑战。最后,白皮书对通算一体网络的发展前景与应用潜力做了总结和展望。II 目 录 摘要.I 1.背景.1 2.十大基础问题.2 2.1 问题一:分布式信息处理的数学基础.4 2.2 问题二:通算一体环境下信息熵的重定义.5 2.3 问题三:融合计算的信源编码问题.6
3、 2.4 问题四:通算一体场景下的网络信息论.7 2.5 问题五:支持存算一体的计算架构与芯片.8 2.6 问题六:智能通信的物理架构与网元内生计算.9 2.7 问题七:通算一体网络架构和融合控制机理.10 2.8 问题八:多智能体的任务协同和性能优化理论.11 2.9 问题九:通信与计算的资源置换机理和联合编排方法.12 2.10 问题十:通算融合架构下的数据安全和隐私保护.13 3.总结与展望.14 参考文献.14 缩略语列表.17 1 1.背景 随着泛在信息交换需求的持续激增,智能终端的日益普及,XR/自动驾驶/元宇宙等新业务的不断涌现,以及信息技术与垂直行业的深度融合,未来通信网络的作
4、用将发生根本性变革,由单纯提供连接服务的信息传输基础设施转变为同时提供连接和计算服务的智能系统。通信和计算将融为一体,以满足未来全面智能化时代所需的极致连接、分布式感知和计算、智能信息处理等多方面的综合需求(如图 1 所示,在现有网络中,通信和计算是分离的,通信网络主要提供连接能力,而计算则通过云或MEC实现;在未来通算一体网络中,终端侧和基站侧也将成为算力的提供方,计算将成为网络内生的一种能力)。图 1 由通算分离走向通算一体 本白皮书将基于通信的视角,探讨通算一体背后的基础理论问题,以及通信和计算的融合对通信网络带来的挑战。通算一体网络的显著特征是:网络内生支持各种类型算力和通信的相互感知
5、与深度融合(其中的算力来源可能是终端算力、网元内生算力、移动边缘/云算力等),主要体现在控制机制上的一体化,支持实时准确的算力发现、灵活动态的算力调度、自主适配通信动态环境的算力调整等新能力,可以提供无处不在、满足差异化服务质量需求的计算服务,并支撑未来通信网络 AIaaS(AI as a Service,AI 即服务)的新服务能力。通算一体网络在实现相应功能时能综合考虑空口状态、网络状态、算力分布等信息,实现算力资源、连接资源的综合优化。通算一体网络将支持三种典型应用场景,如图 2 所示。2 图 2 通算一体网络的三种典型应用场景 场景一:重计算场景 对于“重计算”任务(如大规模矩阵运算、无
6、线联邦学习),将其分解至网络中的各个节点,通过分布式计算的方式对复杂任务“分而治之”,并进行结果的拼装和汇聚。场景二:轻计算场景 对于“轻计算”任务(如传感器网络、工业互联网),网络中的各个节点兼具数据采集、计算和通信能力,通过“边传输边加工”的方式完成最终计算任务。场景三:多智能体协同场景 多个具有计算能力的智能体,通过彼此通信和协同来提升单体性能,实现信息融合和智能决策。在上述三类场景中,场景一和场景二都对应于“将计算融入通信”的情况,即:通过在现有通信网络中引入计算能力,实现通信网络的增值,使智能计算成为网络对外提供的一种基本服务;场景三对应于“将通信融入计算”的情况,即:利用通信网络技
7、术赋能智能计算,通过在多个具有计算功能的智能体之间引入交互和协同,实现由单体智能向群体智能的跨越。2.十大基础问题 本白皮书将提出并初步探讨通算一体网络的十个基础问题,包括:分布式信息处理的数学基础、通算一体环境下信息熵的重定义、融合计算的信源编码问题、通算一体场景下的网络信息论、3 支持存算一体的计算架构与芯片、智能通信的物理架构与网元内生计算、通算一体网络架构和融合控制机理、多智能体的任务协同和性能优化理论、通信与计算的资源置换机理和联合编排方法、通算融合架构下的数据安全和隐私保护。上述问题涉及理论基础、协议架构、算法机制三个层面,如图 3 所示,各问题的具体内涵将在后续各小节详述。图 3
8、 通算一体十大基础问题 上述基础问题与通算一体网络三类典型场景的对应关系如表 1 所示。表 1 十大基础问题与三类场景的对应关系 4 2.1 问题一:分布式信息处理的数学基础 通算一体的典型应用场景为:将一个高度复杂的信息处理任务通过分解加以完成。这涉及到诸多基础的数学问题1。第一,多模态数据和复杂任务的形式化描述问题。在通算一体网络中,计算的对象是数据,计算作用于数据空间。对于文本、图像、视频、网页等多模态数据,其表述与存储方式各异,需要建立更加统一、更加抽象的数据空间表述方法,使不同类型的数据在该空间中的表述形式达成一致。此外,数据空间中的最小数据单元应如何表述?最小数据单元与任一数据之间
9、是何种关系?以上问题的解决是定义数据空间的关键。当数据空间拥有高度抽象的表述方式(记为:)之后,复杂任务即可表述为作用于数据空间的函数()。然而,对于复杂任务而言,()的数学表征是极其困难的。以深度学习为例,单次学习可由?(+)来表述,其中?为非线性函数。深度为的学习可以表征为?(?(?(+),但该迭代模型如何转换为作用于数据空间的函数()?该深度学习的数据空间与是否等价?任务是否等价于各层单次学习任务?的复合?如果该数据空间中的最小数据单元用?表示,作用于?的标准任务单元用g(?)表示,那么g(?)与()之间是何种关系?是累加、累乘、还是复合?标准任务单元g(?)的资源代价如何描述?g(?)
10、的资源代价与()资源代价之间是何种关系?这些是实现复杂任务形式化描述的关键。第二,任务的可分解性理论。复杂任务需经过合理分解,由网络中各智能节点通过分布式运算完成。任务的可分解性基于对数据、任务两个层面的分析。在数据层面,需确定任务的数据空间与最小数据单元?之间的关系如何被表征;在任务层面,需确定原始任务()与标准任务单元g(?)之间关系的数学描述。以深度学习为例,假设其最小数据单元定义为向量?、任务的数据空间为个最小数据单元构成的集合,记为=?,?,?,?,这意味着在该深度学习任务中,数据空间与最小数据单元之间的关系可用集合来刻画。若以最小化均方误差为任务目标,由于该目标在数学上由求和形式表
11、述,因此任务()与标准任务单元g(?)之间的关系为:()=(?,?,?,?)=g?。这意味着()可被分解为个子任务之和,各子任务g?可被分配给不同节点进行分布式处理。然而,实际的大型计算任务远比该场景复杂。在包含多种数据类型的计算场景里,数据空间与最小数据单元?之间的关系是否依然可以用集合表征?或者说,该如何定义数据空间与最小数据单元,使二者间的关系可以用集合来表征?另外,虽然不同任务的具体目标不同,但各种类型的任务()与标准任务单元g(?)之间的关系是否存在某种高度统一的、抽象的函数表述形式?由于加法满足交换律,对应于拆解与拼装过程的简单化,故该函数能否以某种求和形式存在?这引申出另一问题:
12、在抽象的数据空间中,求和运算该如何定义,使原始任务等价于对若干标准任务单元的求和?5 最后,通算资源受限条件下任务的分解与拼装方法。即:如何在给定的通算资源约束下将一个信息处理任务分解为“时间上有序,空间上分布”的系列子任务,且保证子任务解的拼装能够等价于原任务的解,或者误差控制在允许范围内。值得注意的是,如上述关于任务可分解性的讨论,如果可以定义数据空间中的加法来表征复杂任务与标准任务单元之间的关系,则在拼装时对“时间有序”的要求可以弱化,只需对每个标准任务单元添加对应于原任务的标记,据此实现拼装即可。如果复杂任务与标准任务单元之间的关系用其他新型运算表征,则该新型运算需满足交换律,才可实现
13、类似于加法运算的拼装复杂度。如果交换律不能满足,会带来拼装复杂度的大幅增加;它意味着标准任务单元的拼装需严格按照唯一的顺序执行,任一标准任务单元的拼装顺序出错都可能会带来拼装结果与原任务结果之间的巨大误差。上述数学问题的解决是实现分布式优化、分布式学习的基础。2.2 问题二:通算一体环境下信息熵的重定义 在经典的信息论中,信息量的大小使用香农熵度量。根据香农的定义,一个事件(或一条消息)所包含的信息量与该事件(或该消息)发生的不确定程度相关。这一定义不反映信息的语义和语用特征,将信息的刻画纳入科学的范畴。在过去的几十年里,信息论和通信理论的发展都基于这一经典定义。然而,面向通算一体的网络环境,
14、有必要重新审视信息熵如何定义这一基本问题。首先,在经典的香农熵中,信息量的大小仅与概率分布相关。但在通算一体环境下,网络通信的目标可能并不是实现比特流的无误传递,而是为了计算出某个特定的函数值,或者做出某种决策。对于特定的目标而言,不同的信源输出的重要性也不尽相同,概率的大小并不简单对应于重要性的高低。因此,需要将信息重要性引入信息的测度之中。Rnyi 熵作为香农熵的推广形式,是体现信息重要性的度量雏形,但如何将其拓展以充分体现不同的信源输出对特定通算目标的贡献度,仍有待深入研究。第二,由于通算一体网络中任一网元均具有计算、学习、推理等“语义”层面的信息加工和处理能力,而不再是简单地进行信号的
15、转发和“语法”层面的信息处理,因此,通算一体网络中信源本身也将发生根本性的变化,信源将是有结构的、有记忆的、可学习的,其特性不能够通过概率分布函数来简单地加以刻画,这就意味着,基于统计分布特性所得到的信源熵可能不足以用来度量信源所包含的信息。如何建立与通算环境下信源新特性相匹配的信息描述形式和度量方法,是一个亟需回答的基础问题。6 第三,香农熵是面向压缩和传输的信息论测度,而通算一体网络的基本单元是具有计算能力的智能体,香农熵不足以从计算的角度刻画智能体产生的信息。香农熵相同的两条信息,其计算意义下的表征可能完全不同。在算法信息论中,柯氏复杂度(Kolmogorov 复杂度)用来衡量描述一个对
16、象所需要的信息量,这一概念由安德雷柯尔莫哥洛夫在 1963 年提出。以描述对象为字符串为例,直观来讲,一个字符串的柯氏复杂度可以理解为能生成该字符串的最短程序的长度。柯氏复杂度是计算表达的度量,将该测度与经典的熵测度融合,得出更广义更全面的信息度量,将有助于定义通算系统的基本单元,催生出通算一体的网络的性能评估指标。2.3 问题三:融合计算的信源编码问题 通信过程的计算本质是对信源消息的“边传输边计算加工”。如何从计算的角度出发描述信源并建立信源编码理论,是实现通算一体的基础与前提。传统的信源编码基于香农信息论,其目的在于尽可能地压缩表示信源所须的比特数,其理论极限是信源的信息熵,如图 4(a
17、)所示。由于传统的通信系统关注的是比特流的传输,因此基于香农信息论的信源编码能够最大限度地去除信源的冗余,提升信息传输的效率。在通算一体网络中,通信的目的可能会发生根本性地转变,在很多场景下,通信系统并不简单关注如何无失真地传输信源比特,而是关注如何根据接收到的信号尽可能准确地做出决策(例如,在基于传感器网络的森林火情监测这一应用中,多个传感器用于测量环境中的温度,并且将测量结果上报给远程的数据融合中心,数据融合中心根据接收到的信号判断是否有火情存在。在这一实例中,数据融合中心并不关心各传感器上报的温度数据的具体数值,而只需对着火与否做出二元判决)。因此,编码压缩的理论极限未必由信源熵限定,而
18、是取决于对所要达成的特定目标而言(例如:不影响决策的准确度,或者决策误差控制在某一容许范围之内),最少可以用多少比特来表示信源的输出。换句话讲,融合计算的信源编码要回答的问题就是:为了从信源中提取出目标任务所关心的有效信息,最少可以用多少比特表示信源?而对于是否能够“提取出目标任务所关心的有效信息”,可以用信源数据的函数计算结果来刻画2-3。这一概念可由图 4(b)直观展示。图 4 经典信源编码和融合计算的信源编码 7 在上面的讨论中,我们仅考虑了单一信源的情况,而通算一体网络是一个分布式、多用户系统。对于分布式信源,其编码的问题更加复杂。需要解决的核心问题是:各个分布式节点如何从计算的角度对
19、各自的相关观测进行描述,以及如何将这些描述高效可靠地汇集成目标函数的计算结果?这里,分布式信源相关性的建模是一个难点。由于通算一体网络中通信的目标由无失真地传递比特流转变为高效地做出决策(即:计算出某个目标函数的值),因此,分布式的多个信源间的相关性也不应当简单地通过统计相关性加以描述,而是应当从对达成特定目标任务的关联性的角度加以刻画。此外,在实际当中,各节点观测之间的相关特性往往难以获得,且随着通算过程的进行可能会发生动态变化,在这一情况下,最优的分布式编码模式是什么?是否可以通过在多节点之间引入微量的信息交互来更好地捕获和更新分布式信源间的相关性?是否能够利用信宿的反馈来实现增量的信源编
20、码?这些也都是需要探讨的问题。2.4 问题四:通算一体场景下的网络信息论 以香农发表通信的数学理论为创立标志的香农信息论指引着过去几十年通信学科的发展。随着通信系统由点对点通信逐步发展成网络通信,信息论也由经典的单用户信息论拓展为网络信息论。在网络化通信环境中,多用户的信息传输会带来许多点对点通信中所不存在的新问题,多用户信号的叠加、干扰,以及多个用户间的竞争、合作、反馈等机制深刻影响了多用户系统信息传输的理论极限和本质规律。尽管网络通信是对点对点通信的极大发展,但从本质上讲,传统通信网络中的中间节点所起的作用基本上都相当于转发器,因为它只对接收到的信号做某种处理(可能是简单的放大转发或译码转
21、发;也可能是对来源于多个节点的信号做线性处理后转发,例如网络编码;或者是对接收信号做非线性处理后转发,例如基于 AI 的信号处理)。在通算一体网络中,由于计算能力被引入网络节点,因此,任意节点将具有感知、学习、推理能力,这意味着两个方面的重要转变,一是网络中的任何节点都可能产生信息(例如:基于自身对环境的感知),因此,在进行转发时,它需要考虑如何将自身原生的信息与接收到的信息进行联合压缩和传输,而在压缩和传输策略的设计上,不仅需要考虑各信号之间的统计相关性,还要考虑各信号所对应的信息语义之间的因果关联,从而最高效地实现压缩并节省传输资源。另一点转变更为重要,即:网络中的中间节点在接收到其他节点
22、发送来的信号之后,可能会触发自身产生新的信息(如图 5 所示,Node 4 基于接收到的来自于 Node1Node3 的信息和本地观测获得的 X4,local,通过某种推理或运算产生出新的信息 Xnew)。例如:在工业控制应用中,机器人在接收到其他机器人或传感器节点发送的信号后,触发本地做出某种决策,这一决策结果需要通过网络广播或传递给下一跳。在新的信息产生后,已经接收到的信息是否仍然有必要传输?以何种方式对新信息和接收到的信息进行联合处理和传8 输?这是传统的信息论没有深入考虑的问题。此外,考虑到信息的产生存在时序关系,不同节点产生的信息之间将存在新鲜度的差异,如何将信息新鲜度融入联合处理和
23、传输方案的设计之中,也是值得探讨的课题。另一方面,在传统的通信网络中,信宿的目的较为单纯,大多数情况下就是逐个恢复各个独立的信源信息。与之相对,在通算一体网络中,信宿可能并不对每个节点发来的原始数据感兴趣,而只是希望计算出与这些原始数据相关的某一个函数值。上述变化也要求我们拓展经典的网络信息论。图 5 计算能力引入后,网络节点功能变化示意图 为了建立通算一体场景下的网络信息论,需要解决诸多理论问题。首先,对于通算一体网络而言,其端到端信道难以简单地使用转移概率或某种随机过程来建模,因为传输链路中节点所执行的具体计算将影响信道的模型。因此,一个自然的问题就是:对于通算一体网络,应当如何进行数学描
24、述?第二,应当采用何种指标测度来评估通算一体网络的性能?香农信息论采用信道容量作为指标测度,用于衡量信道所能传输的最大信息量(网络信息论的指标测度与此有所不同,但本质上仍然是信道容量的推广),但当计算融入通信网络后,信息的产生和消失有可能伴随着信息的传输而发生,经典的信道容量不适于度量信道的极限性能。此外,需要探讨和解决的问题还包括:网络的中间节点在对信息进行加工处理时,处理函数应当如何设计;新信息的产生模型如何刻画;通信速率、计算性能、容错能力、网络时延之间的折中关系如何描述。2.5 问题五:支持存算一体的计算架构与芯片 要支持通信链路上的“边传输边加工”,在计算架构和芯片方面需要专门的设计
25、。目前主流的计算机是基于冯诺依曼架构设计而成的,即存储与计算相分离。这意味着数据需要不断地在存储单元和计算单元之间进行搬移,由此会带来严重的时延和能耗开销,造成所谓的“冯诺依曼瓶颈”。对于传统的通信系统而言,需要处理的数据量相对较少,即:通信系统本身主要完成“轻9 计算”任务,而复杂的计算任务,如 3D 环境重构、AI 模型的训练和推理等,主要是在云端进行的,因此,“冯诺依曼瓶颈”效应并不明显。然而,在通算一体网络中,随着计算能力下沉到网络边缘,通信系统中的大量节点将同时承担通信、计算、推理等功能,本地的数据管理和数据计算任务激增,且需要处理非结构化、时空关联信息的感知、学习以及决策等相关问题
26、,这对信息基础设施底座提出了强算力、低时延的要求,冯诺依曼架构存算分离的局限性日益凸显。为此,需要探索突破冯诺依曼架构的存算一体新范式。例如,可以考虑引入神经形态计算。神经形态计算(Neuromorphic Computing,又名类脑计算)借鉴人脑的信息处理模式,信息的处理与存储依靠神经元与突触,在神经网络中完成,这就实现了存储和计算的融合4。并且,神经形态计算能够模拟人脑复杂的神经元连接结构和突触的可塑性,从而具有自主学习的能力。另一方面,摩尔定律已经逼近极限,而模拟计算有望为解决解决算力难题提供另一条可能的途径。例如,可以采用忆阻器实现模拟计算。忆阻器是一种具有记忆功能的非线性电阻,其电
27、阻值会随着流经的电荷量的变化而变化。基于大量忆阻器构造的运算单元能够快速地实现矩阵与向量乘法、矩阵求逆等运算5。这些运算不仅是基带信号处理中的常用模块(如:信道估计、信号检测、OFDM 调制解调),而且也是众多 AI 运算的基本模块(如:神经网络)。在经典的计算架构下,由于存算分离,为了完成上述运算,需要频繁地进行内存的读写;与之相对,采用忆阻器等元件可以做到计算和存储一体,忆阻器阵列既能够存储运算所须的参数(如:DFT 矩阵),又能够同步地完成计算。2.6 问题六:智能通信的物理架构与网元内生计算 现有通信系统中,通信网元(如:基站)主要提供面向连接的信号处理和传输能力,而在未来通算一体架构
28、下,通信网元(如:基站)将自然作为计算节点/单元来使用,这种通算一体的基站是智能通信网络物理架构的重要节点,通过引入计算功能来支撑通信链路上行、下行的智慧连接。基站(或者更为一般地讲,通信网元)的通算一体化实质上是要求 AI 成为无线空口的原生能力。目前在这一方向,主流的研究有两种思路,一是仍然保留无线空口模块化的基本架构,但是使用 AI 算法改造或者替换通信系统的经典模块(例如:信道估计、CSI 压缩反馈、信号检测)6。二是打破通信系统已有的模块化架构,对发射机和接收机都使用 AI 进行构建,通过端到端联合优化提升系统性能7。已有的各类方法在某些简单场景下能够体现出一定的性能增益,但对更一般
29、的情况而言(特别是现网),基于 AI 重构无线空口仍充满挑战,其根本原因主要有两个方面,一是在算法设计上更多地依赖于经验化的试错,缺乏通信专属 AI 的设计方法学,从而无法从根本上10 避免迁移能力差、可解释性差、对大数据依赖性强等问题。二是目前面向连接的网络架构不支持在线的数据获取,以及在线的计算、学习和推理,因此 AI 模型难于泛化。所以,要实现智能通信,必须在通信专属 AI 的方法论和网络架构方面有所创新。另一方面,从计算的角度来看,目前通信信号处理和 AI 计算使用的是不同的处理芯片。伴随着 AI 对无线空口重构的不断深入,需要统一的 AI 处理芯片,同时满足智能通信和智能业务对 AI
30、计算的需求,实现网元的内生计算。当前,GPU 等通用计算处理器是 AI 计算的主流,然而由于功耗和高价等问题,基于 GPU 的 AI 计算难以满足智能通信系统对低功耗、平价计算的需求。并且由于通信 AI 算法与机器视觉、自然语言处理等场景下的 AI 算法在计算能力的需求上存在较大差异,因此,智能通信所需的计算与通用的 AI 计算并不相同。如何构建适配于智能通信系统的计算处理器和芯片,是目前尚不清楚的一个基础问题。2.7 问题七:通算一体网络架构和融合控制机理 如图 6 所示,在通算一体网络中,多智能体网元将同时具备通信和计算能力,网络可支持算力的众筹共享,以及通信、计算、存储资源的灵活分配。通
31、算一体网络架构设计的关键是建立统一的通信、计算、存储、数据等多种资源的融合控制机制,来满足未来新业务对网络功能、性能、安全、隐私等多方面的要求。为此,有必要探索其背后的融合控制机理,以明确融合控制的实时性能边界以及通算联合优化的增益。在此基础上,应当从架构和控制流程上提供对通算融合的支撑,具体包括8-10:1)在网络架构的控制层面支持各类分布式算力(如终端算力、基站算力、核心网算力、MEC 及 Edge Cloud 等)的发现、感知和控制,可以为网络本身以及第三方提供计算服务,使能未来网络成为通信+计算的双基础设施。2)支持通信与计算的实时协同,以实现实时准确适配无线动态环境的算力调度,并通过
32、网络连接分布式的异构计算资源,促进资源的按需“流动”,保障未来网络中 AI 等计算类服务的 QoS。例如,实时感知用户移动性、网络环境动态变化导致的连接所需计算资源的变化,从而实时调整计算资源;或者实时感知计算资源状态,动态调整用户的连接带宽,从而持续地保证计算服务的 QoS。3)提供端到端的计算会话控制。传统的数据会话是点到点传输,并不终结在网络内;而计算数据涉及在多终端与网络内的多计算节点之间多点到多点的传输,由此需要新的计算会话控制机制和计算数据高效传输协议,并需要同时考虑无线连接、算力分布、移动性和 AI 等计算服务的影响。11 图 6 通算一体网络架构 2.8 问题八:多智能体的任务
33、协同和性能优化理论 在未来通算一体网络中,网元(终端、基站、核心网等)将不断向智能化方向演进,成为智能网元,这些智能体通过网络内生的协同机制,实现网络的智能化自治运行和对外的智能服务供给。多智能体之间的协同既可针对单一任务进行,也可针对多任务进行,其内涵包括任务的分解与组合、目标的分析与建模、模型的训练与推理、参数的迭代与共享等;同时,面向物理世界特定的任务,进行通算融合的资源调度与性能优化,保证任务执行的可靠性。多智能体之间的任务协同和性能优化,主要存在如下两种形式:1)资源的共享:由于单智能体本身的资源(例如:带宽、算力、存储、功率)严格受限,当面对一些较复杂的计算任务时,就需要依赖于资源
34、共享机制,将计算任务分配给邻域网元节点进行资源众筹,实现通信、计算、存储资源的灵活调配,通过多维度资源的协同来执行复杂计算任务和满足 QoS 需求。2)智能的互通:单智能体受限于在网络中的角色、位置等,能够获得的数据量有限,数据多样性不足,并且其自身的模型算法也不够丰富,这会造成两个方面的问题,一是基于单智能体学习得到的 AI 模型性能有限,且泛化能力不强(例如:无线网络的性能高度依赖于部署场景、信道特征、地形地貌等因素,网元基于部分场景获取数据训练的 AI 模型在用于新场景时,时常表现不佳),二是每个智能体的学习和训练都需要“从零做起”,无法利用其他智能体的经验优化自身的模型性能,效率较为低
35、下。为了解决上述问题,12 需要建立多智能体的协同机制,通过协作交互 AI 相关的信息,实现智能在网络内的流动,提升各网元及网络平台的智能水平。图 7 从面向连接的协作到面向 AI 的协作 传统的移动通信网络中也存在协作机制(例如 CoMP),但均属于面向连接的协作,其显著特征是:协作范围小、交互数据量少、且协作仅局限于同层级网元之间(例如多个基站之间,如图 7 左侧所示)。而对于通算一体网络中面向 AI 的多智能体协同场景,存在协作规模大、交互数据量大、协作开销大等特点,且存在横纵向多级协作的可能性(如图 7 右侧所示),因此无法简单沿用现有的协作机制和技术,需要解决空间时间维度协作对象的选
36、择、协作信息的挖掘和提取、协作模式和机制(包括但不限于:集中式还是分布式、协作周期、同步机制的设计)等问题,并且有效地管控协作开销。2.9 问题九:通信与计算的资源置换机理和联合编排方法 未来通算一体网络的计算资源、通信资源以及所承载智能计算任务都是分布式、异构和动态的。由此带来如下几个方面的挑战11-12:1)在分布式场景中,由于单独个体的计算资源有限,而智能计算任务对计算资源又存在较大需求,因此智能计算需要并行化。在智能业务并行计算的过程中,当优化目标为最小化完成智能任务所须计算时长的时候,有可能会遇到计算能力合适的资源节点由于环境影响而导致传输资源受限的情况;类似的,当优化目标为最小化完
37、成智能任务所须计算能耗的时候,可能会遇到计算能效比高的资源节点传输能效比较低的情况。为了解决这些问题,需要研究通信与计算的资源置换机理,在任务分解、卸载、调度的过程中考虑通信和计算资源的联合优化。2)为应对计算资源、通信资源以及所承载的智能计算任务的异构性,应当探索任务和通算资源的匹配机理,设计与可用资源适配的任务分解卸载处理方法,如图 8 所示。具体地讲,需要13 考虑如下需求:通过抽象,把异构的信息相对统一到共同的框架内,例如:针对某个计算任务,需要建立 CPU 处理效率和 GPU 或者其他加速器处理效率之间大致的相对比率关系;预测某个计算任务在某个处理器上的处理时长范围,使得编排调度有足
38、够的信息来满足智能计算任务的性能要求。同时,编排调度的结果需要执行层面配合,即调度的计算任务总能够基于当地的异构计算传输资源得到高效处理。3)通算一体网络中充满着动态性,例如:计算资源的动态性(终端设备的自主性,设备的电量波动等)、通信资源的动态性(网络拥塞,时变信道引入的随机衰落,上下行带宽变化,移动终端切换接入站点等)、智能计算任务的动态性(智能计算任务到达的时间空间随机性,以及每个任务本身的复杂度等)。调度算法以及计算架构需要具有应对这些动态性的能力,比如多层次的状态感知和决策,对决策的及时调整,高维调度决策空间等。为此,需要提出基于多域特征动态感知的云管端多层次通算资源协同理论,建立兼
39、顾性能与开销的多目标实时联合优化机制。图 8 通算联合编排与调度 此外,网络的计算和通信资源还有大规模、广分布的特点,编排调度本身也有分布式的需求,各个分布式的编排调度实体间如何进行协同合作,也是本领域需要研究解决的问题。2.10 问题十:通算融合架构下的数据安全和隐私保护 通算一体化加速了数据的生成、处理与交换,同时也使数据的安全与隐私更易受到威胁。在通算融合的环境下,网络中的任何网元都有可能成为算力的提供方,从而能够访问用户数据,这将会带来数据安全和隐私泄露的问题。为了解决这一问题,需要研究隐私增强计算的理论14 与方法,借助多方安全计算、同态加密、差分隐私等技术,在不泄露敏感数据的前提下
40、,对数据进行分析计算,实现数据对算力提供方的“可用不可见”13。除了考虑算力开放所带来的隐私问题之外,还需要考虑空口开放所引入的安全问题。传统的计算是在封闭环境下进行的,也就是说,计算任务的执行发生在一个集中式的计算设备、计算集群,或者通过有线网络连接的分布式计算系统中。伴随着通信和计算的一体融合,计算将在一个开放的环境下完成,无线信道的广播特性会导致节点间交互的数据可能被窃听甚至恶意篡改,这不仅会导致用户隐私的暴露,还会造成计算结果的不可信。高层密码学技术虽然是实现传输安全的一种经典方案,但其并不完全适用于通算一体网络,核心原因有两个方面:第一,通算一体网络中,通信的目的可能并不是无误地恢复
41、原始比特流,而是使信宿高效且准确地计算出某个目标函数(该目标函数值可能代表某种决策),这意味着对每个信息比特进行加密的经典做法可能是不必要的。第二,通算一体网络中,智能体之间交互的可能是原始数据,也可能是模型参数或中间计算结果,不同类型的数据发生泄露或者被篡改所造成的后果可能差别迥异,因此,在设计安全增强方案时,不应当对所有待传输的信号“一视同仁”,而应当考虑数据属性的不同进行差异化的按需防护,建立针对数据资产的安全保障体系。3.总结与展望 1948 年,香农发表通信的数学理论,信息论由此创立。在香农信息论的指引下,通信技术蓬勃发展,无线系统快速演进,从仅能支持模拟话音通信的 1G 系统发展成
42、为可支持人机物共生互联的 5G 系统。但在无线通信的发展历程中,通信与计算始终相对独立和割裂。展望未来,通信与计算将深度融合并走向一体化,从而使通信网络演进为能够同时提供连接和计算的双服务基础设施。通算一体呼唤基础数学、信息论、编码理论、空口技术、网络架构、计算理论与技术、信息安全等多个领域的理论创新和交叉碰撞。本白皮书提出通算一体网络在理论基础、架构协议、算法机制等层面的十大基础问题,以期引发学术界和产业界的思考,推动通算一体理论和技术的创新,形成业界共识。参考文献 1 徐宗本,人工智能的 10 个重大数理基础问题,中国科学:信息科学,第 51 卷,第 12 期,1967-1978,2021
43、 年 12 月.15 2 R.Appuswamy,M.Franceschetti,N.Karamchandani,and K.Zeger,“Network coding for computing:Cut-set bounds,”IEEE Transactions on Information Theory,vol.57,no.2,pp.10151030,Feb.2011.3 X.Guang,R.W.Yeung,S.Yang,and C.Li,“Improved upper bound on the network function computing capacity,”IEEE Trans
44、actions on Information Theory,vol.65,no.6,pp.3790-3811,Jun.2019.4 C.D.Schuman,S.R.Kulkarni,M.Parsa,J.P.Mitchell,P.Date,and B.Kay,“Opportunities for neuromorphic computing algorithms and applications,”Nature Computational Science,vol.2,pp.10-19,Jan.2022.5 Q.Zeng,J.Liu,J.Lan,Y.Gong,Z.Wang,Y.Li,and K.H
45、uang,Realizing ultra-fast and energy-efficient baseband processing using analogue resistive switching memory,https:/arxiv.org/abs/2205.03561,May 2022.6 L.Sun,Y.Wang,A.Lee Swindlehurst,and X.Tang,“Generative-adversarial-network enabled signal detection for communication systems with unknown channel m
46、odels,”IEEE Journal on Selected Areas in Communications,vol.39,no.1,pp.47-60,Jan.2021.7 S.Dorner,S.Cammerer,J.Hoydis,and S.ten Brink,“Deep learning-based communication over the air,”IEEE Journal of Selected Topics in Signal Processing,vol.12,no.1,pp.132-143,Feb.2018.8 6GANA,6G 网络内生 AI 网络架构十问白皮书,2022
47、 年 6 月.9 吴建军,邓娟,彭程晖,等,任务为中心的 6G 网络 AI 架构,无线电通信技术,第 48 卷,第 4 期,599-613,2022 年 7 月.10 彭程晖,邓娟,吴建军,等,6G 通算融合网络架构,无线电通信技术,第 48 卷,第 4 期,583-591,2022 年 7 月.11 Y.Yang,M.Ma,H.Wu,Q.Yu,P.Zhang,X.You,et.al.,“6G network AI architecture for everyone-centric customized services,”IEEE Network,Early access,DOI:10.11
48、09/MNET.124.2200241,Jul.2022.16 12 Y.Yang,“Multi-tier computing networks for intelligent IoT,”Nature Electronics,vol.2,pp.4-5,Jan.2019.13 6GANA,6G 数据服务概念与需求白皮书,2022 年 6 月.17 缩略语列表 缩略语 英文全名 中文解释 AI Artificial Intelligence 人工智能 XR Extended Reality 扩展现实 AIaaS AI as a Service 人工智能即服务 3D Three-dimensiona
49、l 三维 OFDM Orthogonal Frequency Division Multiplexing 正交频分复用 DFT Discrete Fourier Transform 离散傅里叶变换 CSI Channel State Information 信道状态信息 GPU Graphics Processing Unit 图形处理器 MEC Mobile Edge Computing 移动边缘计算 QoS Quality of Service 服务质量 CoMP Coordinated Multi-Point 协作多点 CPU Central Processing Unit 中央处理器
50、1G First Generation Mobile Communications System 第一代移动通信系统 5G Fifth Generation Mobile Communications System 第五代移动通信系统 18 白皮书主要贡献者 本白皮书的内容部分源自 2021 年 11 月在中国深圳召开的第一届通算一体网络理论研讨会。会议由中国科学院院士徐宗本教授和中国工程院外籍院士沈学民教授联合召集,华为公司承办。会上,来自信息论、通信、网络、计算、数学等不同领域的近20位专家学者针对通算一体网络阐述了各自的观点,展开了开放、热烈的讨论,提出了 110 余条基础问题。在会议封
51、闭研讨环节,与会专家经过反复推敲,挑选提炼出了通算一体网络的十大基础问题,形成了本白皮书的基础。会后,部分与会专家和华为公司专家对会议研讨中提出的十大基础问题进行了详细的论述,对问题间的逻辑关系进行了梳理,并对通算一体网络的技术背景和应用场景做了分析,完成了白皮书的撰写。华为公司孙黎负责撰写问题二、三、四、五、六、十,彭程晖负责撰写问题七、八、九,杨璐负责撰写问题一。白皮书其余部分的撰写和全文的统稿由孙黎、彭程晖、吴建军、杨璐共同完成。在白皮书构思和撰写过程中,徐宗本院士、沈学民院士提出了大量宝贵意见,输出了具有极高价值的学术观点,对白皮书的形成做出了重要贡献。在此对两位院士的指导和帮助表示诚
52、挚的敬意和衷心的感谢!本白皮书中所阐述的观点更多是一种思想的碰撞,包含诸多全新的思考和探索,在科学性、严谨性、系统性等方面仍须持续打磨。期待广大同仁批评指正,共同修正、完善。白皮书贡献者列表如下(按姓氏首字母排序)。姓名 工作单位 陈斌 哈尔滨工业大学(深圳)陈立 中山大学 陈敏 华中科技大学 陈旭 中山大学 樊平毅 清华大学 葛根年 首都师范大学 光炫 南开大学 黄永明 东南大学 19 李聪端 中山大学 李彦淳 华为技术有限公司 刘光毅 中国移动 刘凌 深圳大学 刘荣科 北京航空航天大学 卢建民 华为技术有限公司 倪锐 华为技术有限公司 彭程晖 华为技术有限公司 沈学民 加拿大滑铁卢大学 孙黎 华为技术有限公司 唐小虎 西南交通大学 万凯 华中科技大学 王旭东 上海交通大学 吴建军 华为技术有限公司 吴启晖 南京航空航天大学 吴维刚 中山大学 邢朝平 上海交通大学 徐宗本 西安交通大学 许杰 香港中文大学(深圳)杨鲲 电子科技大学 杨璐 华为技术有限公司 杨婷婷 鹏城实验室 杨旸 特斯联科技集团 张胜利 深圳大学