1、联想供应链智能决策技术白皮书2022版主要观点01新时代下，供应链管理迎来诸多挑战，供应链决策难度指数级提升，如何决策成为供应链管理的主要难点。07联想以机器学习驱动的预测性分析技术能力包括因果推断与多特征、多层级下的概率性预测。04联想供应链智能决策的关键技术包括机器学习、机器学习驱动的运筹优化、机器学习驱动的预测性分析。10联想供应链智能决策技术方案用于物流规划与调度优化，通过对打包装箱、网络规划、运输配送环节的优化，推动物流环节走向绿色与智能。02数据挖掘分析、运筹优化等供应链决策技术一定程度上提高了供应链的决策水平与效率，但仍有待进一步发展。08联想供应链智能决策技术方案用于需求预测与

2、智能备货，可赋能企业的服务供应链与零售供应链，显著提升运营水平，降低成本。05联想面向智能决策的机器学习技术能力包括图神经网络、强化学习、多智能体学习。11未来，诸多的数字技术将与与机器学习、数据挖掘分析、运筹优化等决策技术进一步融合，持续提升供应链的智能决策水平。03智能化决策是供应链决策技术未来发展的重要方向，机器学习与传统决策技术的融合应用将推动供应链管理实现“智能决策”。09联想供应链智能决策技术方案用于物料管理与生产计划，可提升物料的分配与库存管理水平，并为制造业提供了更高效优质的生产计划决策。06联想以机器学习驱动的运筹优化技术能力包括在线优化与神经网络求解器。12未来，企业供应链

3、多个场景、多个环节的决策有望协同联动，智能决策将贯穿企业供应链管理全链条，实现一体化决策。13可靠性(Reliability)、可复用性(Reusability)、可调节性(Regulatability)、可信赖性(Responsibility)的“4R”能力是智能决策技术的未来发展方向。02主要观点供应链贯穿企业价值交付全过程，是企业实现业务愿景、促进价值增长一项关键职能，对企业的发展乃至生存至关重要。而随着业务场景的愈加复杂与商业环境的愈加多变，企业供应链管理正面临前所未有的挑战：需求多变难以预知、难以精细化管理、用户要求不断提升、市场环境不确定性加剧、网络结构愈加复杂、众多业务指标之间相

4、互制约、管理质量难以维持较高水平、供应链运营成本居高不下。供应链管理诸多挑战的背后，本质是复杂环境下供应链决策难度的指数级提升，传统的决策模式已难以应对日益复杂的供应链管理需求，如何决策成为供应链管理的主要难点。为了提高供应链决策的水平与质量，人们从统计学、运筹学、计算机科学等学科出发，对供应链决策问题展开了大量研究，以数据挖掘分析、运筹优化为代表的供应链决策技术的发展，也在一定程度上提高了供应链的决策水平与效率。但随着供应链管理问题的复杂度不断增加，以上技术也逐渐显露出局限与不足，供应链决策技术亟需进一步的发展。伴随着物联网、大数据、云计算、人工智能等信息技术的发展，以智能化为特征的第四次工

5、业革命正席卷全球，数字化、智能化技术正全面融入并改造着各个行业的管理运营模式。同样，供应链管理与决策的模式、方法决策的模式、方法也正迎来变革，智能化的决策正成为供应链决策技术未来发展的重要方向。智能化的决策，应当具备“数据驱动、科学精准、快速敏捷、自我演进”的特征，而以机器学习为代表的人工智能技术与数据挖掘分析、运筹优化技术的结合，正孕育出智能化的决策技术，为供应链决策提供了新的方法与工具。知名数据研究机构Gartner公布的2021年全球供应链25强排名中，联想集团第7次入选，位居第16名，是中国唯一上榜的高科技制造企业。联想通过创新的技术与解决方案，在复杂大环境影响下保持供应链韧性与高效，

6、在供应链的数字化、智能化发展方面具有深厚积累，在供应链智能决策技术方面拥有丰富的研究成果与实践经验。在此背景下，联想集团撰写了联想供应链智能决策技术白皮书，剖析了现代供应链管理决策所面临的难点与挑战，总结了联想供应链智能决策技术的创新与应用经验，并对智能决策技术在供应链的未来发展进行展望。联想期望通过本白皮书向社会各界分享联想在供应链智能决策技术方面的实践与思考，从而为各行各业供应链管理与决策的数字化、智能化转型提供参考借鉴与助力。引言03引言供应链智能决策技术的发展背景第一章供应链是指围绕核心企业，将供应商、制造商、分销商直到最终用户连成一体的功能网链结构。供应链贯穿从原材料或配套零件开始，

7、到制成中间产品以及最终产品，最后由销售网络把产品送到用户手中的企业价值交付全过程，是企业实现业务愿景、促进价值增长一项关键职能，对企业的发展乃至生存至关重要 。伴随着物联网、大数据、云计算、人工智能等信息技术的发展，以智能化为特征的第四次工业革命正席卷全球，数字化、智能化技术正全面融入并改造着各个行业的管理运营模式。同时，制造业、零售业等各个行业也正经历着重大变革，供给侧与需求业等各个行业也正经历着重大变革，供给侧与需求侧的创新不断迸发，智能制造、柔性制造、新零售等新模式不断涌现，对企业经营提出了新的要求。此外，伴随着贸易摩擦与新冠疫情等黑天鹅事件的出现，商业环境的复杂度与不确定性也日益提升，

8、对多个行业的运营带来巨大冲击。新技术、新模式、新环境等多重因素的影响下，传统的企业运营模式亟需变革重塑，企业的转型升级迫在眉睫。其中，供应链的重要性日益突出，正逐渐成为新时代下企业竞争力的关键组成部分，供应链的管理也迎来前所未有的诸多挑战：供应链管理正面临诸多挑战如何决策成为难点贸易战、流行病、自然灾害等黑天鹅事件频繁发生且难以预测，影响难以评估，供应链中断的风险加剧商品SKU数量众多、产品更新换代加速、销售渠道更加多元，业务复杂度快速增加导致难以精细化管理用户对有货率及按期交付的要求越来越高，对时效高度敏感，对供应链的响应速度提出更高要求供应链管理质量难以维持较高水平、供应链运营成本居高不下

9、部分行业、部分产品的原材料供应短缺，需找到合理的物料分配方式，最大化资源的利用效率场景日益复杂，众多业务指标之间存在相互制约，针对不同业务场景、不同业务目标下的管理策略，难以全局统筹权衡并找到最优方案人工管理耗费时间精力，且高度依赖业务人员的能力与经验，难以稳定、规模化提升管理能力与效率全球制造业从大规模标准化迈向多品类小批次交付，模式的变革彻底颠覆了原料采购、生产、运转交付的传统逻辑，过去的经验不再能适应新的模式需求市场竞争日益激烈，市场环境复杂且快速变化，充满不确定性供应链参与主体众多、网络结构复杂、影响因素多样，加大供应链管理难度1.1第一章 供应链智能决策技术的发展背景 供应链管理正面

10、临诸多挑战 如何决策成为难点05新消费时代，市场需求多元化、波动性大、难以感知获取，人工难以准确把握规律，更难以对未来进行预测1第一章 供应链智能决策技术的发展背景 供应链管理正面临诸多挑战 如何决策成为难点06以上诸多挑战的出现和加剧，表面上是供应链管理模式不优、效率不高、效果不理想，而其背后的本质，则是复杂环境下供应链决策难度的指数级提升。供应链中需求计划、生产计划、库存策略、调拨管理、仓储选址、运输配送等各个环节都需要科学的决策支撑，可以说，决策问题贯穿供应链管理的整个链条，是供应链管理的核心难点。当今时代，业务场景日益复杂，供应链决策既要考虑大量影响因素，也要权衡多项业务指标，还要兼顾

11、多个特定场景下的特定需求，是一个高难度、高复杂度的问题，对决策者的能力要求极高。传统的人工决策模式人工决策模式不仅消耗大量人力、时间、精力，而且高度依赖人工经验，而受限于人脑对于海量数据信息的分析处理能力，人工决策的科学性、精准度、精细度、效率、稳定性都难以稳定提升。随着供应链重要性的日益突出与所面临挑战的日益加剧，传统的供应链决策模式已难以应对日益复杂的供应链管理需求，供应链决策问题已成为制约供应链健康、高效、可靠运转的关键瓶颈，进而制约了企业各环节的有效运行与业务的提升发展，如何决策成为供应链管理的主要难点。新的挑战要求供应链做出新的应对，供应链管理的工具、方法、模式也需创新，以人工智能、

12、物联网、数字孪生、知识图谱等为代表的数字技术正在供应链领域开展应用，加速供应链的数字化、智能化转型。而其中最为重要的，则是打造数据驱动的智能决策能力。如果将企业的供应链比喻成人的身体，那么供应链各个执行环节就好比人的四肢，传递信息流的数据通路就好比人的神经，而供应链的决策就好比是人的大脑。愚钝、迟缓的大脑不仅运转缓慢，而且极易做出错误的决定，直接导致供应链执行环节的“手忙脚乱”。而运用先进的决策技术，可以大幅提高供应链“大脑”的运转效率与智慧程度，快速给出正确的决策指令，从而指挥手脚正确、协调的运动工作。可以说，优秀的供应链决策能力是企业供应链健康运转的必要前提，而供应链决策技术的选择运用，则

13、对于供应链的健康管理至关重要。为了提高供应链决策的水平与质量，人们从统计学、运筹学、计算机科学等学科出发，对供应链决策问题展开了大量研究，大量决策技术也在该领域展开了应用实践，其中代表性的典型技术包括：数据挖掘与分析指在多来源、多模态数据的整合治理基础之上，运用统计分析方法进行数据分析，洞察数据内的模式与规律，从而提取出有用的信息并总结形成结论。根据分析的程度与目标不同，数据挖掘与分析可分为描述性分析、诊断性分析、预测性分析及规范性分析4类 。（1）描述性分析（Descriptive Analytics）包括数据的频数分析、集中趋势分析、离散程度分析等内容，旨在分析“发生了什么”，可用于分析供

14、应链的运行情况，监测供应链是否健康，及时发现异常。（2）诊断性分析（Diagnostic Analytics）通过数据下钻分析、相关性分析等方式，回答“为什么发生”的问题，可用于探究供应链异常背后的根本原因。（3）预测性分析（Predictive Analytics）更进一步，以历史数据为基础，计算未来事件发生的概率，旨在回答“将要发生什么”，是一种面向未来的数据分析技术，可用于预测商品未来的市场需求与销售趋势、预判预警供应链的未来风险，是供应链管理中广泛运用的重要技术。（4）规范性分析（Prescriptive Analytics）则面向一些预定目标，如销额最大、成本最小、路径最短，对未来多

15、种可能的行动方案进行量化评估，分析各个行动的效果与影响，提供行动建议，从而回答 “应该怎么做”的问题，典型的方法包括启发式算法、推荐引擎、图分析等。供应链决策至关重要多项决策类技术蓬勃发展1.2数据挖掘与分析第一章 供应链智能决策技术的发展背景 供应链决策至关重要 多项决策类技术蓬勃发展072作为一门现代科学，运筹优化被普遍认为起源于第二次世界大战的军事任务之中。经过数十年的发展，运筹优化已经发展成为一门研究如何运用数学方法，研究各种系统的优化途径及方案，提出组织和管理资源的有效建议，从而发挥和提高系统的效能及效益，最终达到系统最优目标的科学 。运筹优化可以看作规范性分析的一类方法。运筹优化包

16、含线性规划、非线性规划、随机规划、整数规划、目标规划、动态规划等多个子方向与分支类型，拥有背包问题、旅行商问题、车辆路径问题等诸多经典问题，每个问题又有多种求解算法。但无论问题如何复杂，运用怎样的算法求解，运筹优化的核心本质仍是两点：1. 如何将现实问题通过建模转化成为可求解的数学问题；2. 如何利用数学工具从所有可行解中寻找出最优良的解。运筹优化的典型算法包括启发式算法、元启的典型算法包括启发式算法、元启的解。运筹优化的典型算法包括启发式算法、元启发式算法、内点法、遗传算法、模拟退火算法等等。在供应链领域，运筹优化已在多个场景取得应用，如在生产制造环节，运筹优化可用于合理分配劳动力、产线、物

17、料，从而制定最优的生产计划，提高产量；在物流配送环节，运筹优化可用于对运输车辆的合理调度与路径规划，节约运输时间，节省运输成本。运筹优化已成为供应链领域制定决策的重要技术手段。以数据挖掘分析、运筹优化为代表的供应链决策技术的出现与发展，一定程度上提高了供应链的决策水平与效率，但随着供应链管理问题的复杂度不断增加，以上技术也逐渐显露出局限与不足，供应链决策技术亟需进一步的发展。运筹优化第一章 供应链智能决策技术的发展背景 供应链决策至关重要 多项决策类技术蓬勃发展083随着市场环境的不断复杂与大数据时代的到来，供应链管理的难度大幅增加。暗藏在海量多维数据中的规律与特征变得更加隐蔽，多项资源与目标

18、约束下的复杂问题优化求解变得更加困难，传统的数据分析与运筹优化技术不再能满足新时代供应链管理决策的需求，决策技术的演进也迫在眉睫，智能化的决策正成为供应链决策技术未来发展的重要方向。全球知名研究机构Gartner将决策智能（Decision Intelligence）列为2022年重要战略技术趋势之一 。Gartner预测，在未来两年，三分之一的大型企业机构将使用决策智能实现结构化决策，进而提高竞争优势。联想认为，相比传统的供应链决策方式，智能决策应具备以下特征：智能决策是未来方向机器学习推动决策智能化1.3以数据作为决策的出发点与依据。数据驱动决策应充分考虑广泛的影响因素与复杂的约束条件，并

19、能给出满足条件下的最优解，决策过程科学，决策结果精准。科学精准快速敏捷能够在最短的时间完成决策，并能敏捷的应对外部环境的变化，及时作出决策的调整。自我演进具备自我迭代演进的能力，可以随着训练与使用，持续学习，不断提升决策水平。如果说决策问题是供应链管理的核心难点，那么智能决策就是供应链管理提质增效的关键钥匙，是供应链数字化、智能化转型的重要抓手。近年来，供应链决策技术在发展的进程中，正呈现技术之间融合应用的发展趋势，特别是机器学习与数据挖掘分析、机器学习与运筹优化技术的结合，是智能决策技术的代表，正成为供应链决策技术智能化发展的重要方向。机器学习是一种研究计算机怎样模拟或实现人类的学习行为，以

20、获取新的知识或技能，重新组织已有的知识结构使之不断改善自身性能的方法，涉及概率。第一章 供应链智能决策技术的发展背景 智能决策是未来方向 机器学习推动决策智能化094使得机器的计算能力与学习演进能力和各类分析优化算法共同作用，可以持续、大幅提高决策效率与水平，非常适合解决复杂商业环境下供应链的决策难题，充分实现“数据驱动、科学精准、快速高效、自我演进”，推动供应链管理实现“智能决策”，从而有机会全面颠覆供应链决策的工作流程与模式，构建健壮智慧的供应链“大脑”。机器学习的工作原理图习。各类学习方式下有又大量的算法，如决策树、随机森林、支持向量机、人工神经网络、贝叶斯算法、回归算法等等。近年来，随

21、着大数据时代下海量数据的更加丰富以及计算能力的更加强大，机器学习技术在实践中应用的条件也更加成熟，各类理论和方法已被广泛应用于解决工程应用和科学领域的复杂问题。机器学习在供应链管理中的需求预测、库存管理、供应商管理、商品定价等诸多场景中都可以发挥巨大的应用价值，帮助供应链管理提高效率、降低成本。率论、统计学、逼近论、算法复杂度理论等多门学科。机器学习通过对历史数据的识别与处理，发现数据中隐藏的模式，并通过持续的训练，不断自我迭代进化，优化模型，提高学习和决策水平，是人工智能领域中最具智能特征，最前沿的研究领域之一，是人工智能的重点与热点技术。经过数十年的发展，机器学习已演化出多种学习方式与经典

22、算法。根据学习方式的不同，机器学习可分为监督学习、无监督学习、半监督学习、强化学习。各类学习方式下有又大量的算法，如决策树、随第一章 供应链智能决策技术的发展背景 智能决策是未来方向 机器学习推动决策智能化10中都可以发挥巨大的应用价值，帮助供应链管理提高效率、降低成本。机器学习的各类算法模型，非常擅于在大量、高维的数据集当中学习并发现隐藏的模式与规律，非常适用于在多项影响因素、多项约束条件下的数据分析与优化求解，即便在缺乏专家先验知识的情况下，也可通多持续训练而迭代进化，达到最佳效果。机器学习与数据挖掘分析、运筹优化技术相结合，使得机器的计算能力与学习演进能力和各类分析优化算法共同作用，可以

23、持续、大幅提高决策效率与联想供应链智能决策的关键技术第二章机器学习2.12.1.1 图神经网络第二章 联想供应链智能决策的关键技术 机器学习12基于图注意力网络机制（GAT）的复杂图结构表示学习图（Graph）是一种常见的关系型数据结构，也是一种典型的非欧几里得空间下的数据表征方式。图网 络 利 用 神 经 网 络 在 图 上 进 行 信 息 的 传 播（propagation），利用图结构中不同节点之间的相互作用与相关性，实现对节点、边乃至整个图结构的表示。Velickovic等人于2018年提出了图注意力网络（GAT） ，采用注意力机制，为不同节点分配不同权重，训练时依赖于成对的相邻节点，

24、而不依赖具体的图结构，具有更强的适应性与可扩展性。联想基于图注意力网络提出了Relational GAT（R-GAT）技术方案，设计出一套复杂图结构下的信息表示与传递方式。具体如下：如上图所示，R-GAT方案中，节点、边的表示通过多层R-GAT进行图上传播： 其中，vi为节点i的嵌入表示，ei j为连接节点i, j的边的嵌入表示。l代表GAT的层序号，Re表示边的属性集合，r代表某种特定的边属性，Nr(i)代表节点i由r属性边连接的邻居节点集合，ij代表边ij的注意力分数，代表激活函数。r, d, s代表三组独立可学习的权重矩阵，分别用于r属性的邻居节点，边上的汇节点（destination）

25、及边上的源节点（source）。R-GAT能够支持动态大小的图结构，表示不同属性的边以及不同属性的节点，同时对节点间连接的方向性予以了考虑，适用于更加复杂的实际问题。基于图神经网络的多层级供需匹配优化联想将R-GAT技术方案应用于供应链供需匹配问题的实践中。以离散制造过程中的供需匹配为例，工厂在制造成品时，需要按照物料清单（Bill of Material, BOM）捡取相应的物料组合。而BOM中的物料替代关系会使产品同时存在多种可能的组装方式。选择不同的组装方式会导致物料的消耗（种类与数量）存在差异，因此在物料供应数量有限的情况下，需要优选组装方式，可以更充分地利用物料库存，优化总体产量，提

26、升订单交期达成率。该问题实质上是一个NP-难（NP-hard）的组合优化问题，在实际的生产制造场景中，由于需求订单的实时更新，以及物料供应的频繁波动，需要在尽可能短的时间内完成实际问题的求解。联想利用图神经网络近似求解NP-难的优化问题，将供需匹配问题近似分解为排序-选择问题，能够显式地考虑匹配优先级；通过预测边的连接概率来辅助 选 择 ， 同 时 预 测 模 块 中 加 入 图 全 局 上 下 文（context）信息，增强预测能力，利用图深度学习技术挖掘高价值选择方案，具有较强的可拓展性，适用于多层级、多类型复杂图结构。其功能模块结构如图。 图4 复杂BOM结构中的关键信息提取与物料组合优

27、化数据预处理模块接收BOM结构数据以及与节点（物料）相关的特征属性作为输入，基于优化目标为每个节点构造特征组；图结构生成模块则将完整的BOM信息构造为复杂的BOM图结构，不仅可以提升处理效率，还可以保留不同节点间的关联关系与逻辑属性，支持后续的信息传递；信息传递模块利用每个节点的特征属性信息，并结合层级之间的组成与逻辑关系，将节点的特征属性进行自下而上的传递与更新，实现了对复杂图结构的建模；图结构剪枝模块则是在更新后的节点特征属性上，结合每个特征的权重参数，为每个节点进行关键程度的评分，并基于分值对不同替代节点进行剪枝，实现对复杂BOM结构的简化与关键信息的提取；关键信息输出模块则是将剪枝后的

28、BOM结构进行展开，输出满足当前生产环境与优化目标的关键组装方式集合。本技术方案综合考虑了与BOM中节点相关的特征属性，通过基于图神经网络的特征传递以及对节点的重要性程度打分，实现了对不同替代料之间的优先筛选，相比于预先定义的替代料优先级，得到的组装方式更符合真实的生产环境与优化目标，性能更优。2.1.2 强化学习 多目标强化学习框架联想在深刻认识和掌握机器学习和强化学习技术的条件下，寻找各种内部和外部的工业多目标优化场景的一般性规律，创造性的提出了一种基于强化学习方法的一般化多目标优化方法框架。 图5 联想多目标强化学习AC结构算法结构图上图是联想提出的基于执行-评价（Actor-Criti

29、c）结构的多目标强化学习框架图。与常规框架不同，该方法在交互时，将虚拟样本与多目标权重向量进行独立分布的双采样，在获得基于奖赏向量的多目标奖赏向量后，首先用独立采样生成的权重值向量将其进行组合（任意线性或非线性组合），在将权重作为状态向量的增广部分，一起反馈给评价网络和策略网络。在合理的样本与权重生成分布的设计下，两个网络就可以高效率、并行化的嵌套迭代出任意目标权重下的最优策略，并在策略空间逐渐逼近多目标问题真实Pareto前沿的包络线。当训练过程结束后，提取出策略网络进行前向计算推理应用。与其它网络学习后需要微调的方法不同，将一个样本数据复制若干份，每一份都与不同的线性权重向量相结合。随后与

30、训练一样，按照mini-batch的方式输入策略网络，从而直接得到不同线性权重下的近似最优解，仅一次前向计算就产生一个非支配解集。如果通过GPU计算则可进一步加快计算速度，几乎做到实时响应。联想提出的多目标强化学习不仅可以适用于高维度、时序性、连续或离散决策变量等各种优化任务，而且还可以在结构中加入强化学习中策略梯度、策略评价、深度计算等最前沿的先进方法，不断提升以泛化性、正则性和鲁棒性为代表的高阶算法性能。基于强化学习的混合整数规划问题求解联想在自身的大规模离散组装生产场景上，尝试了这套技术方法的落地实施。生产环节是智能制造当中关键的一环，在高度自动化和流程化的厂区中，排产计划的决策水平直接

31、关联整个生产水平。排产计划决策在最优化理论中可建模为大规模混合整数规划问题。研究证明，混合整数规划问题天然成为一个序列强化学习问题，其状态表达和状态转移具有完备的Markov性。联想的研究团队将该问题建模为序列到的序列的M a r k o v 决 策 过 程 ： 构 造 一 个 序 列 到 序 列（Seq2Seq）的编码-解码深度循环神经网络模型，以无序的订单信息和生产信息作为输入，将有序的订单输出解码为排产结果，通过深度强化学习完成排产优化过程。对于琐碎的生产逻辑约束，通过将所有约束条件张量化的运算，生成在解码器的输出段的行为掩膜矩阵，控制生成的排产计划中工单的排布，使其不违反任何约束条件，

32、不仅运行效率更高，而且降低了策略空间范围，提高了样本利用率。在网络训练时，通过生产规则仿真环境自主生成训练数据，经过一段时间的离线训练后，前向计算优化模型可以在数秒钟内得到一个大型生产厂区一个班次的完整排产计划。与一般优化求解方法不同，该方法求解时间与问题规模呈线性关系，对大规模离散制造排产任务的运行时间可控制在分钟级，且最优性远高于各种业界常用的启发式和搜索算法。在指标得到提升，充分解放人力成本的前提下，大幅降低计划到制造的反应时间，确保敏捷响应和顺利投产。在基于强化学习的多目标优化和排产模型的加持下，联想的工厂不仅拥有了相比人工排程效率更高，指标更好的排产执行方案外，在近年来不断变化的生产

33、供需条件下，通过灵活配置多目标权重，使得生产可以更加灵活的满足当前需要，获得了更加敏捷和柔性的生产决策能力。2.1.3 多智能体学习 独特的离策略多智能体学习方法智能体（agent）是人工智能领域的一个重要概念，通常定义是指能够与环境交互并自主的发挥作用，具有驻留性、反应性、社会性、主动性等特征的计算实体。多个智能体按照彼此交互通信、协调合作、冲突消解等方式集合在一起，称为多智能体系统。联想凭借自身在机器学习和强化学习的技术积累，以及对大型先进智能制造行业的深度理解，提出了一种实现离策略多智能体学习的新方法。离策略学习（off-policy learning）是强化学习中策略学习任务提高样本利

34、用率的一项关键技术，其含义是利用行为策略A产生的样本，估计或改进生成与之不同的目标策略B，从而在策略迭代过程中无需再次生成大量的在策略（on-policy）样本。 图6 联想多智能体离策略强化学习示意图（以排产场景为例）联想离策略多智能体学习方法的核心思想是通过将覆盖不同样本空间的局部策略聚合成求解完成决策问题的整体策略。首先，因此新方法首先在两个维度上将问题拆解：一是将每个决策单元视为一个agent，二是将每个agent的决策单元的任务拆解成仅包含少量决策对象的若干独立同分布子任务。这些子任务的样本空间覆盖完整任务的样本空间。其次，配合每个agent的决策需求，将全局奖赏目标函数修改为适合子

35、任务的代理奖赏（surrogate reward）函数，使得局部指标具有引导子任务完成整体指标的能力。第三，在决策模型上设计了一种具有规模泛化能力的循环神经网络，可以在时间维度将同一agent下的各个子任务策略进行聚合。在如上的创新方式下，结合应用场景，该方法实现了不依赖重要性采样的离策略学习，在提高了样本利用率的情况下，有效的降低了多智能体学习的维度负担，提高了学习稳定性和收敛速度，而且所需要的算力大幅降低。基于多智能体学习的多阶段排产算法在智能制造和供应链领域中，很多决策问题都是多阶段的复杂大规模问题。在业界，通常此类问题在求解时需要进行简化或解耦，损失了很大程度的决策最优性，甚至对于多平

36、衡及强藕合类优化问题求解不会带来本质上的改善。如果能够将各个决策单元分别建立成不同的智能体，再利用多智能体学习进行求解，就可以摆脱解耦带来的最优性损失，实现各种复杂关系下决策单元的优化水平的最大改善。 联想基于多智能体学习技术，在由多个流水线组成的多阶段生产排程场景下实现了全局优化。该场景下，各个工段之间的半成品之间存在工序顺序的强耦合关系，每个多工序生产工段的策略空间也不同，但整体指标存在一致性，即使制成品的生产效率、交付达成率最大化，同时最小化全流程的生产成本。联想将每个工段的多工序生产过程拆分为2-3个agent，每个agent分别负责所在工段的设备选择、生产顺序决策或生产时间决策。所有

37、的agent在串级联合动作空间上，在末端整体奖赏函数的作用下，按直接协作方式学习联结策略。联想的多智能体学习技术目前适合于大规模复杂生产工艺路线的智能排产决策问题，物料-产能双平衡的主计划决策问题等。同时，借助其独特的离策略学习模式，在其它大型多阶段序列决策问题上都具有相应的研究价值。2.2 机器学习驱动的运筹优化2.2.1 在线优化在线组合优化求解生产物料分配问题在许多实际的商业决策场景中，环境条件（如供需情况、价格走势等）瞬息万变，典型的场景包括：网页广告位分配、生产调度、供应链优化、投资组合优化等，通常需要在不知道未来信息的情况下逐步做出决策，该类问题可以归结为在线组合优化问题（onli

38、ne combinatorial optimization）。目前，在线优化的主流业务场景是用于求解未来信息未知，信息逐步到达的优化问题。由于在线优化算法在计算速度上存在优势，联想创新性地将在线优化用于加速求解大规模混合整数规划问题。在实际应用中有限的计算资源与严格的时间限制下，传统方案求解这类大规模、NP-难问题时，通常需要较长的求解时间；对于问题规模过大、或约束条件复杂的问题甚至难以获得可行解。设计良好的在线优化算法，可以快速获得高质量、有竞争比保证的近似解。以联想生产制造场景为例，在进入生产环节之前，需要对数以万计的订单进行物料匹配。各个订单的订购价格也存在差别，涉及到的产品类型庞杂、物

39、料种类极为复杂、物料库存数量存在较大差异；某种物料的库存如被分配完毕，其他需要使用到该种物料的订单将无法被满足。因而，需要将物料优先分配给部分订单，使得在物料库存有限的情况下，总体利润最大化。该问题规模庞大，约束严格，传统方法求解存在诸多挑战。为了快速求解这一复杂的混合整数规划问题，我们将问题转化为在线组合优化问题，使用多臂老虎机-多 背 包 模 型 （ M u l t i - a r m B a n d i t w i t h Knapsacks）对问题进行建模：老虎机的每个臂代表一款产品，背包对应物料库存；生产某个产品对应拉动老虎机的某一个臂，获得相应的利润，同时扣减相应的原材料物料库存。

40、整体优化目标为减少拉动非最优臂的概率，同时尽量降低结束时的剩余物料库存。通过上述方式，我们定义了Bandit问题的遗憾度（Regret），使用UCB（置信度上界）方法，来在线优化匹配方案。通过这种方式，可以在保证理论竞争比的情况下，应对复杂的实际业务问题，快速求解近似分配方案。未来，本方案更有望推广到实时物料匹配方案，可助力于更加柔性的制造供应链优化。2.2.2 求解器自适应的神经网络求解器求解器是决策优化的“芯片“和”根技术“。小到快递员路线选择、商铺选址，大到工厂排程、物流路径规划和金融风控等问题，都可以建成数学规划模型，用求解器进行求解。联想神经网络求解器提供自适应学习优化的人工智能算法

41、，融合前沿AI能力，可根据问题特征自适应进行参数优化和求解策略选取，实现求解效率提升。联想神经网络求解器包含线性规划求解器和混合整数线性规划求解器两部分。线性规划求解器采用先进的人工智能技术的pivot rule取代了传统的启发式规则，针对具体问题和场景可以自优化学习调整pivot rule，从而提升对这类问题的求解效率。混合整数线性规划求解器采用先进的人工智能技术训练最优的求解策略，如分支策略、节点选择策略等，相比传统的基于专家知识的启发式策略，可以在具体问题和场景上自动学习自动调整，从而达到最佳的求解效率。联想神经网络求解器除了算法先进外，也提供高效建模工具，基于高效输入编码算法，充分利用

42、GPU并行计算能力，并提供python，c/c+接口。联想神经网络求解器经过广泛验证，求解速度块、质量高、性能稳定，在联想内部供应链分货、排产等问题上经过广泛使用。以联想全球供应链使用情况为例，由于涉及的产品种类繁杂，每种产品需要的物料数量繁多，从而造成涉及到的采购，物流，制造，仓储，分配等供应链决策困难。由于这类决策牵扯的流程多，流程之间互有关联。并且每个流程决策变量类多量大，现实的考量和制约对决策变量施加各种约束，从而对问题的求解造成巨大的挑战。以物料分配这个问题为例，生产基地和厂房遍布全球，所需物料数量大、种类多，因此，当核心物料的供应无法满足各个工厂各类产品的需求时，需要更加公平、高效

43、的完成物料分配。以往的人工分配模式基于规则与经验难以兼顾物料分配的公平性与高效性，决策难度极大且分配效果不佳。为了改善物料分配的效果，联想通过使用人工智能求解建模，打造了智能物料分配方案。该方案相比使用传统运筹优化求解器效率提升30%，可以再更短时间生成最优解。使用多目标优先级顺序优化算法结合人工智能求解器，依次使用人工智能求解器在不降低前序目标的情况下进行优化，提升整体表现10%。2.3 机器学习驱动的预测性分析2.3.1 因果推断 面向定价决策的因果推断建模联想对因果推断技术进行了深入研究，并将该技术应用于零售行业的定价决策场景之中。在定价过程中，我们想要研究价格（P）的下降，是否能够以及

44、在多大程度能引起销量（Q）的增加。由经济学家Alfred Marshall提出的价格弹性（Elasticity）理论，在一定程度上回答了该问题。价格弹性，主要衡量了价格变化的百分比会引起销售量变化的百分比，记为：=-(Q(P)/Q(P)/(P/P)其中，销量Q是关于P的函数。如果已知该商品的综合销售成本，记为C，那么，销售该商品的综合利润 GP=Q(P)*(P-C)。在利润最大化目标下，我们可以进一步推出最优价格应满足：P=C(1+1/(-1)因此，最优的定价策略可概括为：以商品成本为基准，通过增加一个溢价因子 f()=1/(-1)，来实现利润的最大化。在经济学中，我们将1的产品称为富有价格弹

45、性的商品。由于溢价因子是关于价格弹性的单调递减函数，因此，越是富有弹性的商品，通过促销降价对消费者进行让利，更有利于提高销售利润。虽然商品的最终定价需要衡量商品的综合销售成本，但是溢价因子的测定并不需要该信息。为了研究销量和价格之间的关系，我们基于数据分析建立因果模型，见图8。该图为有向无环图，其中每一个节点代表一个相关变量，每条边代表了两变量之间的因果关系指向。其中，X_1为混淆变量（Confounders），是销量与价格的共同原因变量，因此使得两者之间存在一条后向通路，需要将其加入模型以消除其干扰。X_2为销量的原因变量，加入该变量能够有效降低销量的预测方差。除此之外，其他控制变量，例如销

46、量与价格的共同结果变量与中间变量、仅为价格的原因变量等，都不可加入模型中，否则会引入额外的干扰。因此，完备因果图的构建，是因果效应估计的关键核心问题。在当前的解决方案中，我们从产品维度和场景维度两方面入手，将产品相关属性、门店属性以及促销、法定节假日等相关变量加入模型中。该因果模型中的干预（Treatment），即价格，为连续型变量；因此，我们基于R-Learner算法对CATE进行估计，从而实现对销量-价格曲线的直线近似估计。首先构造两个机器学习模型，将响应变量和干预变量分别对混淆因子进行建模，由此去掉混淆因子的影响；然后，基于响应变量和干预变量的残差构建新的目标变量，并增加混淆因子作为输入

47、再次建模，通过最小化加权损失函数，得到CATE的估计值。由于零售场景中存在大量的离散型混淆变量与控制变量，因此我们优先采用树模型算法，如Light GBM、XGBoost等。 图8 价格-销量 因果模型通过引入因果建模，联想不仅可对产品的营销策略进行优化，未来还将整合供应链的各个环节，如商品的采购、运输、存储等，构建一整套由数据驱动，由因果建模和预测性分析支持决策，且动态迭代的一整套智慧解决方案。2.3.2 概率性预测 多特征下基于时间序列的概率预测在机器学习领域，大量问题的本质都可以看作是对未来进行预测，也就是将一个确定的输入映射成一个未知，但存在明确规则、可观测的输出量。本章中，我们主要针

48、对回归预测问题，即属于有监督学习且输出量为连续实数。通过使大部分的数据符合预先建立的模型，最小化拟合误差，就可以实现对数据规律的建模。联想基于丰富的业务数据源，运用特征工程技术，构建了大量有效的特征数据。例如，产品属性、门店属性、门店定位等静态特征，以及基于自然时间戳、法定节假日、促销日信息、历史周期内预测变量取值的动态时间特征。联想充分考虑时间序列的周期性特点以及不同序列之间的相关性与差异性，极大地丰富了原始时间序列数据，加速了后续的学习过程。在此基础上，联想基于DeepAR的模型，通过合理假设概率分布形式，直接对分布参数进行拟合，提供时间序列的概率预测结果。在zero-inflated N

49、egative Binomial的分布假设下，输出每个可能结果及其对应的概率值，衡量其成为真实值的可能性。基于概率性预测的输出结果，后续可有多种灵活的应用方式，例如将概率最大的输出结果作为最优预测值，或者在给定不同置信度的条件下提供预测区间，或者依据实际的业务场景选择不同的预测分位数作为最优估计值等等。多层级结构下的概率一致性分层预测实现支持层级结构决策的预测方法，已经成为各领域中一项必要而又关键的问题，其核心在于实现预测的一致性，即各层级的预测结果满足原数据的层级结构。 现有的分层预测解决方案包括自下而上(Bottom-up)、自上而下(Top-down)、中间向外(Middle-out)以

50、及基于调解的分层预测方案5-6等。上述所有层级一致性预测方案都只针对点估计,而单一点估计预测主要是对均值或者中位数进行预测，无法正确反映供应链中的极端情况，概率预测则能够对未来所有可能出现的结果估算相应的概率，基于概率需求预测也更方便制定后续优化备货策略。因此这里我们主要关注概率上一致性的分层预测方案。 图10 方案框架图联想通过多层级需求协同预测技术，综合考虑不同层级的数据特征，对多层级相关联的需求预测进行一致性优化，确保预测结果的层级一致性，提升整体的预测准确度。算法框架如图10所示。具体来说，我们首先对各层的需求进行协同需求概率预测，输出概率预测模型参数，接着，各层基于概率预测模型以及其