2 0 2 3 年深度行业分析研究报告目录301 华为算力编年史02 AI硬件自主可控势在必行03 投资建议:梳理算力相关受益厂商04 风险提示01华为算力编年史41.1 国产芯片之光华为海思5资料来.

0人已浏览 2023-12-18 62页 5星级

2023 年深度行业分析研究报告 目目 录录 一、一、AI 有望明显拉动算力基础设施投资有望明显拉动算力基础设施投资.1 1.1ChatGPT 爆红引发了人们对于人工智能发展的高度关注.1 1.2 人.

0人已浏览 2023-12-18 92页 5星级

中国信息通信研究院知识产权与创新发展中心 2023年12月(20232023 年年)人工智能知识产权法律问题人工智能知识产权法律问题研究报告研究报告 版权声明版权声明本报告本报告版权属于版权属于中国信息通信研究院中国信息通信研究院，并受法律保护，并受法律保护。转载、摘编或利用转载、摘编或利用其他其他方式使用方式使用本报告的文字或观点，应本报告的文字或观点，应注注明明“来源：来源：中国信息通信研究院”中国信息通信研究院”。违反上述声明者，本。违反上述声明者，本院院将追究其相关法律责任。将追究其相关法律责任。前前 言言 随着新一轮科技革命和产业变革的深入发展，人工智能技术正迅速推动人类社会智力创新、经济高质量发展，以及生产生活方式效率的提升。人工智能为全球产业发展提供新动能的同时，也带来了诸多新的问题和挑战。当前人工智能知识产权治理正处于法律研究和规则制定阶段，迫切需要解决全球范围内多方面的问题。一是产业对大模型数据使用量级的快速提升突出了著作权作品合理使用原则问题，尤其在原创作者和大模型企业的著作权使用上存在明显争议。二是人工智能技术生成的作品呈现成倍释放的趋势，给当前著作权归属和适用制度带来冲击，考验着知识产权治理的能力。各方都在积极寻求解决人工智能领域知识产权问题的路径。美国政府加速法律问题研究，产业主体主动承担训练数据和作品的侵权责任；日本通过明晰人工智能数据训练中的合理使用标准，平衡企业和原创作者间的关系；欧盟以促进产业发展的数据挖掘原则为抓手，推进著作权治理向精细化方向发展；中国通过立法和司法协同，探索人工智能知识产权最佳保护模式。各方对于人工智能技术有较大的知识产权风险已经达成共识，知识产权制度必须适应新的现实和新的法律挑战，形成符合产业和各方行为预期的知识产权治理理念和规范。基于新的人工智能发展阶段的知识产权治理理念，需要坚持产业发展优先的原则，秉持共商共建理念，推动输入端和输出端关键规则构建，探索治理主体创新。目目 录录 一、人工智能产业发展概况和知识产权环境.1（一）人工智能产业发展概况.1（二）人工智能产业知识产权环境.3 二、现阶段全球人工智能领域主要知识产权问题.4（一）输入端数据训练的合理使用问题.5（二）输出端内容著作权保护范围问题.8 三、人工智能领域各方知识产权治理相关实践.11（一）美国：政府加速法律研究，产业主体承担责任.11（二）日本：明晰合理使用原则，避免侵犯原著作权.14（三）欧盟：保护企业数据挖掘，推进治理精细水平.15（四）中国：明确尊重知识产权，立法司法协同探索.17（五）小结：各方积极应对挑战，治理路径逐渐清晰.19 四、人工智能知识产权治理展望.21（一）完善治理理念.22（二）健全治理规则.23（三）统筹治理主体.24 表表 目目 录录 表 1 输入端合理使用争议.5 表 2 输出端著作权保护争议.9 表 3 各方应对人工智能著作权问题的保护路径.21 人工智能知识产权法律问题研究报告（2023 年）1 一、人工智能产业发展概况和知识产权环境（一一）人工智能产业发展概况人工智能产业发展概况 人工智能（Artificial Intelligence，简称 AI）被视为引领未来产业发展的战略性新兴技术，正在推动着一场全新的科技变革和产业创新。随着机器学习（machine learning）、计算机视觉（computer vision）、自然语言处理（natural language processing）等领域的快速进展和技术不断完善，人工智能对社会的智力创新和进步、经济的提质增效，以及生产和生活效率的提升都产生了深刻的影响。从发展阶段来看，深度学习技术的快速突破正在驱动人工智能以前所未有的速度逼近通用智能。自 2014 年起，随着以生成式对抗网络（Generative Adversarial Network，简称 GAN）为代表的深度学习算法的提出和迭代更新，人工智能处理单一任务水平大幅提升，专用式人工智能技术逐渐成熟。而 2022 年底美国开放人工智能研究中心（OpenAI）发布的 ChatGPT 则代表了通用式人工智能的技术进化，聚焦于人机交互的封闭环境，人工智能已经能够同时实现多项复杂的任务能力。深度学习在未来仍将持续“大模型 大算力 大数据”的主导路线，逐渐逼近人机交互环境下的有限度通用智能，这也对算力、研发等工程化能力提出更高要求。同时，海量专用小模型正在更深入与行业核心业务能力相结合。在“大模型主导，行业小模型应用落地”两类路线叠加驱动下，人工智能将持续规模化应用，并不断逼近与人、环境交互协同的通用智能。从产业布局看，领军企业持续迭代基础通用大模型，主导力量正人工智能知识产权法律问题研究报告（2023 年）2 在逐步形成。一是，领军企业持续迭代基础通用大模型，完善各类模型能力布局，探索产业服务模式。以 OpenAI 的 GPT-4，谷歌（Google）的 bard，百度文心一言大模型，科大讯飞星火大模型等为代表，大语言模型正在逐步将其能力范围扩大至金融、医疗、能源等领域，探索大模型落地的专业化场景。二是，开源模型技术体系打破闭源模型垄断壁垒。以元宇宙公司（Meta）Llama2 模型，稳定人工智能公司（Stability AI）的稳定扩散模型（stable diffusion），斯坦福大学羊驼（Alpaca）模型等为代表，开源模型已成为部分企业及高校研究机构的发力点，逐步赋能更多开发者和学习者，加速产业整体发展和进步。三是，贴合业务场景的专业大模型纷纷入局。例如上海人工智能实验室开发的全球首个城市级实景三维大模型书生天际，网易游戏伏羲大模型等，创新主体及行业企业紧跟大模型热潮，与自身业务场景结合，提升对外服务能力。从商业化落地来看，人工智能行业主流产品形态是生成式人工智能（AI Generated Content，简称 AIGC）。目前，大模型在日常办公、文本创作、图像视频生成、游戏等领域拥有较大发展潜力，商业化前景相对清晰。在文本生成端，AIGC 已经可以利用自然语言生成技术自动生成文章、小说、新闻摘要、诗歌等文本内容；在图片生成端，图片风格转换、图像修复和补充、生成艺术作品等产品正逐渐落地；在音视频生成端，合成音乐、生成环境音效、视频合成和特效生成等，AIGC 可以提升制作效率。未来，AIGC 能够针对科学发现类的任务，逐步渗透生产力变革。大模型有望作为基础赋能工具，发现更多领域人工智能知识产权法律问题研究报告（2023 年）3 通解，在更多领域实现价值创造和产业升级，如解决数学问题，发现新材料配方，配合药物研发预测药物理化性质等。（二）人工智能产业知识产权环境二）人工智能产业知识产权环境 知识产权问题是企业对于使用生成式人工智能的首要担忧。在德国人工智能内容治理公司 Acrolinx 于 2023 年 8 月对 86 家财富 500 强公司的调查中1，近三分之一的受访者表示，知识产权是使用生成式AI 的最大担忧。而由代码管理公司 Gitlab 对超过 1000 名从业者开展的调查发现2，95%的高级技术主管认为知识产权和隐私保护是使用AIGC 的首要考虑对象，也有 79%的受访者担心人工智能工具会获取知识产权或私人数据。究其根本，还是现有的人工智能技术在著作权、专利权、商标权、反不正当竞争等方面都面临法律挑战。在著作权方面，人工智能应用程序生成文学和艺术作品的能力日益增强，可利用大模型模拟人类思维活动、从事智力成果的生成与传播活动，这对著作权制度一直与人类的创造精神以及对人类创造力表达的尊重、奖励和鼓励立场产生挑战。如算法和模型的训练阶段，人工智能训练数据可能存在输入端的侵权责任问题；而在内容生成阶段，输出端的生成物是否属于著作权法保护范围也备受争议。在专利权方面，一是人工智能应用或算法是否应被视为可专利的计算机程序或软件，以及其可专利客体的审查规则究竟如何细化一直备受关注；二是人工智能本身是否具备法律主体 1 见 https:/ 2 见 https:/ 人工智能知识产权法律问题研究报告（2023 年）4 或专利权人资格。在商标权方面，随着越来越多地使用人工智能进行营销，以及消费者受算法推荐影响，需要重新考虑人工智能推荐算法是否会淡化品牌的商标价值。在反不正当竞争方面，人工智能生成内容模糊了原创性辨识，难以判定内容的真实性，使得自动化生成的内容可以通过虚假宣传或误导消费者，可能会涉嫌不正当竞争行为。从产业关心热点来看，核心问题聚焦在著作权上。一方面，需要著作权法界定输入端的合理使用范围和侵权责任承担。在人工智能数据的输入端，大语言模型需要使用大量语料数据。而开发者和企业在未经允许的情况下，通过算法设计和程序运行的自动化，利用他人著作权作品片段组合成创作物表达，“洗稿”“拼凑”其他作品，可能会构成对他人作品的侵权。此时，需要利用著作权法上的合理使用原则来对相关侵权行为进行合法豁免，也需要著作权法主动厘清现有大模型训练中的侵权责任认定规则。另一方面，需要著作权法明确输出端人工智能创作物的保护范围。人工智能的创作活动可能涉及人类作者和人工智能系统之间的合作或分工。尽管人工智能系统可以协助创作者，但通常需要人类创作者来设置参数、提供指导、进行编辑和选择最终的创意成果。著作权可以保护知识和智力劳动的成果，确保创作者得到应有的认可和回报，因而是明确作品权利归属和保护的合理选择。对于产业链上下游的不同参与主体，著作权法参与了重要的利益分配环节。二、现阶段全球人工智能领域主要知识产权问题 本报告分析主要以著作权问题为主。伴随着人工智能产业的快速人工智能知识产权法律问题研究报告（2023 年）5 发展，产业界各方在知识产权领域展开博弈，有关人工智能生成物的知识产权争议也在快速出现。本报告对国外人工智能知识产权争议和案例进行梳理，内容如下：（一）输入端数据训练的合理使用问题（一）输入端数据训练的合理使用问题 输入端合理使用的争议主体主要为著作权作者和大模型公司。一方为担心其作品被人工智能用于数据训练和学习的原创作者，以美国作家协会、George R.R.Martin、Paul Tremblay、Mona Awad、纽约时报、盖蒂图片等为代表。另一方被诉主体为大模型企业，如 OpenAI、微软、谷歌等。为了提供更好的使用体验，生成式人工智能在生成文字作品时，必须进行大量高质量的语料训练。语料库一般会包括多领域的文本素材，如新闻、学术论文、小说、科技文章、医学文献等，以确保模型具备广泛的知识。企业一般会在使用数据之前进行数据清洗，删除或替换可能涉及著作权的内容，但仍有可能使用特定的受著作权保护内容进行训练。此外，大模型的多模态能力使涉案作品呈现出多样化的特点，如 George R.R.Martin 等诉 OpenAI 案涉及文字作品，Sarah Andersen 等诉中道公司（Midjourney）和盖蒂图片（Getty Images）诉Stability AI公司涉及图片作品，Matthew Butterick诉GitHub案中涉及程序代码等。目前各方对大模型训练中合理使用的标准不尽相同，也因此引发各方主体困扰和争议。表 1 输入端合理使用争议 原告原告/争议争议发起方发起方 被告被告/争议针争议针对方对方 案情案情 程序员兼律师Matthew GitHub,微软,OpenAI Butterick 认为，GitHub Copilot 大模型在生成代码时使用了 GitHub 上开源代码的代码片段，但未经原创作者的许可，构成侵犯著作权。GitHub、微软人工智能知识产权法律问题研究报告（2023 年）6 3 见 https:/ 见 https:/ 见 https:/ 6 见 https:/ Saveri 律师事务所 和 OpenAI 对此表示否认，称 Copilot 在使用 GitHub上的开源代码进行训练时，只会使用公共领域的代码，不会使用任何受著作权保护的代码。案件仍在审理中。此外，Butterick 在其个人网站上称，2022年 11 月，他们起诉了 GitHub；2023 年 1 月，他们起诉了 Stability AI；2023 年 6 月，他们代表 Paul Tremblay 和 Mona Awad 起诉了 OpenAI3。三名插画师，Sarah Andersen,Kelly McKernan,Karla Ortiz 中道公司(Midjourney),DeviantArt,Stability AI 2023 年 1 月，三名插画师 Sarah Andersen,Kelly McKernan,Karla Ortiz 在美国加利福尼亚州北区地方法院起诉了 Midjourney,DeviantArt 和 Stability AI。原告认为，被告使用的训练素材中包含了他们的作品，但这些公司在使用这些素材时并未获得他们的许可，构成侵犯著作权。被告Midjourney、DeviantArt 和 Stability AI 对此表示否认，称他们在使用这些素材时采取了合理的措施来避免侵权。他们表示，他们只会使用公共领域的素材，或者从创作者处获得许可的素材。2023 年 10 月，美国加州北区地方法院法官驳回了其中两位的索赔，只保留了 Andersen 对 Stability AI 的著作权索赔，并驳回了其他权利要求4。盖蒂图片（Getty images）Stability AI 2023 年 2 月，盖蒂图片声称，Stability AI 通过自己的软件系统，未经许可自动爬取盖蒂图片多达 1200万张图像。盖蒂图片认为这些行为构成了著作权侵权，因为它们未经许可就复制和运用了盖蒂图片的图像，此外，盖蒂图片认为 Stability AI 的绘画作品中常常包含盖蒂图片的商标水印，而且作品常常是“低质量，没有吸引力或具有侵犯性的”，其行为淡化了盖蒂图片的商标，损害了其商标价值5。“人类艺术运动”（Human Artistry Campaign）人工智能公司 2023 年 3 月 16 日，美国唱片业协会（RIAA）联合美国独立音乐协会、美国音乐家联合会、美国出版商协会、国际唱片业协会、录音学院等 30 余个社会团体组建了一个音乐人和艺术家联盟，共同发起了“人类艺术运动”，以保证人工智能不会取代或“侵蚀”人类文化和艺术。该组织的目标是“确保人工智能技术以支持人类文化和艺术的方式开发和使用，而不是取代或侵蚀它的方式”，该组织概述了倡导人工智能最佳实践的原则，“强调尊重艺术家、他们的作品和他们的角色；透明度；以及遵守现行法律，包括著作权和知识产权”6。人工智能知识产权法律问题研究报告（2023 年）7 资料整理：中国信息通信研究院 从争议发生的原因来看，一是，权利人海量但授权机制不明晰。首先，人工智能模型训练需要多个来源的数据，如源自互联网、公共数据库、个人创作等。由于人工智能模型训练的范围越来越广，涉及的权利人也越来越多。在文本生成模型的训练中和在图像生成模型的训练中，海量的作品都存在许可成本问题。其次，不同作品的授权机制和价格各不相同。不同的文字、图片、音乐作品中可能包含复杂的独家授权、非独家授权、转授权等类型，授权费用会根据作品的知名度、使用范围、销量、质量等多种指标综合衡量和确定。因此不同的 7 见 https:/www.npr.org/2023/08/16/1194202562/new-york-times-considers-legal-action-against-openai-as-copyright-tensions-swirl 8 见 https:/ 9 见 https:/ Paul Tremblay,Mona Awad OpenAI 2023 年 6 月，畅销书作者 Paul Tremblay 和 Mona Awad 起诉 OpenAI，声称，他们的小说被用来训练人工智能工具。根据向旧金山联邦法院提交的起诉书，OpenAI“依赖于从公共互联网上收集大量文本材料，包括原告的书籍”。Awad 和 Tremblay 还声称，当出现提示时，ChatGPT 会生成他们各自书籍的摘要，这只有在 ChatGPT 对原告的著作权作品进行训练时才有可能。美国作家协会及8000 多名作家 微软、Meta和谷歌等公司 2023 年 6 月，美国作家协会及 8000 多名作家签署了一封公开信，要求公司不要在未经许可或未支付报酬的情况下使用这些作家的作品训练人工智能系统。作家们认为，AIGC 技术的开发和应用可能会侵犯他们的著作权和利益。他们要求人工智能公司在使用他们的作品时获得许可并支付报酬。纽约时报 OpenAI OpenAI 使用 纽约时报 的新闻文章来训练其语言模型，但未与该报进行任何授权或合作，引发了该报的不满7。该报的律师正在考虑是否起诉 OpenAI，以保护与其报道相关的知识产权。此外，纽约时报已经屏蔽了 OpenAI 在网上爬取数据的工具8。George R.R.Martin 等作家 OpenAI 2023 年 9 月，George R.R.Martin 等作家诉称，OpenAI“未经许可批量复制原告的作品”，并将受著作权保护的材料输入大语言模型，输出结果掠夺了相关作者的市场，使作者失去许可机会9。人工智能知识产权法律问题研究报告（2023 年）8 作品会有不同的授权机制。最后，授权机制不明晰导致侵权责任难以确认。由于权利人众多，且授权机制不明晰，因此在人工智能模型训练中获得所有权利人的授权往往是一件困难的事情。即使能够获得部分权利人的授权，也可能存在授权范围不明确、授权期限不明确等问题，从而加剧了模型训练存在的侵权风险。二是，各方对人工智能输入端构成合理使用的法律依据不同。欧盟限定了“文本与数据挖掘机制”。在 2019 年 3 月 26 日最终通过的单一数字市场著作权指令中，欧盟对于合理使用采用了作者默示许可以及选择性退出默示许可的机制，以适应人工智能的数据挖掘需求并实现对于创新的激励。日本选择了“非欣赏性利用模式”。2018年的日本著作权法修订，对合理使用增加了新的豁免条款，“不以欣赏作品原有价值为目的的利用”，即对创作的作品内容本身进行使用，而不是出于欣赏、娱乐、教育或艺术等原有价值的目的。根据人工智能机器学习的目的，其符合“用于信息内容本身的分析，而非欣赏原有文化价值”的定义，因此被包含在合理使用范围内。美国对合理使用的认定标准最为灵活。美国著作权法对合理使用的方式归为四要件，包括使用目的和性质，著作权作品的性质，使用部分占被利用作品的比例，以及作品对潜在市场价值的影响。美国对合理使用抽象的规定模式使得法院在个案中有较大的灵活裁量空间，由此为创业公司和科技公司开拓了较大的发展空间。（二）输出端内容著作权保护范围问题（二）输出端内容著作权保护范围问题 输出端内容著作权保护的争议主体为人工智能用户和著作权登人工智能知识产权法律问题研究报告（2023 年）9 记机构。根据美国著作权法，著作权的登记是对著作权权属、效力及所述事实的初步证据，也是著作权侵权诉讼和主张法定赔偿的前提条件，因此图片登记是相关人获得著作权保护的合理选择。而对于被登记的作品，著作权保护的核心诉求是证明作品的独创性，以及区分保护的主体。一方面，由人工智能生成的作品创造性思维的表达并不明晰，现有著作权法无法解释人工智能是否能够独立创作作品。另一方面，对于人工智能应以何种地位出现在著作权作品中，是否可以作为“作者”存在争议。表 2 输出端著作权保护争议 资料整理：中国信息通信研究院 从争议发生的原因来看，一是，坚持独创性标准是人工智能创作物获得著作权保护的理论障碍。问题集中在对独创性中“创造性思维”原告原告/争议争议发起方发起方 被告被告/争议争议针对方针对方 案情案情 Stephen Thaler 美国著作权局 法院裁定生成式人工智能创造的作品不能登记著作权。2022 年 6 月，原告 Stephen Thaler 使用文生图式人工智能“创造力机器”（Creativity Machine）产出了一张名为天堂入口（A Recent Entrance to Paradise）的图像。他以“创造力机器”为作者向美国著作权局递交了著作权登记申请，并解释称该作品由计算机算法自动生成。著作权局以缺乏人类作者身份、人类并未参与创作该作品等理由驳回申请。在陈述申辩、复议未果后，Stephen 向美国哥伦比亚特区联邦巡回法院提起了诉讼。2023 年 8 月，法院判决生成式人工智能创造的作品不能登记著作权。法院认为，人类作者身份是著作权的基本要求，完全由人工系统生成的、没有人类参与的作品不符合著作权保护的条件。插画家Kristina Kashtanova 美国著作权局 图书作者 Kristina Kashtanova 此前将其创作的漫画书Zarya of the Dawn向美国著作权局提起注册，书中使用了部分由 Midjourney 创作的插图。美国著作权局此前曾接受了这一注册。2023 年 2 月，美国著作权局表示将撤回对 Midjourney 部分的著作权保护，认为由Midjourney 技术生成的图片不属于人类著作成果。人工智能知识产权法律问题研究报告（2023 年）10 和“贡献参与”的要求。一方面，对人工智能的“创造性思维”标准是否应该设置较为苛刻的门槛存在争议。著作权法对作品的独创性要求并不需要极高的创新程度，只需一定程度地与现有作品不同即可。因此，要求人工智能生成的作品具有像爱因斯坦相对论那样的开创性，或者像学位论文一样经过严格的重复率检测显得过于苛刻。另一方面，人工智能生成的作品需要考察创作过程中人类对于最终表达的直接贡献度。在创作意图方面，人工智能并不具备传统意义上人类主动的“创作意图”，被动需要人类的启发和参与，尚不具备完全的独立自主性。因此，人类在人工智能生成中的表达参与，即直接贡献，对于最终生成作品的形态和呈现至关重要。二是，坚持人类主体地位是人工智能创作物获得著作权保护的制度障碍。一方面，在案例中，以美国为代表，坚持著作权法中对人类创作主体的地位。在 Burrow-Giles Lithographic Co.v.Sarony 案中，美国最高法院的意见就体现出，人类创造力始终是著作权保护的必要条件。即使透过新工具或在新媒介上展现创造力，亦无不同。因此，一般将人类认定为著作权归属者。另一方面，目前的法律条文还没有体现出对人工智能创作者主体资格的支持。美国著作权法 102 条认定，“人类作者身份是美国著作权保护的先决条件”。中国著作权法体现出的主体则是“公民、法人或者非法人组织”。在当前的技术水平下，人工智能还不能完全拥有与人类相同的智力和思想，人类智力是通用型的，而人工智能还远未达到通用型人工智能的水平，人们在实际生活中也并不接受人工智能拥有与自然人同样的人格和地位。人工智能知识产权法律问题研究报告（2023 年）11 从现有规定来看，大模型训练全流程不可避免地涉及到知识产权侵权，适应人工智能产业未来发展的知识产权制度如何构建，成为数字经济时代需要回答的重要问题之一。三、人工智能领域各方知识产权治理相关实践（一）美国：政府加速法律研究，产业主体承担责任（一）美国：政府加速法律研究，产业主体承担责任 为了更好地应对人工智能技术带来的挑战，美国政府采取了一系列措施，包括推进人工智能法律立法节奏、增加听证会和意见征询等手段。美国企业为了解决目前业界对于人工智能知识产权的担忧，承诺为商业客户使用人工智能生成内容的著作权侵权承担诉讼和赔偿费用，进一步保障了使用者的权益。在政策制定方面，美国政府加速制度明晰节奏。第一，美总统颁布行政令要求制定人工智能著作权政策10。行政令责成美国商务部11制定内容认证和水印技术指南，以方便标记原创内容，并检测人工智能生成的合成内容。该认证的目标是将人工智能生成的内容与其他人类原创内容区分开来，并可方便验证内容的真实性，用于鉴定数字内容的著作权。同时，行政令指示美国专利商标局和美国著作权局就可能采取的与人工智能著作权有关的政策向总统提出建议，包括对人工智能生成作品的保护范围，以及在大模型训练中如何处理受著作权保护的作品。最后行政令进一步指示国土安全部制定培训、分析和评估计划，以解决与人工智能商业秘密窃取和知识产权侵权风险。10 见 https:/ 11 美国商务部下辖美国专利商标局，负责知识产权有关政策的制定。人工智能知识产权法律问题研究报告（2023 年）12 第二，美国国会举办多场听证会听取人工智能知识产权立法建议。美国参议院司法委员会举办三次人工智能知识产权听证会。一是鼓励保护人工智能生成内容的著作权。专家普遍认为，人工智能生成的内容具有一定的独创性，应受到著作权法的保护。同时，人工智能生成的内容通常是基于大量数据进行训练的，其中可能包含受著作权保护的作品，在确定人工智能生成内容的著作权归属和侵权行为时，需要综合考虑各方面因素。二是明确合理使用原则应适用于人工智能生成领域，肯定了著作权的既定合理使用原则是平衡人工智能领域竞争利益的最佳方式，虽然某些团体要求为使用内容训练人工智能模型付费，但大家都认为人工智能开发者不可能与每个拥有训练人工智能模型的数据著作权利益的权利人进行谈判并获得许可。最后，听证会建议国会加强人工智能领域知识产权立法，建议明确人工智能生成内容的著作权归属规则，帮助创作者有效维权；加强对人工智能生成内容的著作权侵权的执法力度，以保护消费者；制定人工智能监管框架，防止人工智能技术被用于非法目的侵犯隐私权。第三，美国专利商标局加强意见征询，但主流观点认为现有法律已经足够适应当前情况。2019 年 10 月，美国专利商标局12在征询了律师协会、行业协会、学术界和国内外电子、软件、媒体和制药行业后，发表了 人工智能和知识产权政策的公众意见 报告。报告指出，主流观点认为人工智能是工具而非作者，不具备独立的创作意识。根据传统著作权法的有偿工作原则，只有自然人可以成为作者。二是人 12 美国专利商标局隶属于美国商务部，有权就知识产权（IP）政策、保护和执法向美国总统、商务部长和美国政府机构提供建议，其中也包括著作权政策的建议。人工智能知识产权法律问题研究报告（2023 年）13 工智能的独创性争议较大。一些人认为，如果人工智能生成的作品具有充分独创，并且没有人类干预，就应该获得著作权保护，关键问题是确定人工智能系统的所有者或控制人是否应该获得著作权。三是输入端数据训练合理使用原则不够明确。一些评论者认为这可能侵犯著作权，而另一些人认为应该考虑合理使用原则，并提出为著作权人提供补偿。在产业界探索方面，已有企业愿意主动承担知识产权风险。微软承诺为商业客户使用人工智能生成内容的著作权侵权承担诉讼和赔偿费用。2023 年 9 月 7 日，微软宣布为商业客户做出新的副驾驶（Copilot）大模型著作权承诺13。该承诺规定，只要商业用户在使用微软 Copilot 生成内容时，开启了 Copilot 内置的著作权审查和防护机制，在发现侵权行为时，微软将采取措施并向原创作者支付赔偿。如果第三方起诉商业客户使用微软的 Copilot 或其生成的输出侵犯著作权，微软将为客户辩护并支付诉讼导致的任何不利判决或和解金额。该承诺是微软对人工智能生成内容著作权问题的积极回应。微软希望保护原创作者的权益，并促进人工智能技术的健康发展。谷歌承诺若商业客户使用谷歌云的 AIGC 服务，一切训练数据侵权或生成物侵权将由谷歌进行赔偿。2023 年 10 月 12 日，谷歌表示他们将为使用其Duet AI 和 Vertex AI 产品的商业用户提供法律保护，以防他们因侵犯著作权而面临诉讼。这一承诺旨在消除对生成式人工智能可能侵犯著作权规定的担忧14。谷歌表示，它将遵循“双管齐下、行业首创的方 13 见 https:/ 见 https:/ 年）14 法”进行知识产权赔偿。一是输入端训练数据的赔偿，在谷歌使用训练数据创建人工智能大模型的过程中，侵犯第三方知识产权的任何指控，都将由谷歌承担。二是生成物的赔偿，当生成物由客户创建时，谷歌的赔偿义务适用于其生成物侵犯第三方知识产权的指控。以上的赔偿包括诉讼费用及可能产生的著作权费用。谷歌提醒用户，只有在没有故意创建或使用生成物来侵犯他人权利，并且在引用时标明来源的情况下，该赔偿才适用。（二）日本：明晰合理使用原则，避免侵犯原著作权（二）日本：明晰合理使用原则，避免侵犯原著作权 一方面，日本政府明晰了输入端的合理使用标准，明确鼓励数据训练。2018 年，日本对著作权法进行了修订，在第 30 条第 4 款中增加了“不以欣赏作品原有价值为目的的利用”豁免条款，即对创作的作品内容本身进行使用，而不是出于欣赏、娱乐、教育或艺术等原有价值的目的。而大模型的数据训练是针对数据本身的内容进行学习，并不是出于个人本身的价值欣赏目的，符合 著作权法 的规定。这次修改总体上扩大了合理使用的范围，旨在鼓励创新，以适应人工智能和大数据等技术的兴起。自 2023 年以来，日本政府又通过多项措施强调现有的合理使用标准不会动摇。先是在 2023 年 4 月 24 日，日本文部科学大臣永岡桂子在记者会中表示，日本法律不会保护人工智能模型训练集中使用的著作权材料，也即允许人工智能模型训练对于著作权人作品的利用，无论是出于非营利或商业目的，无论是复制还是复制以外的行为。然后在 2023 年 5 月 17 日，日本参议院通过了 indemnification 人工智能知识产权法律问题研究报告（2023 年）15 一项新的著作权法修正案，但未对第 30 条第 4 款进行修改，这表明立法者认为该规定足以适应生成式人工智能等新技术带来的著作权挑战。最后在 2023 年 6 月，日本文化厅与内阁 AI 战略部门在人工智能与著作权法关系解释性文件中明确，在开发和训练阶段，应鼓励开发者创新但不应侵害著作权人正当利益。在将他人的著作权作品用于 AI 开发时，如果“使用行为不是为了侵占他人表达的思想或感受，则可以未经著作权所有者的许可使用受著作权保护的作品”。另一方面，日本政府明确以侵犯原有著作权为目的的数据训练，属于侵权行为。根据 2018 年修订的日本著作权法，在数据训练的限制条件上，使用形式应为作品的“非表达性利用”，即“不是为了表达作品而使用作品”的使用形式。它明确定义了侵权行为：一，行为目的不是对作品文本内容信息的分析和机器内部的加工处理等行为；二，行为旨在向公众传播作品的表达内容。例如，以制作可以感受到原始照片“所表达的本质特征”的图像为目的，从风景照片中提取必要的信息制作数字图像；或者将出售的作品著作权数据库复制，用于人工智能模型训练，属于侵权行为，因为以上行为超过了必要限度，损害著作权人正当权益。如果认定 AI 图像与现有作品相似或基于现有作品创作，著作权人可以申请著作权侵权的损害赔偿或禁令，而侵权人也可能受到刑事处罚。（三）欧盟：保护企业数据挖掘，推进治理精细水平（三）欧盟：保护企业数据挖掘，推进治理精细水平 在加速人工智能产业发展方面，欧盟明确了开发者进行数据挖掘时的合理使用原则。欧盟在 2019 年通过的单一数字市场著作权指人工智能知识产权法律问题研究报告（2023 年）16 令中解决了人工智能输入端数据学习中的侵权责任。其创设了第 3条“以科学研究为目的的文本和数据挖掘”和第 4 条不限制目的的“文本和数据挖掘”合理使用情形，以解决文本与数据挖掘对著作权保护带来的挑战。第 4 条规定的“不限制目的的文本和数据挖掘”情形适用于商业领域中的模型训练活动。这一规定采用了作者默示许可大数据企业将内容用于机器学习，并赋予作者选择自己的作品可以不被用于机器学习的权利。核心是对在“文本和数据挖掘”过程中的“作品复制行为”进行豁免。要求是获取被训练作品和其他内容必须合法，同时著作权人未明确保留文本和数据挖掘的权利。其合理使用的范围广泛，适用于商业领域的模型训练，条件相对宽松，仅要求内容合法获取且著作权人未明确保留文本和数据挖掘的权利，能显著降低模型训练平台的著作权风险。在人工智能产业治理方面，欧盟推进知识产权规则适用的精细化水平。欧盟在人工智能公司的监管和治理上以人工智能法案数字市场法 数字服务法 等为制度保障。2023 年欧洲议会通过的 人工智能法案从保护权利人自由决定权与利益角度出发，要求彻底记录任何用于训练 AI 系统如何生成类似于人类作品的文本、图像、视频和音乐的著作权材料。这将使权利人知道其博客文章、电子书、科学论文或歌曲是否已被用于 ChatGPT 等人工智能模型的训练，然后他们可以决定其作品是否可以被复制并寻求补偿。对于生成式人工智能工具如 ChatGPT，法案尝试按照其潜在风险进行分类，将透明度要求与风险级别挂钩，并实施不同的监管措施，强大计算能力的模型将人工智能知识产权法律问题研究报告（2023 年）17 面临更严格的规定。此外，用于数据训练模型的数据也将受到额外审查，这意味着对于封闭数据源模型的数据合规性要求将更为严格。尽管欧盟在实施这一法案方面可能需要数年时间，但这无疑是一个在人工智能发展和数据使用规范方面值得关注的法律方向。（四）中国：明确尊重知识产权，立法司法协同探索（四）中国：明确尊重知识产权，立法司法协同探索 其一，网信办出台办法明确必须尊重知识产权。国家网信办联合七部门发布的生成式人工智能服务管理暂行办法已施行，其中第四条第三项、第七条第二项要求在使用生成式人工智能的过程中必须尊重知识产权、不得侵害他人依法享有的知识产权。该办法的规定，为规范生成式人工智能服务的知识产权保护提供了法律依据。生成式人工智能服务提供者应当严格遵守该办法的规定，尊重知识产权，保护原创作者的合法权益。其二，司法明晰人工智能知识产权的保护条件。“菲林律师事务所诉百度案”15明确了人类参与AI生成是独创性的必要来源。原告菲林律所利用“威科先行”法律信息库，设置相应的检索条件，由该计算机软件智能生成了关于影视娱乐行业司法数据的分析报告，并在此报告的基础上整理创作了推送文章。被告百度未经菲林律所许可，在删除了涉案文章的署名、引言、检索概况等部分内容后，在其经营的百家号平台上发布被诉侵权文章。2019年5月，北京互联网法院一审宣判此案，判决认定计算机软件智能生成的涉案文章内容不构成作品，但其相关内容亦不能自由使用，百度未经许可使用涉案文章内容构成 15（2018）京 0491 民初 239 号北京菲林律师事务所诉北京百度网讯科技有限公司著作权侵权纠纷一案民事判决书，北京互联网法院，https:/ 人工智能知识产权法律问题研究报告（2023 年）18 侵权。在针对人工智能生成的作品的独创性判定上，法院认为，考察个性化来源时，需要基于数据差异产生的个性化特征，因为差异是由不同的数据选择、软件选择或图形类别选择所致，亦非原告自身智力创作获得，因此不能体现原告的独创性表达，故不具有独创性。“腾讯诉上海盈讯科技案”16明确了企业的参数选择和设置构成独创性参与。腾讯公司自主开发了一套基于数据和算法的智能写作辅助系统，名为“Dreamwriter”，用以满足规模化和个性化的内容业务需求。2018年8月20日，深圳腾讯公司在腾讯证券网站上首次发表了一篇财经报道文章，并在涉案文末尾注明“本文由腾讯机器人Dreamwriter自动撰写”。本案的被告上海盈讯公司未经腾讯公司许可和授权，在文章发表当日在其运营的网站转载了文章。2019年12月，深圳市南山区人民法院法院宣判，判决认为Dreamwriter软件生成的内容构成文字作品。法院并没有打破作品必须是作者的智力创作的一般法律规则，为了证明该人工智能产品构成作品，法院在判决书中强调，本案所涉文章是由原告深圳腾讯公司的首席创作团队成员使用Dreamwriter软件生成的。创作团队在数据输入、触发条件设置、模板选择、语料风格等方面的安排和选择是与涉案文章的具体表达形式直接相关的智力活动，该文章的表达形式是由原告主要创作团队相关人员的个性化安排和选择决定的。因此，涉案作品具有独创性，属于我国著作权法保护的文字作品。也就是说，本案中法院认定的作品并没有完全脱离人类的智力活动，并非完全由人工智能产生的文字内容。它们不是由人工智 16（2019）粤 0305 民初 14010 号深圳市腾讯计算机系统有限公司诉上海盈讯科技有限公司侵害著作权及不正当竞争纠纷案民事判决书，深圳市南山区人民法院 人工智能知识产权法律问题研究报告（2023 年）19 能独立创造的，而只是人类智力活动在人工智能协助下的结果。综合以上的两个案例可以看出，两个案例在独创性判定，作品构成判定、人工智能参与程度、侵权认定依据方面都有不同。在第一个案例中，法院更强调数据和软件选择对独创性判定的影响，认为计算机软件智能生成的文章内容不构成作品，强调差异并非由原告自身智力创作获得而是由人工智能选择获得，侵权认定主要基于百度未经许可使用涉案文章内容而不是基于作品的独创性。而在第二个案例中，法院更注重人类创作团队在智力活动中的直接参与，认定由人工智能生成的内容构成文字作品并受到著作权法保护，强调了原告创作团队在数据输入和语料风格等方面的智力活动使涉案作品是人工智能协助下人类智力活动的结果，认定侵权与作品的独创性密切相关。其三，北京互联网法院一审判决人工智能生成图片应当被认定为作品，受到著作权法保护。2023年11月27日，北京互联网法院针对人工智能生成图片著作权侵权纠纷作出一审判决。原告李某使用AI生成涉案图片后发布于小红书平台；被告系百家号博主，发布文章配图使用了原告该AI生成的图片，原告遂起诉。北互审理后认为，涉案人工智能生成图片（AI绘画图片）具备“独创性”要件，体现了人的独创性智力投入，应当被认定为作品，受到著作权法保护等17。该案被誉为我国AI生成图片相关领域的第一案。（五）小结：各方积极应对挑战，治理路径逐渐清晰（五）小结：各方积极应对挑战，治理路径逐渐清晰 总结来看，人工智能的知识产权问题引起了各方的积极关注和回 17 见微信公众号“知产力”文章，AI 生成图片著作权侵权第一案判决书，2023 年 11 月 29 日，https:/ 人工智能知识产权法律问题研究报告（2023 年）20 应。在输入端数据的合理使用方面，各方普遍认为应该保障作者所享有的著作权，并探索赋予作者一定的主动权，使其能够选择其作品不被用于机器学习。如表 3 所示，这种思路在欧盟人工智能法案和日本著作权法修订案中都得到了体现，即通过法律手段推动对大模型训练数据的合理使用和责任豁免机制的制度设计和法律制定。由于各方的法律体系和文化背景不同，对于著作权的单独授权问题，业界普遍认为不可行。因此，需要寻找能够达成各方共识的合理使用合法性基础，以实现产业发展和保护作者权益的平衡统一。这不仅对于人工智能产业的健康发展具有建设性意义，也有利于促进社会文学艺术的发展和繁荣。在解决人工智能知识产权问题时，需要综合考虑技术发展、市场规则、法律制度等多个方面。各方应该加强沟通协调，共同探讨合理使用人工智能技术的合法性和可行性，以实现人工智能产业和文学艺术的共同发展。在输出端内容的保护方面，如表 3 所示，各方普遍认为现有的著作权法能够合理地保护人工智能生成的内容。只有在人工智能的生成过程中有人类干预，并且满足著作权保护所需的其他条件，才能满足独创性的要求，从而获得著作权保护。由于人工智能目前仍处于发展阶段，考虑到当前的人工智能发展水平和世界各方的审查和保护条件，目前还没有给予人工智能生成物独立的著作权保护手段。因此，在著作权机制的适用方面，应该侧重于作品的文化属性，注重对独创作品的保护，同时支持人工智能创作的发展进步，以顺应著作权法变革的未来趋势。通过平衡人工智能生成物与人类创作作品的权益保护，可人工智能知识产权法律问题研究报告（2023 年）21 以促进人工智能技术的不断创新和进步，同时也有利于文化产业的发展和繁荣。表 3 各方应对人工智能著作权问题的保护路径 资料整理：中国信息通信研究院 四、人工智能知识产权治理展望 人工智能时代，创造性劳动、人机协作的既有范式已在发生转变。人工智能对于内容创作模式的更新本质上即是技术革新对于知识产权既有利益平衡制度的挑战。“十四五”时期，是乘势而上打造人工智能技术知识产权新优势的关键机遇期，与人工智能技术发展水平相国家国家/区域区域 输入数据训练使用方面输入数据训练使用方面 输出内容著作权保护方面输出内容著作权保护方面 美国 举行听证会讨论 根据现行知识产权法律，“合理使用”四要件存在灵活的裁量空间。作品的可著作权性是讨论重点 若用户对于输出内容不具有创造性贡献（投入/干预）和控制，则不应获得著作权保护 人工智能不能成为作者 日本 不是为了侵占权利人表达的思想或感受，不损害著作权人利益，即构成合理使用。用户创造性意图 创造性贡献 创造性表达想法/感受，可以获得著作权保护 适用与现有著作权侵权相同的标准 欧盟 以科学研究为目的的文本和数据挖掘例外“文本和数据挖掘”例外，作者默示许可 选择性退出默示许可 彻底记录任何用于训练 AI 系统如何生成类似于人类作品的文本、图像、视频和音乐的著作权材料（人工智能法案）中国 国家网信办联合七部门发布的生成式人工智能服务管理暂行办法已施行，其中第四条第三项、第七条第二项要求在使用生成式人工智能的过程中必须尊重知识产权、不得侵害他人依法享有的知识产权。人工智能生成内容的形式决定了独创性判断标准的差异，强调人对作品的参与程度。需要进一步判定使用人对人工智能生成物主张权利针对的是思想还是表达 人工智能知识产权法律问题研究报告（2023 年）22 适应的人工智能知识产权治理需要不断构建完善，为人工智能产业高质量发展提供关键支撑。（一）（一）完善完善治理理念治理理念 在治理理念方面，平衡著作权权利人、大模型经营者和社会公共利益的权利要求。人工智能知识产权治理牵涉到多个利益主体，需要综合考虑多方的权利与义务。首先，回应著作权权利人获得合理的报酬和著作权保护的呼声。在前人工智能时代，著作权作者是著作权的主体。在人工智能时代，著作权作者是人工智能创作的源泉。算法生成的内容正逐渐模糊创作的边界，因此需要明确知识产权的归属。通过建立透明的权益分配机制，确保创作者在人工智能创作中获得公正的回报，不仅能够激励创新，也有助于保护著作权权利人的创作积极性。其次，降低大模型经营者的知识产权风险。大模型经营者是科技进步和创新发展技术的主体。只有通过鼓励投入，支持技术进步探索，人工智能大模型才能提高性能和智能化水平，构建一个互利共赢的人工智能生态系统，加速技术进步。因此，治理理念应该坚持鼓励技术发展。同时，大模型经营者作为人工智能技术的关键推动者，应当积极采取措施，建立著作权合规框架和保护机制，确保数据和算法的合法使用，防范知识产权侵权行为，确保在发展过程中对知识产权的尊重，才能化解知识产权风险。最后，促进社会的知识普惠与文化创新的共同繁荣。人工智能的发展不应该仅仅服务于少数人或企业，可以坚持知识普惠的理念，确保人民群众受益于人工智能的应用，最大化人工智能技术对社会的积极影响，促进科技发展造福更广泛的群体。人工智能知识产权法律问题研究报告（2023 年）23 在推动知识共享的同时，利用人工智能强大的创造力，可以创作更多文化作品，创造文化消费场景，提供文化增长新动能，促进文化产业进一步繁荣。（二）（二）健全健全治理规则治理规则 一是主动明晰数据训练的合理使用规则。受人工智能生成物对现有知识产权保护制度的冲击，全球人工智能产业都在进入产业发展和产权保护的二元博弈。从著作权法的发展历程来看，从文字艺术作品到影视作品，其保护的客体和权利内容的范围也随着技术的更新逐渐扩大。针对人工智能对于输入端数据训练的合理使用，应积极主动确立法律配套规则。推动政策引导企业对数据进行合规使用，推动知识产权法律规则完善是必然之举，主动强化现有数据训练法律规则与知识产权法律的对接和融合。因此，当前著作权法更应积极主动跟上技术更新节奏，加入数据训练的著作权豁免条款，可以借鉴日本“非欣赏性原则”中针对机器学习的数据使用豁免，或者学习欧盟从“数据挖掘”角度整体化解知识产权风险，加快相关规范确立的进程。二是加快人工智能生成物保护范围的法律研究。以生成式人工智能对专利、著作权产生的影响为主要对象，深入展开理论研究，讨论人工智能对于权利人保护和网络空间运转产生的影响，利用司法判例、政策制定等路径探索技术和法治的发展阶段和下一步继续发展的方向。研究生成物在法律体系中的地位，制定规则明确生成物的责任，如损害赔偿或者不良影响等。人工智能知识产权法律问题研究报告（2023 年）24（三）统筹治理主体（三）统筹治理主体充分发挥各方主体参与，建立起综合、平衡、适应性强的人工智能知识产权治理体系。一是提高行业组织和标准机构围绕内容生成产业治理的内容质量，制定行业标准，推动行业联合研发著作权合规工具。统一的生成式人工智能标识或者水印可以降低开发成本、产品生产成本和内容风险，确保行业在技术和商业层面能够健康、可持续地发展。二是鼓励企业主体和开发者参与著作权治理流程。企业可以开发知识产权检测和内容可靠性工具，对生成内容采取机器审核、内容分类分级等手段，加强内容的审核和把控，确保内容的真实性、合法性和可靠性。主动对生成物的传播平台加强管理和监督，主动对生成物显著标识，做到合规安全的运营。企业可以通过合同分配人工智能作品的权利和义务，促进产业上下游的参与主体充分参与著作权的利益分配。企业间可以就知识产权使用达成许可和合作协议，共享技术、研发成果，加速产业创新和进步。三是倡导社会公众积极参与，普及人工智能知识产权对社会的影响，确保治理体系符合公众期望，同时尊重隐私和知识产权保护原则。普及人工智能技术常识，让公众更好地了解人工智能技术的本质、应用和发展趋势，更好地理解和使用相关技术和产品。提升公众的科技素养，使公众能够更好地理解和应对科技变革带来的挑战和机遇。通过了解和掌握人工智能技术，公众可以更好地发挥自身的创新能力，将人工智能技术应用到生活和工作中，提高生产力和效率。中国信息通信研究院中国信息通信研究院 知识产权与创新发展中心知识产权与创新发展中心地址：北京市海淀区花园北路地址：北京市海淀区花园北路 52 号号 邮编：邮编：100191 电话：电话： 传真：传真： 网址：网址：

0人已浏览 2023-12-15 30页 5星级

导论今天，能想到的或是想不到的领域，对容器和 Kubernetes 的需求都居高不减，使这项技术正在真正走向无处不在。从 2015 年正式对外提供服务至今，阿里云容器服务产品家族已经成长为企业的云原生应用操作系统，帮助越来越多的客户实现智能化、数字化创新，包括自动驾驶、智能科研、金融科技等众多新兴领域。其覆盖了从公共云、边缘云、到本地数据中心的各个场景。让所有需要云能力的地方，都有统一的容器基础设施。2023 年，阿里云容器产品能力持续受到业界的广泛认可。2023 年 9 月，在权威咨询机构 Gartner 发布的容器管理魔力象限中，由于在公共云、专有云、混合云等环境完善的产品体系，阿里云成为全球领导者，亚洲唯一。在 2022 年4 季度，Forrester 公共云开发与基础设施平台 Q4/22 评测中，阿里云是中国云原生开发者的最佳选择。智算时代已来。正如一个文明社会的科技水平取决于其对能源的利用能力，企业的智能化水平取决于其对算力的利用能力。云计算为智算时代带来无限可能，2023 年云栖大会上，阿里云容器服务宣布了以加速企业构筑现代化应用平台、最大化利用阿里云强大弹性算力为使命，在高效云原生算力、高性能智算应用、智能化运维管理、可信基础设施、分布式云架构 5 大核心方向带来的产品能力全新升级。本书精选 2023 云栖大会中“容器技术与服务”专题分享精华，集合容器服务产品家族最新发布、容器 AI 工程化创新、容器前沿技术与大规模生产实践、典型场景企业案例等方向内容，希望能够帮助您了解如何基于容器技术与服务，拥抱智算时代，为现代化应用构建加速！目录页第一章：容器产品最新发布阿里云 ACK 新升级，打造智算时代的现代化应用平台.6第二章：容器服务典型企业案例云原生场景下月省 10 万元资源成本，这家企业做对了什么.26米哈游大数据云原生实践.45第三章：容器 AI 工程化创新智算时代，基于 ACK 落地云原生 AI.66云原生场景下，AIGC 模型服务的工程挑战和应对.88第四章：容器前沿技术与大模型生产实践阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战.104基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps 流程.123机密计算容器前沿探索与 AI 场景应用.143Koordinator 助力云原生应用性能提升小红书混部技术实践.158轻松搭建基于服务网格的 AI 应用，然后开始玩.176阿里云云原生弹性方案：用弹性解决集群资源利用率难题.212基于 ACK One 实现简单的跨云协同，让业务管理更高效.227阿里云 ACK 新升级，打造智算时代的现代化应用平台6第一章容器产品最新发布阿里云 ACK 新升级，打造智算时代的现代化应用平台6阿里云 ACK 新升级，打造智算时代的现代化应用平台作者：易立，阿里云研究员&容器服务负责人今天，能想到的或是想不到的领域，对容器和 Kubernetes 的需求都居高不减，使这项技术正在真正走向无处不在。在 2023 云栖大会上，阿里云云原生产品线容器服务负责人易立关于容器服务 ACK 在本届亚运会上应用的介绍，让现场观众眼前一亮，“以杭州亚运会为例，作为云原生技术底座，为亚运一站通、亚运钉等众多核心应用提供了高弹性、高可用、异地多中心的架构支持，确保了赛事系统万无一失。”阿里云容器服务 ACK 已经成长为企业的云原生应用操作系统，帮助越来越多的客户实现智能化、数字化创新，包括自动驾驶、智能科研、金融科技等众多新兴领域。其覆盖了从公共云、边缘云、到本地数据中心的各个场景。让所有需要云能力的地方，都有统一的容器基础设施。阿里云 ACK 新升级，打造智算时代的现代化应用平台7在过去一年，阿里云容器产品能力持续受到业界的广泛认可。2023 年 9 月，在权威咨询机构 Gartner 发布的容器管理魔力象限中，由于在公共云、专有云、混合云等环境完善的产品体系，阿里云成为全球领导者，亚洲唯一。在 2022 年 4 季度，Forrester 公共云开发与基础设施平台 Q4/22 评测中，阿里云是中国云原生开发者的最佳选择。智算时代已来，易立介绍了为助力企业构建现代化应用平台，阿里云容器服务在高效云原生算力、高性能智算应用、智能化运维管理、可信基础设施、分布式云架构 5 大核心方向带来的产品能力全新升级。1.新一代云原生算力，提升企业计算效能更大规模：弹性算力池新突破阿里云提供了丰富的弹性算力，包括 Intel/Amd/倚天 Arm 等多 CPU 架构，GPU/RDMA等多种异构加速器，以及按量、Spot、节省计划等多样化的售卖形态。使用 ACK，客户能够最大化利用阿里云整体弹性算力池能力，根据自己的需求灵活选择，增效降本。阿里云 ACK 新升级，打造智算时代的现代化应用平台8ACK 集群支持托管节点池、虚拟节点两种不同的数据面形态：托管节点池，支持任何 ECS 裸金属和虚拟机实例作为 K8s 工作节点，一个工作节点可以运行多个 Pod，全兼容 K8s 语义，兼具灵活性与易用性。虚拟节点，每个 Pod 运行在独立的弹性容器实例 ECI 之中。每个 ECI 实例是一个独立安全沙箱，具备高弹性、强隔离，免运维等特点。阿里云弹性计算基于 CIPU 可以统一生产ECS 裸金属实例、虚拟机实例和弹性容器实例。这意味这 ECI 支持弹性计算丰富的算力类型，具备充足的库存保障。今年 ACK 集群通过与弹性计算调度相互感知，可以更好调度 ECI 实例，支持将 K8s 对集群资源调度能力扩展到整个弹性算力池，确保了 ECS 节点池与虚拟节点的调度统一和能力一致，用户无需修改现有 K8s 应用定义即可最大化使用云资源。越来越多的客户基于 ACK 集群，构建大规模微服务架构应用和大规模数据计算任务。同时为了满足对集群规模增长的诉求，ACK 单集群最大支撑的节点从 10000 提升至 15000，ECI 实例从 20000 提升至 50000 实例。我们的控制面组件会根据数据面规模按需伸缩，保障稳定性。阿里云 ACK 新升级，打造智算时代的现代化应用平台9更优性价比：倚天架构专属优化越来越多的 ACK 客户选择倚天芯片作为新算力选择。客户选择倚天架构实例主要有如下三个原因：高性价比：相比 G7 实例族，Web 应用提升 50%，视频编解码提升 80%，Spark 任务提升 28%。高吞吐：采用 Arm V9 架构，提供独立物理核心，提供更确定性的性能；相比 G7 实例族，Web 应用吞吐提升 22%；Spark TPC-DS Benchmark 速度提升 15%。专属优化：容器镜像服务 ACR 联合基础软件团队、龙蜥社区在制品中心，提供了面向倚天芯片专属优化的基础软件及应用软件镜像。通过基于 AI 和专家知识库的KeenTune 为倚天架构提供专项参数调优。在主流场景中，优化后相比优化前性能提升 30%。为了支持容器应用向倚天架构平滑切换，ACR 提供了多架构镜像构建能力，支持一份源码构建出包含 x86、Arm 架构的应用镜像，同时 ACK 集群可以同时包含 Arm/x86 节点池阿里云 ACK 新升级，打造智算时代的现代化应用平台10或虚拟节点，让客户 K8s 应用在不同 CPU 架构下按需调度，逐步切换。更高弹性：全新发布节点池即时弹性能力最大化利用云的弹性能力是客户对容器产品的重要诉求，易立也带来了 ACK 的一项全新发布：“在阿里云上，容器服务每天有数百万核的算力资源按需扩缩容，帮助客户优化计算成本。今天，我们正式发布 ACK 节点池即时弹性能力”。ACK 节点池即时弹性 Scaler 拥有以下特点：更快的弹性速度：在 100 节点池的规模上，保持平均 45s 的端到端扩容速度，相比社区 Cluster Autoscaler 提升 60%。支持用户定义灵活的规格匹配策略：在社区的 Cluster Autoscaler 中，每个节点池中节点 CPU/Memory 规格是固定的，如需满足不同需求需要创建多个节点池，会带来配置管理复杂性、资源碎片引入的可能，并增加由于库存不足导致弹性稳定性降低的风险。即时弹性 Scaler 支持用户定义灵活的规格匹配策略，不同机型节点规格匹配条件下，系统会根据待调度的 Pending Pod 集合的资源请求和调度约束，及对 ECS 的库存感知，生成优化的装箱结果。这样，只需一个节点池就可以完成对多规格、多可用区阿里云 ACK 新升级，打造智算时代的现代化应用平台11的节点弹性。在降低节点池配置复杂度的同时，减少了资源碎片，提升了弹性的成功率。即时弹性完全兼容现有节点池能力和使用习惯，可以配合托管节点池实现节点的自动化运维。更简运维：ContainerOS 与全托管节点池结合对于 K8s 集群，节点运维是保障系统稳定性与安全的重要日常工作，但是手工操作非常复杂繁琐。ACK 托管节点池支持节点的全生命周期自动运维，包括 CVE 高危漏洞自动修复、节点故障自愈、OS/节点组件自动升级，其中节点自愈成功率 98%；集群节点运维时间减少 90%。ContainerOS 是龙蜥社区发布的面向容器优化的操作系统，采用不可变基础设施理念构建，具备精简、安全、可编程等特点。千节点弹性时间 P90 55s，相比 CentOS 等节点弹性时间降低 50%。ContainerOS 与全托管节点池可以完美结合，进一步优化了节点池的弹性和可运维性，让企业聚焦在自己的自身业务，而非 K8s 基础设施维护。更丰富场景：Serverless 容器为 AI 场景增效降本阿里云 ACK 新升级，打造智算时代的现代化应用平台12对 Serverless Container 的支持是 K8s 演进的重要方向，基于 ECI 的 ACK Serverless在客户场景中得到了广泛的应用。ACK、ECI 不但帮助微博热搜，钉钉会议等在线应用的弹性伸缩，也在助力众多 AI 和大数据客户降本增效。深势科技基于基于 ACK 与 ECI 实现多地域部署 AI 科研平台，免运维，按需创建实验环境，支持大规模 AI 镜像秒级拉取，资源利用率提升 30%。米哈游基于 ACK 与 ECI，统一全球各区服大数据平台架构，单日创建 200 万 以上 ECI实例执行 Spark 计算任务。通过高效利用 ECI Spot 实例，整体资源成本下降 50%。今年 ECI 弹性容器实例有四个重要发布：普惠降本：新增经济型规格，相比当前通用型价格下降 40%，面向成本敏感的Web 应用、计算任务、开发测试等工作负载。此外现有通用型实例价格也将在近期下调，最高下降 15%。极致性能：计划新增性能增强型规格，面对计算密集型业务场景，如科研、高性能计算、游戏，相比现有通用型实例，提供更高性能的算力、更具确定性的性能。弹性加速：ECI 通过对用户负载特征自学习和预测，实现底层资源的预调度，扩容速度阿里云 ACK 新升级，打造智算时代的现代化应用平台13提升至 7000 Pod/min，非常适于大规模数据任务处理场景。此外业界首家支持 GPU驱动版本选择，为 AI 应用提供更多灵活性的同时，冷启动提速 60%。灵活提效：ECI 今年发布了对倚天 Arm、AMD 架构的支持，ACK 也在近期上线了Windows 容器支持，支持更加丰富的企业应用场景。并且发布对细粒度内存规格支持，帮助用户精细化资源适配，消除空闲资源开销。2.云原生智算基础设施，构筑高效现代应用平台全面支持灵骏集群，为大模型训练提效过去一年，AIGC/大语言模型无疑是 AI 领域最重要的进展。随着大模型参数规模、训练数据和上下文长度的增长，训练大模型所消耗的计算量呈现指数级增长。ACK 全面支持阿里云灵骏智算集群，为大规模分布式 AI 应用提供高性能、高效率的 Kubernetes 集群。ACK 提供了对灵骏高性能算力的全面支持，以及批量 AI 任务调度，数据集加速，GPU 可观测与自愈等能力。通过软硬件协同设计与云原生架构优化，ACK 助力 PAI 灵骏智算方案高效利用强大的算力，为 AIGC、自动驾驶、金融、科研等众多智算业务场景提效。阿里云 ACK 新升级，打造智算时代的现代化应用平台14ACK 云原生 AI 套件增强，构筑企业专属 AI 工程化平台。ACK 去年推出云原生 AI 套件，帮助用户基于 Kubernetes 充分利用阿里云上弹性算力，支持弹性训练与推理等场景。在此之上既服务了阿里云 PAI、灵骏智算、通义千问等 AI 平台与服务，也提供对开源 AI 框架和模型的容器化支持。今年，针对大模型场景，AI 套件新增了对开源大模型框架 DeepSpeed，Megatron-LM，TGI 的容器化支持与优化。通过云原生 AI 套件的调度优化与数据访问加速，AI 训练速度提升 20%；大模型推理冷启动速度提升 80%，数据访问效率提升 30%。ACK AI 套件已被广泛应用于众多海内外企业，帮助客户构建自己专属的 AI 平台，显著提升 GPU 资源效率和 AI 工程效率。国产 AI 绘画工具海艺 AI：基于 Fluid 数据集加速和 AIACC 模型优化方案，推理性能提升 2 倍。任意门 Soul：基于 ACK 构建近千卡规模 AI PaaS 平台，开发迭代效率提升 2-5 倍。ACK 集群调度器，面向 AI/大数据负载优化扩展阿里云 ACK 新升级，打造智算时代的现代化应用平台15ACK 集群调度器基于 Koordinator 项目。它是基于阿里巴巴大规模混部实践孵化出的开源 Kubernetes 调度器实现，可以统一、高效地支持微服务、大数据、AI 应用等多样化的工作负载。其中我们针对 AI、大数据负载进行了如下优化和扩展：在全面兼容 Kubernetes 现有调度能力基础上提供批量任务的调度元语，如 GangScheduling，弹性配额、优先级调度等，可以与 Kubeflow，KubeDL 等社区项目无缝集成。支持拓扑感知性能优化，根据 PCIe、NVSwitch，以及 RDMA 网卡等互联链路的拓扑信息，自动选择能够提供最大通信带宽的 GPU 卡组合，有效提升模型训练效率。支持对 GPU 的细粒度资源共享调度，有效提升模型推理场景 GPU 资源利用率。近期我们与小红书在社区合作，将发布 Hadoop Yarn 任务与 Kubernetes 负载混部的能力，进一步提升 Kubernetes 集群的资源效率。相关工作帮助小红书 ACK 集群资源效率提升 10%。我们也在推进 Koordinator 捐赠到 CNCF 基金会，保持项目长期健康的发展，也欢迎大家在社区共建。阿里云 ACK 新升级，打造智算时代的现代化应用平台163.智能自治体系，降低容器运维管理成本ACK AIOps 智能产品助手，加速 K8s 问题定位与解决Kubernetes 自身技术复杂性是阻碍企业客户采用的一个重要因素。一旦 K8s 集群发生故障，对应用、集群、OS、云资源的问题排查，即使对经验丰富的工程师也充满挑战。ACK 全新升级容器 AIOps 套件，通过大模型结合专家系统的方式，让管理员可以通过智能产品助手，使用自然语言与系统进行交互，加速 Kubernetes 问题定位与解决。当问题发生时，AIOps 套件会采集上下文相关的 Kubernetes 对象与云资源的定义，状态与拓扑信息。比如 Deployment，Pod 和关联的节点等。以及相关的可观测信息，如日志，监控，告警等。然后会基于大模型进行数据分析与归集，给出当前问题的可能原因与修复方案。ACK 背后的大模型方案面对云原生开发和运维知识库进行了调优，提升了问题分析的准确度。用户可以进一步利用智能诊断中的专家经验系统，进行根因定位。现有 AIOps 套件包含 200 诊断项，覆盖 Pod，节点，网络等问题场景，可以对网络抖动，内核死锁、资源争抢等问题进行深入排查。除了用户驱动的问题诊断，AIOps 套件也在加强对自动化巡检和异常事件自动化实时处理，为集群稳定性、安全提供更加全面的防阿里云 ACK 新升级，打造智算时代的现代化应用平台17护，防患于未然。ACK FinOps 套件全面升级，精细场景化分析与分摊策略ACK 去年发布了 FinOps 成本管理套件，为企业管理员对 K8s 集群现了成本的“可见，可控，可优化”。在过去的一年中，FinOps 套件支持了不同行业的上百家客户，其中：乾象投资利用 FinOps 套件，优化应用配置，集群资源利用率提升 20%成本节省超过 10万元/月。极氪汽车通过 FinOps 套件实现混合云弹性降本，一年节省了数百万 IT 成本。今年，FinOps 套件全面升级，增加了更多场景化的分析与分摊策略，例如：在 AI 场景，可以基于 GPU 卡、显存等维度进行成本可视化。此外，FinOps 套件还发布了一键资源浪费检查功能，可以快速发现集群中空置的云盘、SLB 等未被使用的资源，让集群的整体资源利用率进一步提升。4.端到端容器安全，为构建可信 AI 应用护航阿里云 ACK 新升级，打造智算时代的现代化应用平台18可信化应用交付增强，ACK 与 ACR 提供 DevSecOps 软件供应链软件供应链安全是企业落地云原生技术的最大关切，Gartner 预计到 2025 年，全球 45%的组织都会遭受过软件供应链攻击。阿里云 ACK 和 ACR 服务提供 DevSecOps 最佳实践，实现了从镜像构建、分发到运行的自动化风险识别、阻断与预防能力。帮助企业构建安全可信的软件供应链。DevSecOps 的实践依赖研发、运维、安全团队的深入协同，今年，我们推出了集群容器安全概览，帮助企业安全管理员更好感知集群配置、应用镜像、容器运行时的安全风险，让供应链流程更加透明高效。通过使用我们的 DevSecOps 供应链安全能力：著名的汽车制造商路特斯每月实现千次安全配置巡检，预防高危风险配置上线；招联金融基于供应链策略治理能力，在每日 CI/CD 流程中实现千次风险镜的拦截阻断，保障金融业务安全。两全其美：Sidecarless 与 Sidecar 模式融合的服务网格新形态阿里云 ACK 新升级，打造智算时代的现代化应用平台19服务网格已经成为云原生应用的网络基础设施。阿里云服务网格 ASM 产品进行了全新的升级，成为业界首个发布托管式 Istio Ambient Mesh 的产品，提供对 Sidecarless 模式与 Sidecar 模式的融合支持。经典服务网格架构采用 Sidecar 模式，需要为每个 Pod 注入 Envoy Proxy Sidecar，实现流量拦截与转发。具备极高的灵活性，然而引入了额外的资源开源，增加了运维复杂性和与建联时延。在 Sidecarless 模式下，L4 代理的能力被移到节点上 CNI 组件中，可选L7 代理独立于应用程序运行。应用程序无需重新部署即可享受服务网格带来的安全加密，流量控制和可观察性等功能。在典型客户场景中,采用 Sidecarless 模型服务网格，可以减少资源开销 60%，简化运维成本 50%，降低时延 40%。托管式 Istio Ambient Mesh 有效地降低服务网格技术复杂度，推动零信任网络技术落地。新推隐私增强型算力，护航可信 AI 应用构建阿里云 ACK 新升级，打造智算时代的现代化应用平台20为解决企业对数据隐私日益关切，阿里云、达摩院操作系统实验室与 Intel 和龙蜥社区一起，推出基于可信执行环境（TEE）的机密计算容器（Confidential Containers，简称 CoCo）在云上的参考架构，结合可信软件供应链、可信数据存储，实现端到端安全可信容器运行环境，帮助企业抵御来自外部应用、云平台，甚至企业内部的安全攻击。ACK 基于阿里云八代 Intel 实例所提供的 Trust Domain Extension TDX 技术，全新推出对机密容器以及机密虚拟机节点池支持。使用 TDX 技术，业务应用无需更改，即可部署到 TEE 之中，极大降低了技术门槛，为金融、医疗、大模型等数据应用，提供隐私增强型算力。阿里云 ACK 新升级，打造智算时代的现代化应用平台21在 AI 时代，模型和数据成为企业核心业务资产。基于机密计算容器，阿里云基础软件、容器、以及英特尔团队提供了可信 AI 应用一个演示方案。在这个示例架构中。应用、AI 模型和微调数据集都被加密存储在云端服务中，在运行时由机密容器在 TEE 中对其进行解密后执行。模型推理与微调过程安全可信，保障数据的机密性与完整性。高性价比，基于 AMX 指令集优化，32 核 CPU 可以实现秒级 Stable Diffusion 出图。低损耗，TDX 带来的性能给损耗可以控制在 3%以内。5.更简单的跨云协同，让业务管理更高效阿里云 ACK 新升级，打造智算时代的现代化应用平台22ACK One Fleet 为不同地域的多个 K8s 集群提供了统一的控制平面，我们可以对公共云集群、边缘云集群和本地数据中心集群，实现统一的集群管理，资源调度、应用交付以及备份恢复能力。智联招聘使用 ACK One 实现混合云负载感知弹性，使用 ECI 5 分钟实现业务数万核扩容。极氪汽车使用 ACK One 统一管理数十个混合云 K8s 集群，提升安全水位和业务连续性，减少 25%的资源用量，运维效率提高 80%。阿里云 ACK 新升级，打造智算时代的现代化应用平台23在模拟仿真、科学计算等大规模数据计算工作流场景中，一个批次的计算可能需要数万，甚至数十万核算力，超出单地域的弹性供给能力，需要依赖跨地域的计算供给。在 IoT 以及医疗等场景中，海量数据分散在不同地域，需要具备就近计算能力。为此，ACK 推出全托管 Argo 工作流集群，具备事件驱动，大规模、免运维、低成本、跨地域等特点。Argo 工作流集群充分利用多 AZ、多地域的弹性算力，自动化利用 ECI Spot，有效降低资源成本。相比自建 Argo 工作流系统，可实现 30%的资源成本节省。集群内建分布式数据缓存，提供更大的聚合读取带宽，数据吞吐相比直接访问提高 15倍。集群提供优化 Argo 引擎，并行计算规模提升 10 倍。泛生子使用全托管 Argo 工作流集群在 12 小时内完成处理数千例肿瘤基因样本的处理，速度提升 50%，成本下降 30%。6.阿里云容器服务 ACK，智算时代云原生基础平台阿里云 ACK 新升级，打造智算时代的现代化应用平台24正如一个文明社会的科技水平取决于其对能源的利用能力，企业的智能化水平取决于其对算力的利用能力。云计算为智算时代带来无限可能，阿里云容器服务以为企业构筑现代化应用平台，最大化利用阿里云强大弹性算力为使命：通过对多样化算力的场景化高效利用，提升计算效能通过弹性与调度，提升资源利用率；通过智能自治，降低运维成本通过最佳实践与技术创新，提供端到端安全、可信运行环境阿里云 ACK 新升级，打造智算时代的现代化应用平台25第二章容器服务典型企业案例云原生场景下月省 10 万元资源成本，这家企业做对了什么26云原生场景下月省 10 万元资源成本，这家企业做对了什么作者：冯诗淳，阿里云技术专家&ACK 成本套件研发负责人相信近期从事基础设施工作的各位，对 IT 成本治理，以及 FinOps 体系的概念已经有了一些认知。在 Google 近 5 年的热度趋势中，FinOps 的趋势也在持续上升。在阿里云的同学与客户实际工作协同中，我们发现成本治理是几乎每位客户都存在的普适需求，特别是各位技术管理者重要的关注点之一。据 FinOps 基金会 2023 年的报告，有 43%、24%、17%的公司，是由 CTO、CIO、CFO 直接指派 FinOps 团队向他汇报，只有 14%的公司处于还未建立体系化的降本增效的 KPI。根据 FinOps 基金会的报告，建设 FinOps 体系 Top 的痛点非常复杂，包括技术方面问题、如何驱动工程师进行优化、如何减少浪费的资源、如何在容器场景做成本报告分析；同时也存在管理等问题，比如如何让团队组织适应 FinOps 体系等等。我们希望阿里云在提供产品功能的同时，也能正确真正地帮助我们的客户落地自己的 FinOps 体系，真正让客户降本增效。云原生场景下月省 10 万元资源成本，这家企业做对了什么27在 2023 年云栖大会现场，我们有幸邀请到某头部科技型量化投资公司的云基础设施负责人，为我们提供基于阿里云容器服务成本套件 ACK FinOps 落地的云原生场景成本治理案例，帮助大家了解在容器场景下的企业成本治理现状、挑战，以及如何结合 ACK 成本套件产品功能构建云原生用户自己的 FinOps 体系。1.容器场景成本治理挑战与实践本次分享的企业是中国领先的以人工智能和机器学习为基础的科技型量化投资公司，使用了大量的 AI、大数据作业来辅助量化交易决策，需要大量弹性的算力的同时，也需要更好的实现成本的控制，通过 Kubernetes 将 AI、大数据、工作流等作业放在一个集群中分时、弹性运行。以该企业为例，业务系统大致分为几类应用部署形态：稳定的系统应用不特定时间的按需任务测试开发环境的应用云原生场景下月省 10 万元资源成本，这家企业做对了什么28这几类应用都会消耗基础计算资源，并产生成本。目前该企业部分业务在使用阿里云容器服务 ACK 集群做容器化部署，通过 Kubernetes 进行量化交易的数据执行与决策，及阿里云 ACK FinOps 套件实现成本的洞察与分摊，经过治理后实现了近 30%资源水位的提升。在企业成本治理的实践过程中，该企业主要遇到规划难、分账难、管理难、优化难这 4方面的挑战。规划难在进行成本治理方面工作时，首先遇到的挑战是按需任务、测试开发环境的容量规划问题。开发、测试应用在容器化部署架构下，实现快速迭代的同时，难以较准确地给出分配的资源量。过度分配资源会导致资源浪费，资源超售过度则会导致稳定性问题。分账难该企业的云基础设施每天为很多的上层应用提供服务，多个容器应用共享一个 K8s 集群。一个计算节点上可能运行多个 Pod，而且 Pod 可以弹性伸缩，在节点间动态迁移。多个业务应用混部在同一个池化的 K8s 集群中，难以把整个集群的账单分摊到应用和人。应用层与资源层计量计费在空间、时间等多个维度都无法做到一一对应，成本治理的复杂性业因此而来。云原生场景下月省 10 万元资源成本，这家企业做对了什么29管理难另外，由于各个应用的使用场景存在很大差别，每当找出闲置浪费的资源后，往往难以“爽快地”马上缩容下线资源，如何在优化资源成本浪费的同时保障业务的稳定性，一直是一个难以回答的问题。优化难容器化后是拥有各种丰富的成本优化手段，但“这样调低 request 资源分配水位后，是否影响业务？”，“现有的 HPA 弹性伸缩策略，是否能在业务真正需求资源时正确工作”，甚至于“我现在要下线的网络、存储资源是不是真的没人使用？”云原生技术中例如弹性、混部、Serverless、超卖等技术都有各自适合的典型场景。如果使用不当，比如弹性配置错误，可能带来意想不到的资源浪费甚至稳定性问题。如何解决分账难题首先要面对分账难问题，理清花费在哪儿是最重要的工作。站在 Infra 团队的视角，一直以来和上层业务、应用层的部门同事的协作工作方式都是：云原生场景下月省 10 万元资源成本，这家企业做对了什么30当新业务需要上线、或老业务需要扩容时，业务部门会申请告诉我们他们“期望”使用多少的容量，为了保证业务稳定性，资源需求往往拍脑袋定义，且业务团队都希望申请冗余远远超过实际预期的资源量。长此以往，集群的水位就会出现大量闲置。由于业务是容器化混合部署的应用在同一集群中，应用的水位分布也往往呈现长尾效应，稳定的大规模应用往往经过重点优化已经有较高的资源利用率，但大量小规模应用使用大量闲置资源。传统部署模型下的资源成本统计方式，是按业务使用的节点维度分析成本，但是在 K8s 场景下，业务使用的资源统一从资源池中调度，业务对资源浪费也隐藏在整个集群、节点的水位中难以发现。要算清这本糊涂账，一定要把成本归因到具体某个业务应用，甚至是具体到某个人，才能推动真正地降本。怎么把成本归因到具体业务，首先需要精细化的监控数据，来看清业务对资源的使用情况。阿里云 ACK 团队可以为企业提供详细的成本、资源观测数据，包括：每天每笔云上资源的真实花销成本账单每个容器部署的资源使用量、使用水位部门、业务、个人这些业务层层级关系，该企业通过按集群的 namespace、不同工作负载、任务通过打特定 label 的方式，最终与具体 K8s 集群中的花费资源成本的 Pod 进行映射。最终通过结合阿里云 ACK 成本洞察数据的方式，可构建多个不同视角的成本资源监控大盘，包括：每天每笔不同云资源账单维度的监控大盘归因到业务应用/个人的监控大盘由此，便于分析发现应用维度的浪费，如形成 Top 浪费的应用报表，进行数据驱动地成本优化推进。云原生场景下月省 10 万元资源成本，这家企业做对了什么31面对成本管理难题Infra 团队在推动降本增效时往往是无力的，更多需要推动跨团队的协作。站在一个业务应用的上线过程来看协同关系，Infra 团队往往职责是接受上层业务层同事的需求，以及保证提供资源，这里的需求关系是从业务层到 Infra 层是至顶向下的。然而 Infra 团队与成本资源花销的距离是最近的，感知是最深切的，所以往往需要由 Infra团队来推动成本治理，构建 FinOps 体系的建设。这里的路径在跨部门的协同关系上反而是至下而上反方向的。Infra 团队就算找到对应的业务团队，推动他们缩容、下架掉闲置的云资源，往往由于没有数据驱动或对降本增效清晰的认识而难以开展工作，最终会导致极其低效的降本增效，白白浪费 Infra 团队工程师们宝贵的时间。我们不妨换个思路拆解一下解决方案。首先需要明确，所有人都需要对降本增效负责，且需要划分清晰的责任范围。以该企业为例，业务协同主要分为三大类角色：云原生场景下月省 10 万元资源成本，这家企业做对了什么32业务应用团队：负责业务应用的具体研发业务平台团队：负责为业务应用提供通用业务能力Infra 团队：为以上团队提供基础设施顺着成本治理的至下而上的路径，该企业划分了成本治理清晰的权责范围，以及通过构建不同视角的成本监控大盘构建统一的数据驱动成本洞察体系。首先对成本资源感知距离最近的 Infra 团队：拿数据说话，驱动业务团队优化。通过集群的 overview 整体视角的监控大盘，从集群、各项云资源、节点等视角，界定确定性的浪费资源，以及通过对各集群资源使用的 breakdown 分析，找到成本问题的症结所在。对于业务平台团队，从业务预算、Quota 层面驱动业务成本优化。每个业务也需要从财务层面做成本治理，这里业务平台团队通过成本洞察的数据，结合财务的预算，形成统一的报表、监控。如预算超标，需要透传分配 Infra 团队根据 breakdown 数据，进行成本分析。业务应用团队，需要选择科学可靠的成本优化手段。作为应用的研发，使用业务平台、Infra平台，他们是对业务、代码最了解的专家，也是需要平衡资源浪费与应用稳定性的最终负责人。在 FinOps 体系中，ACK 成本套件为他们提供应用视角的监控大盘，清晰观测自己应用资源、成本水位的同时，判断收敛后的资源水位是否合理，以及对自身业务变化规律来制定科学的弹性策略以满足动态资源的需求。云原生场景下月省 10 万元资源成本，这家企业做对了什么33如何规划资源&成本有了以上的分账、跨团队协作的解决方案后，我们来看规划难的问题。新业务上线需要规范流程，制定合理的容量规划。而新业务、跑批任务等，经过上线前压测，通过经验值或成本套件资源画像等只能推荐出科学的资源规格配置。针对这个问题，在上线过程可以使用 ACK AHPA 等智能弹性策略来做到动态业务趋势的智能资源调整。每个业务都不应该无限申请成本。把成本、资源归因到个人，同时也需要根据业务量、资源趋势制定财务预算，以及成本 Quota 计划。合理地进行成本控制。部门、业务、个人的成本预算，应按应用使用比例分摊到集群中的应用部署、Pod。该企业的做法主要是通过 namespace、给容器副本打业务 label 的方式进行映射。最终预算与归因到对应业务后的实际成本花费进行比对。成本控制方面也是通过 API 集成 ACK 成本洞察的成本数据后，细粒度到业务应用、个人云原生场景下月省 10 万元资源成本，这家企业做对了什么34来配置的成本超预算报警。寻找稳定和成本间的平衡最后，在真正进行资源优化过程中。平衡稳定性和成本浪费是非常重要的。首先对于浪费发现，存在两部分浪费：首先需要发现确定性的浪费。完全没有使用的网络 SLB、EIP 等资源，长期空闲的节点等，这些可以通过 ACK 限制资源检查找到这些确定性的浪费。第二部分是非常普遍的，应用的资源浪费。虽然平均集群资源利用率经过优化达到了约50%。由于是容器化混合部署的应用在同一集群中，应用的水位分布也往往呈现长尾效应，稳定的大规模应用往往经过重点优化已经有较高的资源利用率，但大量小规模应用使用大量闲置资源，隐藏在整个集群中难以发现。这里可以通过拉取 ACK 成本洞察的Pod 维度的成本资源数据，归因浪费到具体应用/个人后，会使这些应用的碎片化浪费逐个暴露出来。云原生场景下月省 10 万元资源成本，这家企业做对了什么35科学合理的 Quota 设置对 K8s 有经验的使用者，对 K8s 资源分配量(Request)、资源限制(Limit)两个值应该会有深刻的理解。科学地配置工作负载的 Request 量可以帮助进行容量规划控制资源成本，Limit 资源限制则可以实现混部的超卖和保证应用的稳定性。通过统一 K8s 集群上应用的 request、limit 设置规范，通过业务量压测、预估经验值，结合根据历史资源使用量的 ACK 资源画像智能推荐的 request、limit 值，该企业可以做到科学地为各个应用设置合理 Quota，平衡业务稳定性和成本浪费。合理地使用弹性策略HPA 很先进，但激进的 HPA 配置会导致应用不符合预期地扩缩、甚至导致业务稳定性；保守的 HPA 配置可能会导致还是会有大量闲置资源，起不到太多成本节省的效果。云原生技术中例如通过业务指标进行 HPA、CronHPA 等都有各自适合的典型场景。在该企业中也有部分业务应用使用 HPA 策略。首先比较确定性的场景如周期性的业务，使用CronHPA；同时，参考成本、资源监控数据优化阈值，通过 HPA 的历史数据，保证资源的流转效率。在决定 HPA 的指标的选择上，该企业会先区分 CPU 密集型的业务还是内存密集型的业务，根据调度的关键资源指标作为 HPA 的决定值。在一些新的业务，没有能参考的资源指标场景，也在使用 ACK AHPA 智能 HPA 策略，形成动态智能的弹性扩缩。云原生场景下月省 10 万元资源成本，这家企业做对了什么36整个成本治理工作是一个复杂且综合性的事务。经过近一年多，目前在 IT 成本上节省约25%的成本，超过月 10w 的成本节省，部分集群资源利用率从 20%提升至 50%。在整个实践的过程中，该企业也定义了资源流转效率指标，一个业务应用通过弹性扩缩对新资源的使用率，来反映一个应用对资源的浪费程度，资源流转效率越大代表越节约。目前经过IT 成本治理，资源流转效率有了 20%的提升。“我们也希望通过本次分享我们在 IT成本治理方面的工作经验，帮助其他互联网金融客户等云上客户更好地建设 FinOps 体系。”2.阿里云 ACK FinOps 套件助力容器成本数字化治理阿里云 ACK 团队希望提供真正能帮助用户在容器场景构建 FinOps 体系的产品能力。在深入沟通、了解企业对于容器成本治理的需求和问题后，我们总结出通用的三大 FinOps治理流程：成本洞察、成本优化、以及成本控制。云原生场景下月省 10 万元资源成本，这家企业做对了什么37在成本洞察中，ACK FinOp 套件提供多维度视角，帮助用户把集群中业务成本归因到组织和个人。成本洞察能力经过更多客户场景的打磨，推出更科学的分账算法，同时目前支持通过 API 让客户进行二次开发，以及如极氪汽车等多云场景我们支持多云成本适配器，帮助多云、IDC 机器混合等场景下成本治理保持统一。在成本优化中，我们提供资源画像功能，智能推荐应用优化配置，并通过 Koordinator 在离线混部组件进一步提升资源利用率。以及提供 CronHPA、AHPA 等丰富的自动弹性扩缩容策略。并提供智能资源浪费巡检。在成本控制阶段，ACK 将提供成本洞察大盘周报功能，直接抄送成本周报至对应业务团队更能推进团队进行成本优化，并树立 FinOps 建设意识，提供费用趋势预测，帮助刚好地指定业务预算，最终进行成本控制。云原生场景下月省 10 万元资源成本，这家企业做对了什么38看清成本、找出浪费，永远是成本治理的第一步。ACK 成本洞察功能帮助用户构建数据驱动的成本观测能力。ACK 成本洞察功能提供开箱即用的集群成本大盘，实时计算出多维视角的集群应用成本账单，以及提供不同资源配型，如包年包月、抢占式节点的横向比较，以及推荐不同的节省策略。同时，下钻到应用层的应用视角成本大盘，提供对应用浪费资源程度的 Top 排序，清晰明了发现混部隐藏在集群中的应用浪费问题。云原生场景下月省 10 万元资源成本，这家企业做对了什么39Infra 团队和上层应用团队需要按统一的口径进行成本分账。云原生场景架构复杂，不同应用形态也会在混部场景中对调度资源产生影响。ACK FinOps提供独有的云原生容器场景成本分摊与估算模型，通过衡量应用对调度的影响大小，更科学合理地对应用成本进行拆分。多数用户的应用可分为两种场景，如 JAVA、J2EE 部署的应用，多为内存密集型场景，如跑批的分布式计算任务，多为 CPU 密集型场景，此类场景，CPU 或内存、甚至 GPU，会作为集群调度的关键资源，决定应用是否能被调度。此场景我们推荐单资源分摊模型，按关键资源进行分账。如一个典型场景，用户在 ACK 集群的 GPU 节点跑 spark 的跑批任务，GPU 资源是当前最影响调度的资源，所以该应用的成本，应该按当前应用运行时间内占用的 GPU 资源来拆分整个节点的成本。混部场景的用户，作为云原生的深度用户，一个集群中会有内存密集型、CPU 密集型等多种应用混部，此时每种资源都决定调度策略，此时我们推出按资源调度水位计算的权重混合资源分摊模型，此模型计算一个应用应该分摊的成本，是由他所申请资源影响可调度资源的部分决定。ACK 成本洞察可通过混合资源分摊模型，按每个应用对调度的影响，自动计算出合理的应用分账成本。云原生场景下月省 10 万元资源成本，这家企业做对了什么40看清了成本浪费后，云原生容器场景下有复杂的架构体系，如何进行优化往往无从下手。ACK FinOPs 成本套件梳理出 ACK 成本优化路径落地的最佳实践，帮助用户在同步场景选型不同的成本优化方案。如业务应用经常波动的场景，可以通过感知业务的波动，选择自动弹性策略、或通过混部场景的动态资源超卖等提高资源利用率。在不感知业务的情况下，可以检查是否已经是最优的资源配型等。云原生场景下月省 10 万元资源成本，这家企业做对了什么41确定性的浪费是我们首要需要找出来并收敛掉的。真实生产环境中，Infra 团队不敢轻易删除集群里的资源，在此 ACK 成本套件推出闲置资源巡检功能，帮助用户找出集群里确定性的闲置资源。这里通过找到处于未使用状态的资源，但在出账时却被计入本集群的成本的资源。包括 无业务应用使用的 云服务器 ECS、块存储、负载均衡 CLB 和弹性公网 IP的闲置检查。根据 FinOps 基金会的 2023 年报告，对云资源的更大利用率使用，以及如何驱动工程师团队采取优化措施是现在 FinOps 体系中最令人头疼的问题。在容器场景混部、动态的应用环境下，ACK 资源画像功能可以提供基于应用历史数据的智能资源配置推荐功能。千人千面，在容器场景下是一应用一画像。为每个应用智能推荐升降配策略。解决应用刚上线、或应用业务波动大，无法正确容量规划问题。资源画像的核心技术点在于提供同时平衡过冗余时的浪费且保证过度超卖的稳定性的推荐算法。我们的推荐算法主要考虑了以下 3 方面：云原生场景下月省 10 万元资源成本，这家企业做对了什么42使用多种资源维度进行统计，并使用类似分位数的统计方法区分应用突发峰值需求和日常资源需求。使用半衰期华东窗口模型，确保新的数据对算法模型的影响越大，越旧的数据对算法的影响越小。以及考虑了容器运行时状态，参考容器的 OOM 等运行状态，进一步提高推荐值的准确性以及保证稳定性。用户为什么要云原生容器化，除了使用统一标准化的配置方式规范地使用云资源，更大程度也是为了享受集群池化的资源带来的资源利用率提升与系统稳定性的平衡。HPA 弹性伸缩策略是 Kubernetes 技术生态对这一平衡的重要体现。ACK 容器服务提供丰富的 HPA 弹性策略，针对不同的场景。标准的 HPA，主要解决的业务负载压力波动比较大时，需要人工根据监控来不断调整副本数的问题，实现自动扩缩容。云原生场景下月省 10 万元资源成本，这家企业做对了什么43VPA 垂直扩容 Pod 所在的节点，主要解决资源配额（Pod 的 CPU、内存的limit/request）评估不准的问题。非常实用的如上文企业面对的周期性波动的应用场景，使用 CronHPA，定时水平扩缩容。基于可预期的时间，提前规划扩缩容 Pod 数。主要解决在可预期的时间，资源不足的问题。同时我们也提供一些领域垂直的弹性伸缩解决方案，如业务事件驱动的 Keda、以及Serverless 场景支持如灰度发布等场景的 knative 等领域弹性伸缩解决方案。HPA 的配置确实需要根据应用具体场景，如是否波动，来决定具体选择哪种 HPA 解决方案，以及关键指标应该如何选择等。很多同学看到这里就知难而退了，这里有太多的 HPA策略，复杂的场景，难以规划的阈值参数，需要丰富的 K8s 经验。现在 ACK 推出 AHPA智能弹性策略功能，解决这个问题，也让我们窥见了下一个阶段 HPA 弹性策略的新形态。AHPA 通过收集应用 Pod 的历史数据，通过智能的周期检查 预测算法，结合 ACK 专业的 K8s 应用部署经验。通过资源提前预热，解决 HPA 弹出滞后性的问题。云原生场景下月省 10 万元资源成本，这家企业做对了什么44AHPA 自动配置阈值，智能识别业务指标曲线，无需人工干预，自动弹性规划。支持配置弹性降级保护，快速兜底容错。AHPA 使用资源提前预热的方法，根据智能算法提前预测将要发生的弹性对资源的需求，实时调整资源容量。正常客户的 HPA 拉起新的 Pod，需要经历如资源调度、拉取镜像、等待容器启动等耗时过程，AHPA 预热后解决客户弹性之后性的问题。通过历史数据的智能预测，无需人工干预，自动规划弹性策略、阈值，解决阈值配错、不好配的问题；以及 AHPA 与标准 HPA 相比，更合理阈值的配置也解决了弹性的滞后性问题。对突发的业务流量收缩，支持配置弹性降级保护措施，避免过保守的 HPA 策略不能降本增效，过激进的 HPA 策略面对突发情况时会影响业务稳定性。在提升资源使用率的同时，保障业务的稳定性。希望通过我们的分享，能够帮助更多企业了解在容器场景下的企业成本治理现状、挑战，以及如何结合阿里云容器服务 ACK 成本套件产品功能，构建企业自己的云原生 FinOps体系。米哈游大数据云原生实践45米哈游大数据云原生实践作者：米哈游大数据开发近年来，容器、微服务、Kubernetes 等各项云原生技术的日渐成熟，越来越多的公司开始选择拥抱云原生，并开始将 AI、大数据等类型的企业应用部署运行在云原生之上。以Spark 为例，在云上运行 Spark 可以充分享有公共云的弹性资源、运维管控和存储服务等，并且业界也涌现了不少 Spark on Kubernetes 的优秀实践。在刚刚结束的 2023 云栖大会上，米哈游数据平台组大数据技术专家杜安明分享了米哈游大数据架构向云原生化升级过程中的目标、探索和实践，以及如何通过以阿里云容器服务ACK 为底座的 Spark on K8s 架构，获得在弹性计算、成本节约以及存算分离方面的价值。1.背景简介随着米哈游业务的高速发展，大数据离线数据存储量和计算任务量增长迅速，早期的大数据离线架构已不再满足新场景和需求。为了解决原有架构缺乏弹性、运维复杂、资源利用率低等问题，2022 年下半年，我们着手调研将大数据基础架构云原生化，并最终在阿里云上落地了 Spark on K8s OSS-HDFS方案，目前在生产环境上已稳定运行了一年左右的时间，并获得了弹性计算、成本节约以及存算分离这三大收益。1）弹性计算由于游戏业务会进行周期版本更新、开启活动以及新游戏的上线等，对离线计算资源的需求与消耗波动巨大，可能是平时水位的几十上百倍。利用 K8s 集群天然的弹性能力，将Spark 计算任务调度到 K8s 上运行，可以比较轻松的解决这类场景下资源消耗洪峰问题。2）成本节约米哈游大数据云原生实践46依托阿里云容器服务 Kubernetes 版 ACK 集群自身强大的弹性能力，所有计算资源按量申请、用完释放，再加上我们对 Spark 组件的定制改造，以及充分利用 ECI Spot 实例，在承载同等计算任务和资源消耗下，成本节约达 50%。3）存算分离Spark 运行在 K8s 之上，完全使用 K8s 集群的计算资源，而访问的则数据也由 HDFS、OSS 逐步切换到 OSS-HDFS 上，中间 Shuffle 数据的读写采用 Celeborn，整套架构实现了计算和存储的解耦，易于维护和扩展。2.Spark on K8s 架构演进众所周知，Spark 引擎可以支持并运行在多种资源管理器之上，比如 Yarn、K8s、Mesos等。在大数据场景下，目前国内大多公司的 Spark 任务还是运行在 Yarn 集群之上的，Spark 在 2.3 版本首次支持 K8s，并于 2021 年 3 月发布的 Spark3.1 版本才正式 GA。相较于 Yarn，Spark 在 K8s 上起步较晚，尽管在成熟度、稳定性等方面还存在一定的欠缺，但是 Spark on K8s 能够实现弹性计算以及成本节约等非常突出的收益，所以各大公司也都在不断进行尝试和探索，在此过程中，Spark on K8s 的运行架构也在不断的向前迭代演进。1）在离线混部目前，将 Spark 任务运行在 K8s 上，大多公司采用的方案依旧是在线与离线混合部署的方式。架构设计依据的原理是，不同的业务系统会有不同的业务高峰时间。大数据离线业米哈游大数据云原生实践47务系统典型任务高峰期间会是凌晨的 0 点到 9 点钟，而像是各种应用微服务、Web 提供的 BI 系统等，常见的业务高峰期是白天时间，在这个时间以外的其它时间中，可以将业务系统的机器 Node 加入到 Spark 所使用的 K8s NameSpace中。如下图所示，将Spark 与其他在线应用服务等都部署在一套 K8s 集群之上。该架构的优点是可以通过在离线业务的混合部署和错峰运行，来提升机器资源利用率并降低成本，但是缺点也比较明显，即架构实施起来复杂，维护成本比较高，而且难以做到严格的资源隔离，尤其是网络层面的隔离，业务之间不可避免的会产生一定的相互影响，此外，我们认为该方式也不符合云原生的理念和未来发展趋势。2）Spark on K8s OSS-HDFS考虑到在离线混合部署的弊端，我们设计采用了一种新的、也更加符合云原生的实现架构：底层存储采用 OSS-HDFS(JindoFs)，计算集群采用阿里云的容器服务 ACK，Spark 选择功能相对丰富且比较稳定的 3.2.3 版本。米哈游大数据云原生实践48OSS-HDFS 完全兼容了 HDFS 协议，除了具备 OSS 无限容量、支持数据冷热存储等优点以外，还支持了目录原子性、毫秒级 rename 操作，非常适用于离线数仓，可以很好的平替现有 HDFS 和 OSS。阿里云 ACK 集群提供了高性能、可伸缩的容器应用管理服务，可以支持企业级Kubernetes 容器化应用的生命周期管理，ECS 是大家所熟知的阿里云服务器，而弹性容器实例 ECI 是一种 Serverless 容器运行服务，可以按量秒级申请与释放。该架构简单易维护，底层利用 ECI 的弹性能力，Spark 任务可以较为轻松的应对高峰流量，将 Spark 的 Executor 调度在 ECI 节点上运行，可最大程度的实现计算任务弹性与最佳的降本效果，整体架构的示意图如下所示。3.云原生架构设计与实现1）基本原理在阐述具体实现之前，先简要介绍一下 Spark 在 K8s 上运行的基本原理。Pod 在 K8s中是最小的调度单元，Spark 任务的 Driver 和 Executor 都是一个单独 Pod，每个 Pod米哈游大数据云原生实践49都分配了唯一的 IP 地址，Pod 可以包含一个或多个 Container，无论是 Driver 还是Executor 的 JVM 进程，都是在 Container 中进行启动、运行与销毁的。一个 Spark 任务被提交到 K8s 集群之后，首先启动的是 Driver Pod，而后 Driver 会向Apiserver 按需申请 Executor，并由 Executor 去执行具体的 Task，作业完成之后由Driver 负责清理所有的 Executor Pod，以下是这几者关系的简要示意图。2）执行流程下图展示了完整的作业执行流程，用户在完成 Spark 作业开发后，会将任务发布到调度系统上并进行相关运行参数的配置，调度系统定时将任务提交到自研的 Launcher 中间件，并由中间件来调用 spark-k8s-cli，最终由 Cli 将任务提交至 K8s 集群上。任务提交成功之后，Spark Driver Pod 最先启动，并向集群申请分配 Executor Pod，米哈游大数据云原生实践50Executor 在运行具体的 Task 时，会与外部 Hive、Iceberg、OLAP 数据库、OSS-HDFS等诸多大数据组件进行数据的访问与交互，而 Spark Executor 之间的数据 Shuffle 则由CeleBorn 来实现。3）任务提交关于如何将 Spark 任务提交到 K8s 集群上，各个公司的做法不尽相同，下面先简要描述下目前比较常规的做法，然后再介绍目前我们线上所使用的任务提交和管理方式。3.1 使用原生 spark-submit通过 spark-submit 命令直接提交，Spark 原生就支持这种方式，集成起来比较简单，也符合用户的习惯，但是不方便进行作业状态跟踪和管理，无法自动配置 Spark UI 的Service 和 Ingress，任务结束后也无法自动清理资源等，在生产环境中并不适合。3.2 使用 spark-on-k8s-operator这是目前较常用的一种提交作业方式，K8s 集群需要事先安装 spark-operator，客户端通过 kubectl 提交 yaml 文件来运行 Spark 作业。本质上这是对原生方式的扩展，最终提交作业依然是使用 spark-submit 方式，扩展的功能包括：作业管理，Service/Ingress创建与清理，任务监控，Pod 增强等。此种方式可在生产环境中使用，但与大数据调度平台集成性不太好，对于不熟悉 K8s 的用户来说，使用起来复杂度和上手门槛相对较高。米哈游大数据云原生实践513.3 使用 spark-k8s-cli在生产环境上，我们采用 spark-k8s-cli 的方式进行任务的提交。spark-k8s-cli 本质上是一个可执行的文件，基于阿里云 emr-spark-ack 提交工具我们进行了重构、功能增强和深度的定制。spark-k8s-cli 融合 spark-submit 和 spark-operator 两种作业提交方式的优点，使得所有作业都能通过 spark-operator 管理，支持运行交互式 spark-shell 和本地依赖的提交，并且在使用方式上与原生 spark-submit 语法完全一致。在上线使用初期，我们所有任务的 Spark Submit JVM 进程都启动在 Gateway Pod 中，在使用一段时间后，发现该方式稳定性不足，一旦 Gateway Pod 异常，其上的所有正在Spark 任务都将失败，另外 Spark 任务的日志输出也不好管理。鉴于此种情况，我们将spark-k8s-cli 改成了每个任务使用单独一个 Submit Pod 的方式，由 Submit Pod 来申请启动任务的 Driver，Submit Pod 和 Driver Pod 一样都运行在固定的 ECS 节点之上，Submit Pod 之间完全独立，任务结束后 Submit Pod 也会自动释放。spark-k8s-cli 的提交和运行原理如下图所示。米哈游大数据云原生实践52关于 spark-k8s-cli，除了上述基本的任务提交以外，我们还做了其他一些增强和定制化的功能。支持提交任务到同地域多个不同的 K8s 集群上，实现集群之间的负载均衡和故障转移切换实现类似 Yarn 资源不足时的自动排队等待功能（K8s 如果设置了资源 Quota，当Quota 达到上限后，任务会直接失败）增加与 K8s 网络通信等异常处理、创建或启动失败重试等，对偶发的集群抖动、网络异常进行容错支持按照不同部门或业务线，对大规模补数任务进行限流和管控功能内嵌任务提交失败、容器创建或启动失败以及运行超时等告警功能米哈游大数据云原生实践534）日志采集与展示K8s 集群本身并没有像 Yarn 那样提供日志自动聚合和展示的功能，Driver 和 Executor的日志收集需要用户自己来完成。目前比较常见的方案是在各个 K8s Node 上部署 Agent，通过 Agent 把日志采集并落在第三方存储上，比如 ES、SLS 等，但这些方式对于习惯了在 Yarn 页面上点击查看日志的用户和开发者来说，使用起来很不方便，用户不得不跳转到第三方系统上捞取查看日志。为实现 K8s Spark 任务日志的便捷查看，我们对 Spark 代码进行了改造，使 Driver 和Executor 日志最终都输出到 OSS 上，用户可以在 Spark UI 和 Spark Jobhistory 上，直接点击查看日志文件。上图所示为日志的收集和展示原理，Spark 任务在启动时，Driver 和 Executor 都会首先注册一个 Shutdown Hook，当任务结束 JVM 退出时，调用 Hook 方法把完整的日志上传到 OSS 上。此外，想要完整查看日志，还需要对 Spark 的 Job History 相关代码做下改造，需要在History 页面显示 stdout 和 stderr，并在点击日志时，从 OSS 上拉取对应 Driver 或Executor 的日志文件，最终由浏览器渲染查看。另外，对于正在运行中的任务，我们会提供一个 Spark Running Web UI 给用户，任务提米哈游大数据云原生实践54交成功后，spark-operator 会自动生成的 Service 和 Ingress 供用户查看运行详情，此时日志的获取通过访问 K8s 的 api 拉取对应 Pod 的运行日志即可。5）弹性与降本基于 ACK 集群提供的弹性伸缩能力，再加上对 ECI 的充分利用，同等规模量级下的 Spark任务，运行在 K8s 的总成本要明显低于在 Yarn 固定集群上，同时也大大提高了资源利用率。弹性容器实例 ECI 是一种 Serverless 容器运行服务，ECI 和 ECS 最大的不同就在于ECI 是按量秒级计费的，申请与释放速度也是秒级的，所以 ECI 很适合 Spark 这一类负载峰谷明显的计算场景。上图示意了 Spark 任务在 ACK 集群上如何申请和使用 ECI，使用前提是在集群中安装ack-virtual-node 组件，并配置好 Vswitch 等信息，在任务运行时，Executor 被调度到虚拟节点上，并由虚拟节点申请创建和管理 ECI。ECI 分为普通实例和抢占式实例，抢占式实例是一种低成本竞价型实例，默认有 1 小时的保护期，适用于大部分 Spark 批处理场景，超出保护期后，抢占式实例可能被强制回收。米哈游大数据云原生实践55为进一步提升降本效果，充分利用抢占式实例的价格优势，我们对 Spark 进行改造，实现了 ECI 实例类型自动转换的功能。Spark 任务的 Executor Pod 都优先运行在抢占式 ECI 实例上，当发生库存不足或其他原因无法申请创建抢占式实例，则自动切换为使用普通 ECI 实例，保证任务的正常运行。具体实现原理和转换逻辑如下图所示。6）Celeborn由于 K8s 节点的磁盘容量很小，而且节点都是用时申请、用完释放的，无法保存大量的Spark Shuffle 数据。如果对 Executor Pod 挂载云盘，挂载盘的大小难以确定，考虑到数据倾斜等因素，磁盘的使用率也会比较低，使用起来比较复杂。此外，虽然 Spark 社区在 3.2 提供了 Reuse PVC 等功能，但是调研下来觉得功能尚不完备且稳定性不足。为解决 Spark 在 K8s 上数据 Shuffle 的问题，在充分调研和对比多家开源产品后，最终采用了阿里开源的 Celeborn 方案。Celeborn 是一个独立的服务，专门用于保存 Spark的中间 Shuffle 数据，让 Executor 不再依赖本地盘，该服务 K8s 和 Yarn 均可以使用。米哈游大数据云原生实践56Celeborn 采用了 Push Shuffle 的模式，Shuffle 过程为追加写、顺序读，提升数据读写性能和效率。基于开源的 Celeborn 项目，我们内部也做了一些数据网络传输方面的功能增强、Metrics丰富、监控告警完善、Bug 修复等工作，目前已形成了内部稳定版本。7）Kyuubi on K8sKyuubi 是一个分布式和多租户的网关，可以为 Spark、Flink 或 Trino 等提供 SQL 等查询服务。在早期，我们的 Spark Adhoc 查询是发送到 Kyuubi 上执行的。为了解决Yarn 队列资源不足，用户的查询 SQL 无法提交和运行的问题，在 K8s 上我们也支持了Kyuubi Server 的部署运行，当 Yarn 资源不足时，Spark 查询自动切换到 K8s 上运行。鉴于 Yarn 集群规模逐渐缩减，查询资源无法保证，以及保障相同的用户查询体验，目前我们已将所有的 SparkSQL Adhoc 查询提交到 K8s 上执行。为了让用户的 Adhoc 查询也能在 K8s 上畅快运行，我们对 Kyuubi 也做了一些源码改造，包括对 Kyuubi 项目中 docker-image-tool.sh、Deployment.yaml、Dockfile 文件的改写，重定向 Log 到 OSS 上，Spark Operator 管理支持、权限控制、便捷查看任米哈游大数据云原生实践57务运行 UI 等。8）K8s Manager在 Spark on K8s 场景下，尽管 K8s 有集群层面的监控告警，但是还不能完全满足我们的需求。在生产环境中，我们更加关注的是在集群上的 Spark 任务、Pod 状态、资源消耗以及 ECI 等运行情况。利用 K8s 的 Watch 机制，我们实现了自己的监控告警服务 K8sManager，下图所示为该服务的示意图。K8sManager 是内部实现的一个比较轻量的 Spring Boot 服务，实现的功能就是对各个米哈游大数据云原生实践58K8s 集群上的 Pod、Quota、Service、ConfigMap、Ingress、Role 等各类资源信息监听和汇总处理，从而生成自定义的 Metrics 指标，并对指标进行展示和异常告警，其中包括集群 CPU 与 Memory 总使用量、当前运行的 Spark 任务数、Spark 任务内存资源消耗与运行时长 Top 统计、单日 Spark 任务量汇总、集群 Pod 总数、Pod 状态统计、ECI机器型号与可用区分布统计、过期资源监控等等，这里就不一一列举了。9）其他工作9.1 调度任务自动切换在我们的调度系统中，Spark 任务支持配置 Yarn、K8s、Auto 三种执行策略。如果用户任务指明了需要运行使用的资源管理器，则任务只会在 Yarn 或 K8s 上运行，若用户选择了 Auto，则任务具体在哪里执行，取决于当前 Yarn 队列的资源使用率，如下图所示。由于总任务量较大，且 Hive 任务也在不断迁移至 Spark，目前仍然有部分任务运行在Yarn 集群上，但最终的形态所有任务将由 K8s 来托管。9.2 多可用区、多交换机支持Spark 任务运行过程中大量使用 ECI，ECI 创建成功有两个前提条件:1、能够申请到 IP 地址；2、当前可用区有库存。实际上，单个交换机提供的可用 IP 数量有限，单个可用区拥有的抢占式实例的总个数也是有限的，因此在实际生产环境中，无论是使用普通 ECI 还是Spot 类型的 ECI，比较好的实践方式是配置支持多可用区、多交换机。米哈游大数据云原生实践599.3 成本计算由于在 Spark 任务提交时，都已明确指定了每个 Executor 的 Cpu、Memory 等型号信息，在任务结束 SparkContxt 关闭之前，我们可以从任务的中拿到每个 Executor 的实际运行时长，再结合单价，即可计算出 Spark 任务的大致花费。由于 ECI Spot 实例是随着市场和库存量随时变动的，该方式计算出来的单任务成本是一个上限值，主要用于反映趋势。9.4 优化 Spark Operator在上线初期任务量较少时，Spark Operator 服务运行良好，但随着任务不断增多，Operator 处理各类 Event 事件的速度越来越慢，甚至集群出现大量的 ConfigMap、Ingress、Service 等任务运行过程中产生的资源无法及时清理导致堆积的情况，新提交Spark 任务的 Web UI 也无法打开访问。发现问题后，我们调整了 Operator 的协程数量，并实现对 Pod Event 的批量处理、无关事件的过滤、TTL 删除等功能，解决了 Spark Operator 性能不足的问题。9.5 升级 Spark K8s ClientSpark3.2.2 采用 fabric8(Kubernetes Java Client)来访问和操作 K8s 集群中的资源，默认客户端版本为 5.4.1，在此版本中，当任务结束 Executor 集中释放时，Driver 会大量米哈游大数据云原生实践60发送 Delete Pod 的 Api 请求到 K8s Apiserver 上，对集群 Apiserver 和 ETCD 造成较大的压力，Apiserver 的 cpu 会瞬间飙高。目前我们的内部 Spark 版本，已将 kubernetes-client 升级到 6.2.0，支持 pod 的批量删除，解决 Spark 任务集中释放时，由大量的删除 Api 请求操作的集群抖动。3.问题与解决方案在整个 Spark on K8s 的方案设计以及实施过程中，我们也遇到了各种各样的问题、瓶颈和挑战，这里做下简单的介绍，并给出我们的解决方案。1）弹性网卡释放慢弹性网卡释放速度慢的问题，属于 ECI 大规模应用场景下的性能瓶颈，该问题会导致交换机上 IP 的剧烈消耗，最终导致 Spark 任务卡住或提交失败，具体触发原因如下图所示。目前阿里云团队已通过技术升级改造解决，并大幅提升了释放速度和整体性能。2）Watcher 失效Spark 任务在启动 Driver 时，会创建对 Executor 的事件监听器，用于实时获取所有Executor 的运行状态，对于一些长时运行的 Spark 任务，这个监听器往往会由于资源过米哈游大数据云原生实践61期、网络异常等情况而失效，因此在此情况下，需要对 Watcher 进行重置，否则任务可能会跑飞。该问题属于 Spark 的一个 Bug，当前我们内部版本已修复，并将 PR 提供到了 Spark 社区。3）任务卡死如上图所示，Driver 通过 List 和 Watch 两种方式来获取 Executor 的运行状况。Watch采用被动监听机制，但是由于网络等问题可能会发生事件漏接收或漏处理，但这种概率比较低。List 采用主动请求的方式，比如每隔 3 分钟，Driver 可向 Apiserver 请求一次自己任务当前全量 Executor 的信息。由于 List 请求任务所有 Pod 信息，当任务较多时，频繁 List 对 K8s 的 Apiserver 和ETCD 造成较大压力，早期我们关闭了定时 List，只使用 Watch。当 Spark 任务运行异常，比如有很多 Executor OOM 了，有一定概率会导致 Driver Watch 的信息错误，尽管Task 还没有运行完，但是 Driver 却不再申请 Executor 去执行任务，发生任务卡死。对此我们的解决方案如下:在开启 Watch 机制的同时，也开启 List 机制，并将 List 时间间隔拉长，设置每 5 分钟请求一次修改 ExecutorPodsPollingSnapshotSource 相关代码，允许 Apiserver 服务端缓存，从缓存中获取全量 Pod 信息，降低 List 对集群的压力米哈游大数据云原生实践624）Celeborn 读写超时、失败ApacheCeleborn 是阿里开源的一款产品，前身为 RSS(Remote Shuffle Service)。在早期成熟度上还略有欠缺，在对网络延迟、丢包异常处理等方面处理的不够完善，导致线上出现一些有大量 Shuffle 数据的 Spark 任务运行时间很长、甚至任务失败，以下三点是我们针对此问题的解决办法。优化 Celeborn，形成内部版本，完善网络包传输方面的代码调优 Celeborn Master 和 Worker 相关参数，提升 Shuffle 数据的读写性能升级 ECI 底层镜像版本，修复 ECI Linux 内核 Bug5）批量提交任务时，Quota 锁冲突为了防止资源被无限使用，我们对每个 K8s 集群都设置了 Quota 上限。在 K8s 中，Quota 也 是 一 种 资 源，每 一 个Pod 的 申 请 与 释 放 都 会 修 改Quota 的 内 容(Cpu/Memory 值)，当很多任务并发提交时，可能会发生 Quota 锁冲突，从而影响任务Driver 的创建，任务启动失败。应对这种情况导致的任务启动失败，我们修改 Spark Driver Pod 的创建逻辑，增加可配置的重试参数，当检测到 Driver Pod 创建是由于 Quota 锁冲突引起时，进行重试创建。Executor Pod 的创建也可能会由于 Quota 锁冲突而失败，这种情况可以不用处理，Executor 创建失败 Driver 会自动申请创建新的，相当于是自动重试了。米哈游大数据云原生实践636）批量提交任务时，UnknownHost 报错当瞬时批量提交大量任务到集群时，多个 Submit Pod 会同时启动，并向 Terway 组件申请 IP 同时绑定弹性网卡，存在一定概率出现以下情况，即 Pod 已经启动了，弹性网卡也绑定成功但是实际并没有完全就绪，此时该 Pod 的网络通信功能实际还无法正常使用，任务访问 Core DNS 时，请求无法发出去，Spark 任务报错 UnknownHost 并运行失败。该问题我们通过下面这两个措施进行规避和解决：为每台 ECS 节点，都分配一个 Terway Pod开启 Terway 的缓存功能，提前分配好 IP 和弹性网卡，新 Pod 来的直接从缓存池中获取，用完之后归还到缓存池中7）可用区之间网络丢包为保障库存的充足，各 K8s 集群都配置了多可用区，但跨可用区的网络通信要比同可用区之间通信的稳定性略差，即可用区之间就存在一定概率的丢包，表现为任务运行时长不稳定。对 于 跨 可 用 区 存 在 网 络 丢 包 的 现 象，可 尝 试 将ECI 的 调 度 策 略 设 定 为VSwitchOrdered，这样一个任务的所有 Executor 基本都在一个可用区，避免了不同可以区 Executor 之间的通信异常，导致的任务运行时间不稳定的问题。054.总结与展望最后，非常感谢阿里云容器、ECI、EMR 等相关团队的同学，在我们整个技术方案的落地与实际迁移过程中，给予了非常多的宝贵建议和专业的技术支持。目前新的云原生架构已在生产环境上稳定运行了近一年左右的时间，在未来，我们将持续对整体架构进行优化和提升，主要围绕以下几个方面:米哈游大数据云原生实践64持续优化云原生的整体方案，进一步提升系统承载与容灾能力云原生架构升级，更多大数据组件容器化，让整体架构更加彻底的云原生化更加细粒度的资源管理和精准的成本控制米哈游大数据云原生实践65第三章容器 AI 工程化创新智算时代，基于 ACK 落地云原生 AI66智算时代，基于 ACK 落地云原生 AI作者：张凯，阿里云高级技术专家1.背景以 GPT（Generative Pre-trained Transformer）和 Diffusion model 为代表的大语言模型（Large language model，LLM）和生成式人工智能（Generative artificial intelligence，GAI）在过往两年，将人们对 AI 的梦想与期待推向了一个新高峰。这一次，AI 带来的“智能”效果和“涌现”能力，吸引着千行百业都在积极思考如何在业务中利用大模型。即便训练一次千亿参数量模型的成本可能就高达百万美元，依然有很多企业希望拥有自己的专属大模型。今天的云计算已经承载了从业务应用，到数据库、大数据、机器学习和高性能计算等大多数计算负载。面对 LLM 和 GAI 这类对算力和数据都有极高量级需求的新负载，云计算也迎来了“智算”时代。一方面以服务化资源池的方式提供千 GPU 卡，甚至万卡的算力，PB 级存储和单机 Tb 级高性能网络互联，另一方面以云原生标准化交付算力给大模型的生产者和使用者。阿里云云原生容器服务借助容器、Kubernetes、微服务等云原生技术，在阿里云弹性计算、存储、网络和灵骏智算服务基础之上，推出了 ACK 云原生 AI 套件产品和解决方案，帮助企业在“智算”时代，更快、更高效地落地云原生 AI 系统。此次云栖大会的分享共分三部分，介绍云原生 AI 领域的基础知识。首先，解析云原生 AI所遇到的技术提站和应对方案，随后介绍云原生 AI 领域的关键技术与架构细节，最后分享我们在 ACK 的相关经验及工程实践。智算时代，基于 ACK 落地云原生 AI672.大模型带来的技术挑战 AI在计算机视觉、语音、NLP等领域取得突破，已深入影响各行各业 AI服务上云形成趋势 深度学习/AIGC应用广泛采用容器等云原生技术开发探索数据准备模型构建模型训练模型推理调优提效持续发布弹性深度学习的特点 端到端流水线 Raw data in,executable model out 任务长时运行 小时天周 持续迭代优化梯度下降,超参数调优,Prompt工程 消耗大量算力和海量数据人工智能机器学习深度学习(Supervised learning)Generative AIReinforcement learningUnsupervised learning人工智能(AI)发展概述New Future on Cloud近年来，深度学习引领 AI 的再次快速发展，并已成为主流方向。其中涉及到多种技术，包括有监督学习、强化学习、无监督学习等。以深度学习为代表的技术已在计算机视觉、语音识别等领域取得巨大进展，推动了许多行业的创新。通过云化服务的方式，交付 AI 能力也成为一种趋势。总结深度学习任务的特性包括：首先，它是一种端到端的工作流程，旨在从大量原始数据中提取特征，进而创建可执行模型。其次，通常需要长时间的训练，任务运行时间可能以小时，甚至以月为单位。在训练过程中，需反复迭代优化，不断调整参数，以使模型能够更好地接近真实数据特征分布。这会导致算力资源和数据的巨大消耗。智算时代，基于 ACK 落地云原生 AI68工作项原有方式：从底层资源到上层框架，全手动环境搭建安装配置脚本，make，Bazel或者pip安装，容器镜像分布式环境通过SSH登录到每台机器上手工部署GPU资源调度手动管理，静态分配，使用效率不明确数据准备数据存储共享自建存储，手动拷贝训练数据到每台机器上模型开发开发手动安装J upyter，Tensorboard等工具模型训练训练登录每台机器上手工启动、记录、对比实验监控GPU资源监控：登录GPU主机执行nvidia-smi查看，或编写代码调用NVML；训练效果监控：手动启动TensorBoard错误处理缺少容错，手动保存checkpoint、重启任务模型推理模型发布用户需自定义发布流程和系统线上运维用户自建运维系统OS、Nvidia驱动、CUDA、cuDNN等环境配置 NVIDIA Driver 367,370;CUDA Toolkit 7.5,8.0;cuDNN 5.软件的依赖关系 Python,GCC,Bazel 资源分配策略多样 GPU卡型更新频繁 应用要指定单张或多张GPU卡 甚至要使用一张GPU卡的部分资源GPU运维复杂 监控维度多 故障排查难 弹性不灵活数据科学家算法工程师平台运维复杂、多变、低效GPU利用率如何？如何提升GPU资源的ROI？还有多少GPU空闲？我的GPU还正常工作吗？AI工程落地难、效率低以深度学习为代表的AI生产系统面临效率、性能和成本挑战挑战1：GPU集群管理复杂挑战2：深度学习工程效率低理解了深度学习为代表的 AI 工作负载特性后，我们可以发现在实际生产和应用中，AI 和深度学习工程会面临几个主要挑战，尤其是在效率、性能和成本方面。例如，管理 GPU 集群是一项非常复杂的工作。只有少量 GPU 机器时，个人数据科学家或计算工程师可以独立操作和维护。然而，随着 GPU 数量增长到数十台甚至数百台，形成大规模 GPU 集群时，环境一致性、版本依赖性、配置多样性、效率提升以及运维生命周期复杂度等问题将变得尤为突出。许多算法工程师不得不花费大量时间和精力解决 GPU 集群管理和资源分配等基础问题，从而拖延真正用于深度学习模型开发和训练的工作。另一方面，即使解决了 GPU 管理问题，AI 工程效率仍然受到生命周期复杂性的限制。整个流程，从开发环境搭建、数据准备到模型开发、模型训练、优化、可视化控制、错误处理等，直到模型推理上线和运维，每一个环节都可能导致 AI 模型的开发周期延长且效率低下。而且这些环节大多需要手动操作或使用各种脚本串联，开发效率较低，协同难度大。因此，提高 AI 的工程效率是另一个亟待解决的问题。智算时代，基于 ACK 落地云原生 AI69大模型对基础设施带来更多挑战 算力：千卡GPU任务，万卡集群 数据：PB级存储，TB级吞吐 网络：800Gbps3.2Tbps RDMA 训练：分布式，混合并行 推理：模型优化、服务QoS 工程效率：持续快速迭代 资源效率：高利用率、可扩展GPT3：175B参数，单次训练使用45TB数据，近千卡A100/1个月，成本数百万美元。效率规模性能 大模型对基础设施服务能力的挑战是阶跃式的。对“规模、性能、效率”的要求，成为LLM/AIGC快速落地的高门槛。当面对 LLM 和 AIGC 等新领域，AI 对基础设施服务能力提出了更多挑战。主要体现在规模、性能和效率三个方面。在规模上，要训练出具有广泛知识和专业领域理解及推理能力的大语言模型，往往需要高达万卡级别的 GPU 集群和 PB 级的数据存储以及 TB 级的数据吞吐。此外，高性能网络也将达到单机 800Gbps 甚至 3.2Tbps 的 RDMA 互联。在性能方面，随着模型体积和参数量的增长，单张显卡已无法承载完整的模型。因此需要使用多张显卡进行分布式训练，并采用各种混合并行策略进行加速。这些策略包括数据并行、模型并行、流水线并行以及针对语言模型的序列并行等，以及各种复杂的组合策略。在推理阶段，模型需要提供高效且稳定的推理服务，这需要不断优化其性能，并确保服务质量（QoS）得到保证。在此基础上，最重要的目标是提高资源效率和工程效率。一方面，持续提高资源利用效率，并通过弹性扩展资源规模，以应对突发的计算需求。另一方面，要最优化算法人员的工作效率，提高模型迭代速度和质量。因此，资源效率和工程效率成为了最优先考虑的优化目标。智算时代，基于 ACK 落地云原生 AI70更弹性的算力需求更高的稳定性要求更快的创新和迭代交付 Gartner 预测：到2023 年 70%的 AI 应用是基于容器和 Serverless 技术开发。IDC预测：By 2025,Nearly 50%of All Accelerated Infrastructure for Performance-Intensive Computing(AI,HPC,and Big Data Analytics)will Be Cloud Based as These Systems Are Increasingly Integrated with Enterprise Software.从无状态应用，到企业核心应用，到AI/大数据应用基于容器的AI/大数据成为云原生时代的技术趋势AI工程化向云原生架构演进资源管理分散生产流程割裂、效率低团队协作、共享困难传统架构资源池化：弹性、灵活生产流程高效闭环多角色协同，加速迭代云原生架构随着云原生技术和架构发展，我们明显观察到 IT 架构的变化。传统的企业级应用、Web 应用、微服务等领域都在从传统架构转向云原生架构。互联网应用大多是基于容器、Kubernetes，Prometheus 等云原生技术实现的，追求弹性、灵活性以及最佳性价比。同时，通过标准化交付，提升生产流程的高效闭环。在标准 API 和标准架构的指导下，进一步提高多角色之间的协作和迭代效率。同样地，为了获得更多弹性算力供给、更高稳定性保证以及更快的交付，越来越多 AI 和大数据工作负载也运行在云原生架构上。右图清晰地显示了这一趋势：最早是从可水平扩展的无状态应用程序（如 Web 应用、移动后端应用）开始；然后是 NoSQL 数据库、关系数据库、TensorFlow、PyTorch、Spark、Flink 等大数据和典型机器学习的 AI 计算任务。都能够在 Kubernetes 容器集群上大规模运行。三方研究机构的预测，显示出同样的趋势。早在 2019 年，Gartner 就曾预测，到 2023 年，70%的人工智能应用程序将基于云原生等技术进行开发。IDC 的研究则预测，到 2025 年，智算时代，基于 ACK 落地云原生 AI71接近 50%的企业内部的数据密集型或性能密集型计算工作负载都将迁移到基于云的架构上，而基于云的架构正是典型的 Cloud Native 云原生架构。AI等异构工作负载异构资源CPUGPUFPGARDMAVPCOSS统一管理算法和场景框架NPU统一工作流，统一调度NAS充分利用云的资源弹性、异构算力、便捷服务以及容器、自动化、微服务化等云原生技术手段，为AI/ML 提供工程效率高、成本低、可扩展、可复制的端到端解决方案。云原生AI云原生AI的核心场景统一任务流程提升AI工程效率统一任务调度保障规模与性能统一资源管理持续优化利用率此前概述了传统的机器学习、深度学习以及目前流行的 LLM 和 AIGC，带来了一些技术上的挑战，和对基础设施造成的压力。为了应对这些挑战，我们期待借助云原生 AI 来找到解决方案。那么，什么是云原生 AI 呢？云原生 AI 是指利用云计算的弹性资源、异构算力以及容器、自动化、微服务等云原生技术，提升 AI/ML 的工程效率，降低整体成本，提高可扩展性，并实现端到端的解决方案。在这其中，我们尤为注重工程效率、成本效益、可扩展性和可复制性等因素。云原生 AI 最核心的两个应用场景：统一管理异构资源，提升资源利用率。对 IaaS 云服务或者客户 IDC 内各种异构的计算（如 CPU，GPU，NPU，VPU，FPGA，ASIC）、存储（OSS，NAS，CPFS，HDFS）、网络（TCP，RDMA）资源进行抽象，统智算时代，基于 ACK 落地云原生 AI72一管理、运维和分配，通过弹性和软硬协同优化，持续提升资源利用率。通过统一工作流和调度，实现 AI、大数据等多类复杂任务的高效管理。兼容 Tensorflow，Pytorch，Horovod，ONNX，Spark，Flink 等主流或者用户自有的各种计算引擎和运行时，统一运行各类异构工作负载流程，统一管理作业生命周期，统一调度任务工作流，保证任务规模和性能。一方面不断提升运行任务的性价比，另一方面持续改善开发运维体验和工程效率。围绕这两个核心场景，可以扩展出更多用户定制化场景，比如构建符合用户使用习惯的MLOps 流程；或者针对 CV 类（Computer Vision,计算机视觉）AI 服务特点，混合调度 CPU，GPU，VPU（Video Process Unit）支持不同阶段的数据处理流水线；还可以针对大模型预训练和微调场景，扩展支持更高阶的分布式训练框架，配合任务和数据调度策略，以及弹性、容错方案，优化大模型训练任务成本和成功率AI模型生产流水线端到端的AI生产生过程（模型开发-训练-推理）支持TensorFlow,Pytorch,Deepspeed,Horovod,TensorRT,Spark，Flink等开源框架任务级调度策略（Gang,Binpack,Capacity,优先级队列等）1分钟开启执行深度学习任务数据集、模型管理和访问加速标准API和开放架构，便于业务应用集成高效迭代的模型训练和推理发布流水线弹性伸缩训练任务和推理服务，优化资源TCO异构资源管理一键部署CPU/GPU/vGPU/NPU/RDMA集群，统一运维多维度GPU监控、健康检查、告警和自愈自动挂载存储，加速数据访问自动弹性伸缩灵活配置多种GPU调度策略（共享 隔离、优先级、拓扑感知）CPU和加速设备解耦，异构资源池化，资源使用Serverless化资源效率最大化工程效率最大化支持AIGC/LLM等新范式快速迭代持续完善的MLOps，LLMOps，Prompt工程，数据管理等生产流程支持RAG（Retrieval Augmented Generation）架构快速适配各类开源模型的训练（Pretrain，SFT，RLHF，Prompt tuning等），推理和性能优化更高效的资源调度和数据服务，支撑更大规模的模型训练和推理支持Langchain，Langsmith，AI agent等新的AI 应用开发架构支持多环境，多架构下模型适配和优化创新速度最大化可集成各类模型优化方案云原生AI的主要能力智算时代，基于 ACK 落地云原生 AI73接下来探讨支持这些场景，云原生 AI 所需的主要功能。首先，从异构资源管理的角度，需要一键部署和运行的能力，能够统一管理和操作各种类型的异构资源，如 CPU、GPU 以及各种虚拟化的设备和专业存储、网络设备。在运维过程中，需要多维度的异构资源可观测性，包括监控、健康检查、告警、自愈等自动化运维能力。对于“宝贵”的计算资源，如 GPU 和 NPU 等加速器，需要通过各种调度、隔离和共享的方法，最大限度地提高其利用率。在存储和网络方面，通过统一接口和方式供给上层工作负载。在此过程中，我们还将利用云资源的弹性特征，持续提高资源的交付和使用效率。另一个主要能力是能够在分钟级内准备好开发环境和集群测试环境，帮助算法工程师开始执行深度学习任务。把端到端的 AI 生产过程通过相同的编程模型、运维方式进行交付。在整个流水线执行过程中，天然支持主流计算框架，如 TensorFlow、PyTorch、Deepspeed等。对于大规模分布式 AI 任务，提供丰富的任务调度策略，如 Gang scheduling、Capacityscheduling、Topology aware scheduling、优先级队列等。并使用工作流或数据流的方式串联起整个任务流水线。此外，在计算框架与算法层面适配资源弹性能力，提供弹性训练和弹性推理服务，优化任务整体运行成本。除了计算任务优化，还应关注数据使用效率的优化。为此，需要统一的数据集管理、模型管理和访问性能优化等功能，并通过标准 API 和开放式架构使其易于被业务应用程序集成。随着 AI 和 LLM 的不断发展，我们还将面临一些新的挑战和需求。例如，如何快速适应新的开源大模型训练方法（无论是预训练、监督微调还是强化学习），以及如何提高大模型推理性能并确保其质量和稳定性。同时，也需要关注一些前沿技术和创新能力，通过标准化和可编程的方式来集成，不断迭代业务应用，形成 AI 或 LLM 的新应用开发模式和编程模型。智算时代，基于 ACK 落地云原生 AI74例如 AutoGPT、多智能体任务等，这些都是我们需要快速掌握、理解，并应用于应用智能化升级的重要工具。3.云原生 AI 支持大模型生产的关键技术参考实现-阿里云ACK云原生AI套件云原生AI系统架构基础资源层ACK云原生AI套件云原生AI基础设施层AI任务调度增强任务队列GPU共享GPU/RDMA拓扑感知调度GangCapacityKube-queue数据加速FluidAI作业管理弹性训练ElasticTrainingJ ob机器学习平台PAIAI平台/服务Serverless推理Kserve/Triton灵骏集群CPU(x86/arn)OSS/CPFSVPC/RDMA灵骏智能妙鸭通义大模型开源AI能力阿里云提供和支撑的 AI 平台与服务模型加载加速DatasetProcessKubeflowArenaPipelineMLFlowTGIFasterTransformerDeepspeedJ obDeepspeed-Chat任任务务调调度度和和队队列列数数据据&模模型型访访问问加加速速模模型型&Prompt 管管理理大大模模型型训训练练推推理理框框架架支支持持开开源源大大模模型型验验证证云原生AI系统分层架构生态集成云IDC容器平台异构资源管理高性能计算、存储、网络AI任务调度和流水线AI作业生命周期管理AI任务性能优化弹性运维安全工具链、APIAI框架和运行时数据管理模型管理大数据集成SparkRayGPU/NPUQwenBaichuanChatGLMLlamaBloomFalconStableDiffusion高高性性能能智智算算集集群群前述详细分析了云原生 AI 领域的发展历程、现状以及未来趋势，帮助大家更好地理解这一交叉技术领域。后续我们将转向更为具体的技术层面，介绍已经落地并相对成熟的一些云原生 AI 关键技术。首先，介绍整个云原生 AI 的系统架构，这是一个典型的分层架构。最底层是云资源服务或数据中心的线下资源，由容器服务平台进行统一的封装和管理。在这一层之上，又分为几个层面来构建云原生 AI 系统。第一层是高异构资源管理层，包括对 AI 计算、存储和网络资源的统一管理和运维。第二、三层负责 AI 任务的调度和流水线的构建，支持各种计算框架和训练、推理运行时。智算时代，基于 ACK 落地云原生 AI75第四、五层是任务性能优化和 AI 作业生命周期管理。最后一层是通过统一的工具链和标准 API 向上提供所有这些能力，并与内外部生态集成，包括开源模型、数据，私有业务系统或服务，以及第三方生态系统。在整个系统中，弹性、运维和安全贯穿于各个层面。此外，我们还注重数据、模型和实验等各种制品的统一管理，以及安全性和隐私性的保障。在阿里云的容器服务（ACK）之上，我们提供了云原生 AI 套件的产品，以此作为上述系统架构的一种参考实现。帮助大家更容易理解云原生 AI 系统分层架构的构建方式以及每层的关键技术点。右图展示了基于 ACK 的云原生 AI 套件产品的系统架构。每个方块代表一层的关键技术组件，整个架构是可以组件化拼装、交付和扩展的。用户可以通过组件插拔组合的方式来定制自己的云原生 AI 平台。1.统一管理异构资源集群节点视角监控指标：GPU duty cycleGPU memory usageGPU TemperaturePower usageTotal/allocated GPU应用视角监控指标：GPU duty cycleGPU memory usageAllocated GPU应用实例伸缩资源节点伸缩GPU多维度监控，使用和健康状况一目了然内置NPD，自动检测和告警设备异常自动弹性伸缩，自定义伸缩指标和策略支持GPU竞价实例，ECI弹性容器实例将RDMA网络资源作为K8s集群资源调度和管理支持Nvidia NCCL，GPUDirect over RDMA，加速分布式AI训练KubeletRDMADevice PluginTerwayCNIeth0RDMA SwitchVSwitchgpu0RDMA NIC(HCA)Podmlx5_0eth0gpu0gpu0NCCLWorker NodeWorker NodeRDMA NIC(HCA)PodPodmlx5_0mlx5_0eth0eth0gpu0gpu0100/200GbpsGPUOps云原生AI关键技术KubernetesECSSpot InstanceGPUEBM(Bare metal)Virtual NodeHPAPodPodPodPodPodVPACron HPAPodPodPodPodPodPodPodPodPodPodPodPodPodPodPodPodPodPodPodPodPodPodECIECIECIECI智算时代，基于 ACK 落地云原生 AI76KubeletGPUShareDevice PluginTerwayCNIPod0Pod1Pod3Pod4gpu0gpu0gpu1gpu1gpu0Worker Nodegpu0gpu1gpu2gpu3gpu0Pod2gpu0NvidiaContainer RuntimeGPUShare Scheduler自动发现多GPU卡/服务器/机架之间的通信链路，包括Nvidia P2P/NVLink，PCI-e，RDMA调度器自动选择最大带宽的通信链路，实现分布式训练加速支持Gang/Binpack分配策略，最大化利用率，同时避免资源碎片GPU Sharing&IsolationGPU&RDMA Topology aware云原生AI关键技术2.持续提升GPU利用率业界首款K8s GPU共享调度方案，应用代码零侵入支持所有Nvidia GPU型号的自定义显存、算力共享，结合cGPU技术支持显存，算力和错误隔离，同时避免虚拟化开销GPU利用率提升100%以上https:/ GPU、NPU）进行统一运维、多维度监控和健康检查，并具备自动异常发现和告警功能。此外，还需要追求性价比、弹性交付能力和自动弹性伸缩能力，充分利用云计算的价格优势和技术优势。其次，使用阿里云提供的竞价实例、按需服务等弹性资源，以降低成本并提高性价比。在高性能网络方面，采用 KBS 集群统一调度和管理 RDMA 和 GPU 等高性能设备，进行资源抽象与运维屏蔽，实现网络与计算的高效协同工作。再次，我们需要对 Nvidia GPU 进行全方位精细化支持，包括对 NVIDIA Direct 和 NCCL的支持，以及针对多 GPU 设备场景的网络拓扑感知调度策略，优化通信效率，加速分布式训练。在 GPU 资源利用率优化方面，提供 GPU 共享调度方案，使得多个容器可以在同一张 GPU卡上共享显存和算力，显著提升 GPU 利用率。同时，我们还将结合 阿里云 cGPU 技术实现轻量级设备资源隔离化，确保显存、算力和错误隔离，并最大限度地节省虚拟化开销。智算时代，基于 ACK 落地云原生 AI77通过以上关键技术点提供坚实的基础支撑，不断优化高性能资源的成本效益，最终提升整体训练效率。ACK SchedulerBatch Scheduler pluginsK8s scheduler frameworkAPIServerpodpodpodpodpodGPUNPURDMAFPGApodpodASICJ obApplicationKube-Queue支持10多种任务调度策略插图加边框防止大作业挤占小作业防止资源浪费和死锁2 GPU1 GPU1 GPU2 GPU2 GPU2 GPU1 GPU1 GPU1 GPU1 GPU2 GPU2 GPU防止小作业饿死大作业有效避免资源碎片提升GPU资源利用率资源定向分配给特定任务任务原地升级，资源保持提升调度结果确定性assumePodPodPodPodPodPodPodassumebindloopbindnodesScheduledassumed PodPodqueuemin=3,replicas=4J obmin=3,replicas=4Permitted J ob SchedulingMin:GPU 100Max:GPU 100rootroot.aroot.broot.croot.b.1root.b.2root.c.1Min:GPU 20Max:GPU 40Min:GPU 50Max:GPU 80Min:GPU 30Max:GPU 50Min:GPU 30Max:GPU 50Min:GPU 20Max:GPU 40Min:GPU 30Max:GPU 50Namespace1Namespace2Namespace3Namespace4Namespace5Namespace6多租户配额动态借、还。有效利用集群资源多级结构，灵活对应企业组织架构完全兼容Yarn设计提升资源利用率多租户配额定向资源调度Kube-QueueKube-Scheduler云原生AI关键技术3.高效调度AI任务https:/ Queue,Fair,Topology等复杂场景，扩展K8s满足大规模AI/大数据/HPC任务调度有效解决资源碎片浪费、作业挤占、租户公平性、动态负载感知、数据亲和性、资源预留等分布式系统资源分配难题与社区共推Batch工作组，定义Batch J ob，Queue等Spec上升到 AI 任务调度层。如果我们理解 AI 或大数据作业的特征，就会发现它们不是简单、独立的多副本组合，而是相互依赖、有拓扑关联的批量任务。然而，Kubernetes 原生调度器支持批量任务的能力相对缺乏，例如复杂的任务调度与抢占、资源额度分配、优先级管理和调度性能优化。Kubernetes 调度器框架已经发展成一个可插拔式的体系结构，允许我们通过 Plug-ins 进行扩展，以实现更复杂的任务级调度能力。ACK 团队已经在 Kubernetes 调度器中贡献了多个 Plug-ins，如 gang scheduling、弹性容量调度、优先级队列、公平调度、拓扑感知调度等，以最大化满足复杂的训练或推理任务的整体调度效率和成功率。这些调度能力可以有效解决复杂任务编排和不合理的资源分配导致的资源浪费，以及不同租户作业之间的资源争抢等问题。此外，我们也扩展了数据亲和性的调度策略，让数据与计算更加紧密耦合，减少数据传输的带宽压力和延迟。阿里云还在 Kubernetes 社区推动成立 Batch Job 工作组，致力于制定标准规范，定义标智算时代，基于 ACK 落地云原生 AI78准 API，以便能够高效结合这些复杂的任务管理和调度功能。同时，我们将一些主要的批量调度或任务级别调度策略插件贡献给上游开源社区，并已被众多社区用户使用。例如Open AI 在其高达 7500 节点的模型训练集群中使用了 Co-scheduling 调度功能。总的来说，在调度方面，仍有许多更复杂、更高级的功能需要继续加强，如租户间的公平性、虚拟配额管理、任务级抢占等。这些能力将通过 ACK 云原生 AI 套件持续提供给用户和社区。云原生AI关键技术4.弹性伸缩分布式AI训练自动发现、适配训练节点数变化，触发计算和通信链路调整支持手动/自动扩、缩容训练任务，支持容错支持竞价实例，便于GPU利旧，大幅节省AI训练成本提升集群利用率，减小节点故障影响，显著减少作业启动等待时间支持CV/NLP/推荐类模型，兼容Horovod Elastic API,Elastic Torch，Tensorflow，DLRover等框架ETOperatorhttps:/ K8S 任务管理和调度、Pytorch、Horovod 等计算框架，实现对常见的 CV模型、NLP 模型和推荐类模型的支持，使训练任务可以使用从几张 GPU 卡动态扩展到几十张、上百张 GPU 卡，同时也可以反向缩容。确保任务在整个过程中不中断，并保持收敛性智算时代，基于 ACK 落地云原生 AI79能。弹性训练的收益会相对明显，尤其是在使用竞价实例的场景下。虽然竞价实例的优势在于可以用较低的价格获取 GPU 或其他高性能计算资源，但也存在每小时就会回收的风险。如果运行中的任务无法在此时间段内结束，则可能会面临缩容问题。我们可以结合弹性训练和弹性推理等能力，充分利用像 spot instance 和 ECI 这样的高性价比资源。同时，由于大模型训练任务（如 175B 参数级别的 GPT3）需要近千张 GPU 卡并训练近一个月的时间。任何一张 GPU 卡都可能出现故障，这会导致任务失败，造成极大的损失和资源浪费。可以结合弹性训练的能力，构建容错场景，即使部分资源失效或计算任务出错，整体任务仍然可以通过缩容形式继续进行训练，以最大化容错。并确保计算资源的投入和计算过程都不会被浪费。这是一种非常有趣且富有挑战的技术问题，即如何利用云的弹性资源来适应算法和计算过程的弹性伸缩。PodNASCSIPodOSSCSINode2Node1HDFSOSSDatasetPodPodPodVPC分布式缓存 混合云 多数据源加速 版本 ACLK8s的存储视角Fluid的数据使用视角IDC/8630.5616556.227529.7322159248.6421422.340817.258200.030000400005000060000700008 GPUs32 GPUs64 GPUs128 GPUsimages/secondFluid vs OSSFS(20Gb/s)ossfs(cache on)Fluid128GPU50%云原生AI关键技术5.1 Fluid弹性数据集编排与加速训练Fluid Dataset管理计算任务使用数据的生命周期，使不同存储源的数据在K8s中可管理、可加速、可编排调度。克服存算分离架构带来的数据访问延迟显著加速AI等数据密集计算30%以上，减小远程I/O带宽压力适配公有云、私有云、混合云，多存储类型，多数据源统一管理缓存数据访问控制、数据感知调度、缓存自动弹性伸缩CNCF Sandbox项目 https:/ ACK 落地云原生 AI80我们之前提到了任务调度和如何更好地使用弹性资源。其中，计算效率最大化和减少数据读取的时间是非常关键的问题。云计算中，存储和计算分离是一种常见架构，它可以提供更大的灵活性，但也带来了远程访问延迟和带宽限制的问题。为了解决这些问题，我们通过开源项目 Fluid，结合分布式缓存技术，将数据缓存能力内置到数据集对象中，并将其作为有生命周期的对象进行管理。这样，数据集可以根据应用程序的需求进行缓存数据的亲和性调度，最大程度地减少远程数据访问延迟。还能够在自定义监控的情况下，进行缓存数据的自动弹性伸缩，缓解高并发计算任务访问远程存储的聚合带宽压力。Fluid 弹性数据集编排和加速项目已经在 ACK 云原生 AI 套件中有相应的产品实现，一些功能子集也已开源至 CNCF 社区，目前正在积极向孵化阶段推进。通过分布式缓存加速技术，我们可以显著提高分布式训练的效率，如右下角所示的ResNet-50 训练效果示例。当我们不断增加 GPU 卡的数量时，如果不使用缓存加速，性能加速比并趋于平坦（蓝色线条），不会得到很好的提升。而通过 Fliud 的弹性分布式缓存加速后，随着 GPU 资源的增加，训练性能加速比基本保持线性增长（绿色线条），大幅度地提高了 GPU 计算效率。云原生AI关键技术270.9388.889.1112.841.456.40500300350400450Llama-30BFalcon-40BLLM模型加载耗时对比（单位：秒）OSSFluid缓存Fluid缓存 客户端优化HuggingFace TGI Server/Stable Diffusion/Model Serving Programon GPUModelShardFileShardFileShardFileShardFileShardFileDistributed CacheModel StorageFluid SDKCache preloadedPageCache1.自动缓存模型到本地1.模型缓存预热2.并发预热模型到page cache3.推理框架并发加载模型到GPU-67%-85%-71%-86%云原生AI关键技术5.2 Fluid加速大模型推理服务启动AI推理服务启动时延受限于模型数据拉取网络带宽，耗时较长频繁发布、更新模型版本和推理服务扩容，冷启动会造成LLM服务质量波动，导致业务受损。智算时代，基于 ACK 落地云原生 AI81我们不仅将 Fluid 弹性数据集加速的能力应用于分布式训练场景，也可以将其应用大模型的推理服务。在大模型推理服务中存在一个问题，即随着模型体积的增长（现在模型常常达到几 GB 或几十 GB），首次创建，或在运行过程中动态扩容这样的模型服务的冷启动延迟问题会变得非常严重。这是因为我们需要从远程对象存储或 HDFS 中拉取大模型参数，而这种操作往往具有较高的延迟。我们测试过，在一个 165GB 的大模型情况下，拉取所有参数可能需要近一个小时的时间，这在生产环境中是无法接受的，因为它不能提供在线服务。为了解决这个问题，我们为 Fluid 缓存加速功能扩展了数据预取、并发加载、Pagecahce预热等优化手段，并应用到模型服务冷启动的优化中。结果表明，对于 Llama 30B 等流行的大模型，可以实现 70%至 80%，甚至更高的加速启动效果。Arena CLI,Web console,SDKTensorflow,PyTorch,Horovod,DeepSpeed,MPI，PAI,AIACCCPU/GPU/NPUVPC/RDMAHadoop/OSS/CPFSFlink,SparkArenaOperatorsKServePipeline#提交分布式训练任务arena submit mpijob-name=tf-dist-data-workers=6-gpus=2-data=tfdata:/data_dir rdma-gang-env=num_batch=100-env=batch_size=80-tensorboard-image=ali-tensorflow:gpu-tf-1.6.0/root/hvd-distribute.sh 12 2”训练评估推理数据开发云原生AI关键技术6.1 AI任务全生命周期管理Arena覆盖AI任务全生命周期 数据管理，任务管理，模型开发，分布式训练、评估，压测，推理屏蔽所有资源、K8s集群、运行环境管理、任务调度、GPU分配和监控等底层复杂性兼容多种计算框架 J upyter，Tensorflow,Pytorch,MPI,Hovorod,DeepSpeed,Megatron-LM，Spark等提供CLI，go/java/python SDK和WebUI控制台，统一接口，三端互通Arenahttps:/ ACK 落地云原生 AI82Model v1Submit training job1.arena submitKubernetes for trainingKubeFlow(TF,MPI Operator)1.Deploy job2.Lifecycle mgmt/job:ps/task:0/job:ps/task:0/job:worker/task:1/job:worker/task:0(chief)/job:worker/task:2Continuous TrainingModel v2Model v3ExportData ScientistUpdating model for inferenceModel RepositoryOperatorMulti-version models2.arena serve tensorflowUpdate routing rulesIstioDynamic routing mgmtA/B TestKubernetes for serving90%Current version v17%New version v23%New version v3RESTAPI or gRPCApplications3.arena serve traffic-router-split云原生AI关键技术6.2 Arena支持从数据管理，到模型开发-训练-推理的全生命周期AI任务管理ACK 云原生 AI 套件提供的所有组件都以 Kubernetes 标准接口（CRD）和 API 形式，交付给 AI 平台开发运维人员调用。这对基于 Kubernetes 构建云原生 AI 平台来说是非常方便和易用的。但对于数据科学家和算法工程师开发训练 AI 模型来说，Kubernetes 的语法和操作却是一种“负担”。他们更习惯在 Jupyter Notebook 等 IDE 中调试代码，使用命令行或者Web 界面提交、管理训练任务。任务运行时的日志、监控、存储接入、GPU 资源分配和集群维护，最好都是内置的能力，使用工具就可以简单操作。为此，我们创建了一款名为 Arena 的工具，来屏蔽底层资源、Kubernetes、运行环境等各种复杂度的能力，以统一的方式来管理系统、任务、模型开发、分布式训练、模型评估推理、循环迭代等全生命周期。它可以自动化处理复杂的任务，包括调度、Kubernetes 管理和实时监控。此外，Arena 还支持 Go、Java 和 Python SDK，支持二次开发和封装。我们还为运维人员和开发者提供了可视化的控制台，使他们在不同终端上都能实现统一的任务管理。只需使用 Arena 的一条命令，就可以将分布式的任务提交到 Kubernetes 集群中，自动运行，并保存训练结果。另一条命令则可以用于创建模型推理服务，也包括发布、A/B 测试、流量管理等运维操作。智算时代，基于 ACK 落地云原生 AI83arena submit pytorchjob-label cd/ChatGLM-6B/ptuning&bash train.sh/models/thudm-chatglm2-6barena serve custom-name=bloom-tgi-inference-gpus=2-version=alpha-replicas=1-restful-port=8080-image=xxx-text-generation-inference:0.8 text-generation-launcher-disable-custom-kernels-model-id bigscience/bloom-560m-num-shard 2-p 8080云原生AI关键技术6.3 Arena支持主流开源LLM/AIGC模型的预训练、微调、推理适配各种流行的AI框架按需自由选择在固定GPU集群，或者弹性GPU资源上进行训练LLM/AIGC目前我们也为 Arena 扩展了对大模型的支持，兼容了主流的 LLM/AIGC 模型和训练、推理框架。例如，用户可以通过两条命令快速训练和推理 ChatGLM，Llama，Bloom，Baichuan，Qwen 等模型。4.ACK 云原生 AI 套件工程实践提升1 00%GPU利用率提升30%数据访问效率提升20%AI训练速度用户自建 AI 平台阿里云 AI 服务开源 AI 框架与模型三方 AI 优化方案仓库AI 容器镜像模型实验CPU GPU vGPU NPUOSS CPFS HDFS运维流水线弹性伸缩监控故障诊断公共云专有云混合云边缘容器服务（ACK/ACKServerless/ACKEdge/ACK灵骏）AI工程管理命令行工具/SDK开发/运维控制台MLOps/LLMOps数据接入模型开发模型训练模型推理RDMA算法工程师数据科学家AI平台运维人员K8s运维人员IaaS运维人员AI数据加速数据集管理数据访问加速数据集编排AI任务管理任务提交运行任务调度任务弹性异构算力管理资源管理运维资源弹性伸缩资源调度与共享云原生AI套件成本分析多租户云原生AI套件产品形态基于标准Kubernetes，提供组件化能力，全栈优化AI生产系统的性能、效率和成本。智算时代，基于 ACK 落地云原生 AI84前述所有这些关键技术，我们需要考虑如何将它们应用起来，怎样将它们快速应用于用户的生产环境中，以启动用户的第一个 AI 训练和推理任务。为此，在阿里云的容器服务（ACK）上，我们提供“云原生 AI 套件”，旨在将上述所有技术及架构在一个完整的产品中提供给我们的客户和合作伙伴。云原生 AI 套件完全遵循之前介绍的分层参考架构进行实现和交付。用户可以根据自己的需求，在其中选择所需的组件。例如，如果用户对 GPU 管理有特殊要求，则可以利用异构算力中的调度、共享、隔离等能力。如果对任务管理有很多需求，可以利用我们的高级调度策略。如果您需要一个方便快捷的 AI 生产流程管线管理工具，那么 Arena 等套件的能力也可以迅速为您提供帮助。借助这些功能，可以帮助用户实现 AI 训练速度提高 20以上，数据访问效率提高 30以上，而 GPU 利用率则可提高 100以上。Soul 是任意门旗下基于兴趣图谱和游戏化玩法的社交 APP，属于新一代年轻人的虚拟社交网络。基于用户的社交画像和兴趣图谱，通过机器学习来推荐用户可能会产生的高质量的新关系，有丰富的AI业务场景，包括语音匹配、聊天机器人、文本 OCR 识别、图像识别、多模态等。AI 机器学习是公司核心业务，但在传统的虚拟机构建部署方式下，缺乏一个统一的管控平台，导致业务工作流不流畅，开发迭代效率低下，运维管理复杂且资源利用率低下，具体表现为：业务迭代速度慢：研发工程师需要花费大量时间在底层基础设施资源准备、业务集成部署、日志监控等 AI 工程化上，无法专注于业务开发，难以快速响应业务研发需求。运维工作重复：日常需要处理安装 Nvidia GPU 驱动、CUDA 版本、OSS 数据源等环境问题，人力投入大，运维效率低。资源性价比低：CPU 机器处理速度慢，大量堆积机器，导致资源闲置浪费。GPU 机器虽效率高，但现有技术无法提升利用率，资源空置。客户痛点任意门在阿里云上，通过容器服务ACK 云原生 AI 套件，构建了符合开源标准、自主掌控的 AI PaaS 平台，实现了以下特点：全生命周期管理的一站式平台提升迭代效率：提升迭代效率，包括数据管理、AI 任务发布和模型评测等，开发迭代效率提升25 倍。统一的异构资源管理和运维平台降低运维成本：降低运维成本，自动化管理 GPU 节点、算法代码与标准镜像解耦以及自动弹性推理，节省 1 倍运维成本。效率及资源利用率提升：提供专业的 GPU 共享及Fluid 数据加速能力，同时提升业务效能，成本节约 50%。方案亮点任意门 Soul 通过先进的算法驱动和数据分析技术，打造了“平行宇宙”中独立的、沉浸式社区。作为下一代基于人工智能的移动社交网络平台，任意门 Soul 是中国社交 4.0 时代的领军者。其 AI PaaS 平台管理了从初期的数十张 GPU 卡到近千张的超大规模，日承载 AI 业务发布数百次，很好地支撑了业务的高速发展。建设成果相关产品：l 容器服务ACK任意门：基于ACK云原生AI套件打造智能化社交平台l 云原生AI套件ACK 的云原生 AI 套件能够带来什么效果？智算时代，基于 ACK 落地云原生 AI85这里有两个案例来说明。首先，任意门是一个需要大量用户多模态数据进行人工智能驱动的社交平台。客户需要一个能够充分利用云计算弹性资源并具有快速迭代和扩展能力的 AI 平台。借助 ACK 的云原生 AI 套件，任意门构建了一个定制化的基于容器的 AI 平台。现在，该平台已经承载了客户的语音合成、人脸匹配、图像识别和智能聊天等业务场景。支撑 CloudML的自建集群由于资源池容量、资源弹性能力相对有限，导致业务低谷时资源闲置成本高，业务高峰时资源紧张。迁移到基于 Serverless 容器架构的混合云之后，获得了 Serverless 容器带来的敏捷、安全、弹性、低成本等优势，然而也遇到了几个重要的技术挑战：无法定制扩展存储类型：公有云集群只支持阿里云存储类型（如 NAS、OSS等），无法直接适配内部自研的分布式文件存储（StarFS）。缺乏可信透明的数据接入方式：如何在 Serverless 容器的黑盒系统使用过程中规避数据泄露，如何确保数据存储、传输、访问过程中安全可靠，缺乏对应的解决方案。基础设施差异导致用户体验不一致：混合云场景中，当用户任务在公有云和自建集群之间进行迁移时，用户使用体验需要与自建集群上保持一致，不需要做过多的变更。客户痛点阿里云 ACK 云原生 AI 套件中提供的 ack-fluid 存储系统接入方案可以很好的解决以上问题：公共云集群定制扩展自建存储：ack-fluid 基于开源 Fluid 标准对于 ThinRuntime 提供了完整的支持，只要满足开源要求就可以适配 ack-fluid。StarFS 接入只需在开源 Fluid 下即可完成调试，同时借助ACK One 注册集群模式可获得阿里云商业版 Fluid 全部功能。阿里云 ECI 访问云下自建存储：ack-fluid 与阿里云的 ECI 做了无缝支持，无需开启 privileged 权限，就可以满足云上弹性容器实例 ECI 访问云下自建存储系统的需求。用户无需感知基础设施的差异：ack-fluid 提供对于 StarFS 自建 pvc 的丝滑兼容，无需了解 Fluid 的使用方式，只需要 pvc 中添加特定 label 即可，满足了 CloudML 用户无需感知基础设施层面的差异的需求。而在开源 Fluid 中这个工作就非常复杂，需要手动创建和管理 Dataset 和 ThinRuntime 的生命周期。方案亮点“混合云场景下 Serverless 容器方案完美落地，很好地满足了我们简单、安全、弹性、低成本等诉求，小米 CloudML 可以稳定高效地响应业务需求。尤其值得一提的是，通过引入阿里云 ACK 云原生 AI 套件的 ack-fluid 很好地解决了相关技术难点：首先，对于自建存储 StarFS 的访问提供了很好的扩展支持，并且得益于 Fluid 提供的数据集可观测性功能，我们能够获取云上工作负载的数据访问特性，从而支持数据热加载和资源分配调优。其次，方案接入简单、管理便捷。我们自行完成 StarFS 与 Kubernetes 环境的对接工作，整个 thinRuntime 开发简单，无需我们具备复杂的 Kubernetes 定制开发知识。基于这套方案，我们只需要了解 Dockerfile 构建就可以完成，开发工作 2-3 小时左右，显著降低了使用 ECI 接入 StarFS 的工作成本。“客户证言相关产品：l 容器服务ACKl分布式云容器平台ACK Onel 弹性容器实例 ECI小米机器学习平台：基于Fluid的Serverless混合云容器AI平台小米机器学习平台（CloudML）承载了图像、NLP、声学、搜索推荐等应用业务，是小米针对机器学习进行全流程优化的高性能、分布式云服务。第二个案例是小米的机器学习平台。客户采用混合云方式，既使用自有 IDC 中的 GPU 资源，又使用阿里云的弹性 GPU 资源，构建 AI 平台。由于跨地域，使得计算存储分离的架构，在数据复制延迟和聚合带宽的问题非常突出。通过使用 Fluid 的分布式缓存加速和数据统一管理方案，解决了线下自建 StarFS存储的标准化接入和管理问题，并增加了分布缓存线下数据能力，以解决数据加载性能问题。帮助小米构建了一个高效混合云架构下的分布式 AI 平台。智算时代，基于 ACK 落地云原生 AI86123管理员创建ACK集群，添加GPU节点管理员一键选择安装ACK云原生AI套件算法工程师向ACK集群提交模型训练任务AI平台运维人员将训练好的模型在ACK集群中发布为线上推理服务4ACK云原生AI套件使用流程如何使用 ACK 的云原生 AI 套件？只需在阿里云创建一个 ACK 集群，无论是否添加 GPU 节点。一键安装即可将整个云原生 AI 套件部署到集群中。用户可以根据需求选择所需组件，以定制自己的基础 AI 平台。在该平台上进行二次开发和扩展后，开发人员可以通过 Arena或 Jupyter Notebook 进行模型开发，并向 GPU 集群提交模型训练任务。同时，AI 平台的运维人员可以通过AI套件中的运维控制台和运维命令进行模型生产和线上推理服务的便捷运维。AI运维控制台集群大盘ACKPytorchTensorflowGPU NodegpugpuPytorchTensorflowGPU NodegpugpuDatasetSchedulingvolumevolumeArenaCLI/SDKSLB负载均衡用户数据集一键加速成本分析作业大盘Scaling用户权限配额管理低延时LB直通pod蓝绿发布、服务化运维算力、数据的弹性、加速GPU大盘AI Infra/平台运维人员数据科学家/算法工程师GPU共享调度AI开发控制台一键发布服务模型评测工作流编排定时服务提交、管理训练任务开发、调试ACK云原生AI套件使用流程两类角色通过命令行工具和控制台简便操作，高效协同智算时代，基于 ACK 落地云原生 AI87AI 平台或 AI Infra 运营人员如何使用 ACK 云原生 AI 套件进行工作的流程：首先，创建ACK 集群，接着配置调度策略、创建训练数据集或模型集，并通过 AI 运维控制台监控集群运行状况、GPU 分配情况和健康状况等。作为开发团队的数据科学家和算法工程师，则通过 Arena 命令行或 SDK 进行模型开发、训练的迭代实验。最后通过评测和压测，选择出符合预期的模型版本，通过 Arena 创建推理服务，将其发布到生产集群中。我们还提供了 AI 开发控制台，以便于不习惯使用命令行或无需二次开发需求的用户，在可视化界面上完成所有开发、训练任务的操作。欢迎扫码入群与我们交流钉钉群：33214567微信云原生AI应用KubernetesArena-AI任务生命周期管理GPU/vGPU,NPUENI/RDMANAS/OSS/CPFSPytorch Tensorflow TritonDeepspeed TGISpark RayAI/大数据任务调度器任务队列异构算力调度/共享拓扑感知Serverless 推理弹性训练数据集加速AI训练速度提升20%数据访问效率提升30%大模型推理启动速度提升80K云原生AI套件助力大模型工程提效ACK 是基于阿里云容器服务托管的 Kubernetes 服务，经过大量国内外客户的验证。ACK在今年首次参加 Gartner 年度容器管理魔力象限评选，并荣幸地进入了领导者象限，是亚洲地区唯一入选该象限的云服务商。在 ACK 平台上，我们提供了稳定高效的托管 Kuberntes 集群，以及云原生 AI 能力、服务网格能力、多集群、多云管理能力、边缘计算能力、专有云和混合云交付能力，以及对大规模计算服务的高效支持。所有这些能力都以标准 Kubernetes API 和架构提供出来。欢迎广大用户和合作伙伴在 ACK 容器服务上，利用云原生 AI 套件快速构建自己的云原生AI 平台。云原生场景下，AIGC 模型服务的工程挑战和应对88云原生场景下，AIGC 模型服务的工程挑战和应对作者：车漾，阿里云高级技术专家“成本”、“性能”和“效率”正在成为影响大模型生产和应用的三个核心因素，也是企业基础设施在面临生产、使用大模型时的全新挑战。AI 领域的快速发展不仅需要算法的突破，也需要工程的创新。1.大模型推理对基础设施带来更多挑战首先，AI 商业化的时代，大模型推理训练会被更加广泛的使用。比较理性的看待大模型的话，一个大模型被训练出来后，无外乎两个结果，第一个就是这个大模型没用，那就没有后续了；另一个结果就是发现这个模型很有用，那么就会全世界的使用，这时候主要的使用都来自于推理，不论是 openAI 还是 midjourney，用户都是在为每一次推理行为付费。随着时间的推移，模型训练和模型推理的使用比重会是三七开，甚至二八开。应该说模型推理会是未来的主要战场。大模型推理是一个巨大的挑战，它的挑战体现在成本、性能和效率。其中成本最重要，因为大模型的成本挑战在于模型规模越来越大，使用的资源越来越多，而模型的运行平台GPU 由于其稀缺性，价格很昂贵，这就导致每次模型推理的成本越来越高。而最终用户只为价值买单，而不会为推理成本买单，因此降低单位推理的成本是基础设施团队的首要任务。在此基础上，性能是核心竞争力，特别是 ToC 领域的大模型，更快的推理和推理效果都是增加用户粘性的关键。应该说大模型的商业化是一个不确定性较高的领域，成本和性能可以保障你始终在牌桌上。效率是能够保障你能在牌桌上赢牌。进一步，效率。模型是需要持续更新，这就模型多久可以更新一次，更新一次要花多久的云原生场景下，AIGC 模型服务的工程挑战和应对89时间。谁的工程效率越高，谁就有机会迭代出有更有价值的模型。近年来，容器和 Kubernetes 已经成为越来越多 AI 应用首选的运行环境和平台。一方面，Kubernetes 帮助用户标准化异构资源和运行时环境、简化运维流程；另一方面，AI 这种重度依赖 GPU 的场景可以利用 K8s 的弹性优势节省资源成本。在 AIGC/大模型的这波浪潮下，以 Kubernetes 上运行 AI 应用将变成一种事实标准。2.AIGC 模型推理服务在云原生场景下的痛点云原生场景下，AIGC 模型服务的工程挑战和应对90在 AIGC 推理场景下有个关键的矛盾，就是计算存储分离的架构导致的数据访问高延迟、带宽受限问题和大模型规模不断增长的矛盾，它会同时影响成本、性能和效率。模型弹性伸缩、按需使用，是控制大模型成本的利器。然而，如上图右所示，以 Bloom-175B模型（FP16 精度模型大小约 340GiB）为例，模型的扩容耗时为 82 分钟，接近 1 个半小时，为了找到问题的根因，需要对模型启动时间进行拆解，其中主要耗时在于 HPA 弹性、创建计算资源、拉取容器镜像，加载模型。可以看到从对象存储加载一个约 340G 的大模型，耗时大约在 71 分钟，占用整体时间的 85%，这个过程中我们其实可以看到 I/O吞吐仅有几百 MB 每秒。要知道在 AWS 上 A100 按量付费的价格每小时 40 美元，而模型启动时刻 GPU 其实是处于空转的时刻，这本身就是成本的浪费。同时这也影响了模型的启动性能和更新频率。那么，我们有办法解决这个问题吗？一个直观的想法是增加一个缓存层，但是真的增加了缓存层就可以了吗？实践中其实并不是这样的，我们会遇到一系列的问题。首先就是快的问题：能否用好缓存，如果加了缓存但是速度依旧不快，那么是缓存的规划云原生场景下，AIGC 模型服务的工程挑战和应对91问题？硬件配置问题？还是软件配置？网络问题？调度问题？其次就是省：关注成本问题，作为缓存的机器通常是高带宽、大内存、本地盘的机器，这些配置的机器往往并不便宜。如何能够实现性能最大化的同时也有合理成本控制。接着就是好：用户使用复杂不？用户代码是否需要相应的修改。运维团队工作量大吗？模型会不断更新和同步，如何降低这个缓存集群的运维成本。简化运维团队的负担。正是在这种对于缓存工程化落地的思考中，诞生了 Fluid 这个项目。3.Fluid 是什么？首先，让我们来了解一下 Fluid 的概念。Fluid 负责在 Kubernetes 中编排数据和使用数据的计算任务，不仅包括空间上的编排，也包括时间上的编排。空间上的编排意味着计算任务会优先调度到有缓存数据和临近缓存的节点上，这样能够提升数据密集型应用的性能。而时间上的编排则允许同时提交数据操作和任务，但在任务执行之前，要进行一些数据迁移和预热操作，以确保任务在无人值守的情况下顺利运行，提升工程效率。云原生场景下，AIGC 模型服务的工程挑战和应对92从 Fluid 的架构图来看，Fluid 向上对接各种 AI/大数据的应用，对下我们可以对接各种异构的存储系统。Fluid 目前支持了包括 Alluxio、JuiceFS 还有阿里内部自研的 JindoFS、EFC 等多种缓存系统。具体来说 Fluid 提供 5 个核心能力：1）首先是数据使用方式和缓存编排的标准化。一方面，针对场景化的数据访问模式进行标准化，比如大语言模型、自动驾驶的仿真数据、图像识别的小文件，都可以抽象出优化的数据访问方式。另一方面，越来越多的分布式缓存出现，比如 JuiceFS，Alluxio，JindoFS，EFC 可以加速不同的存储，但是他们并不是为 Kubernetes 而生。如果在 Kubernetes 上使用它们，需要抽象标准的 API；Fluid 负责将分布式缓存系统转换为具有可管理、可弹性，可观测和自我修复能力的缓存服务，并且暴露 Kubernetes API。2）其次是自动化，以 CRD 的方式提供数据操作、数据预热、数据迁移、缓存扩容等多种操作，方便用户结合到自动化运维体系中。3）加速：通过场景优化的分布式缓存和任务缓存亲和性调度，提升数据处理性能。4）随处运行，与 Kubernetes 运行时平台无关：可以支持原生、边缘、ServerlessKubernetes、Kubernetes 多集群等多样化环境。可以根据环境的差异选择 CSI Plugin 和sidecar 不同模式运行存储的客户端。5）数据和任务编排：最终连点成线，支持定义以数据集为中心自动化操作流程，定义数据迁移、预热、任务的先后执行顺序依赖。4.Fluid 在云原生 AIGC 模型推理场景的优化概述云原生场景下，AIGC 模型服务的工程挑战和应对93那么回到 AIGC 模型推理场景，Fluid 为这个场景带来了许多优化方案。首先，分布式缓存使用的复杂度高和运行环境差异大，AIGC 应用需要适配不同运行时，包括 Alluxio，JuiceFS，JindoFS，而运行时环境包括公共云、私有云、边缘云、Serverless云，Fluid 都可以提供一键部署、无缝衔接的能力。第二，AIGC 模型推理服务本身有很多灵活多变的业务属性，通过 Fluid 提供的弹性缓存帮您实现需要的时候可以弹出来不用的时候缩回去，能很好地在性能和成本间取得利益最大化。第三，Fluid 提供数据感知调度能力，将计算尽量调度到离数据更近的地方。第四，Fluid 的数据流编排能力，帮助用户把很多推理的行为和数据的消费行为自动化起来，减少复杂度。最后，在性能上，我们也提供了适合云原生缓存的读取优化方案，充分利用节点资源。云原生场景下，AIGC 模型服务的工程挑战和应对94这边是一张 Fluid 的技术架构图。图中可以看到，Fluid 提供 Dataset 和 Runtime 这两种 CRD，它们分别代表了需要访问的数据源和对应的缓存系统。比如在这个例子里面我们使用的是 Alluxio 这个缓存系统，所以对应的就是 AlluxioRuntime 的 CRD。Dataset 中描述了你需要访问的模型的数据路径，比如 OSS 存储桶中的一个子目录。创建了 Dataset 和对应的 Runtime 后，Fluid 会自动完成缓存的配置、缓存组件的拉起，并自动创建一个 PVC。而对于想要访问这个模型数据的推理应用来说，只需要挂载这个PVC，就可以从缓存中读取模型数据，这和 K8s 标准的存储方式也是保持一致的。云原生场景下，AIGC 模型服务的工程挑战和应对95AIGC 推理的运行平台非常多样化，包括云服务的 Kubernetes、自建的 Kubernetes、边缘 的Kubernetes 以 及Serverless 形 态 的Kubernetes。Serverless 形 态 的Kubernetes 由于其易用性、低负担的好处，已经越来越多的成为用户的选择；但是Serverless 由于安全的考量，没有开放第三方存储接口，所以只支持自身存储，以阿里云为例子，只有 NAS，OSS，CPFS 有限存储。在 Serverless 容器平台上，Fluid 会将 PVC 自动转换成可以适配底层平台的 sidecar，开放了第三方的配置接口，可以允许并且控制这个 sidecar 容器的生命周期，保证它在应用容器启动前运行，当应用容器结束后自动退出。这样 Fluid 则提供了丰富的可扩展性，可以运行多种分布式缓存引擎。AIGC 模型需要共享还是独占，这不是一个“一刀切”的问题，需要结合真实的业务场景进行选择。有些 IP 保护，核心模型是需要访问隔离，而另一些开源模型则没有这部分的担心。有些模型性能高度敏感，特别一些最流行常用文生图的场景，需要在 20 秒内完成出图，这样 8-10G 的模型加载时间要控制到 5 秒以内。那就需要在缓存侧做吞吐独享、避免竞争、配合特定调优。而对于一些比较新的文生图，用户就需要考虑资源成本。而 Fluid 针对于独占缓存和共享缓存，都提供了完整的支持，通过 Fluid 都可以灵活配置支持。云原生场景下，AIGC 模型服务的工程挑战和应对96Fluid 提供的第二个优化是可弹性伸缩的计算侧分布式缓存。这里讲的是如何提供高性能。为什么需要弹性伸缩的计算侧分布式缓存？只是使用简单的分布式缓存不够吗？我们可以从技术角度来理解这个问题。在实际的生产场景中，AI 模型推理服务实例往往是多个并发启动的，例如：如果你一次性需要拉起 100 个推理服务实例，每个实例都需要从对象存储中拉取数据，那么每个实例能分到的可用带宽仅有总共可用带宽的百分之一。如果是默认 10Gbps 的 OSSBucket 加载30G 的模型，这个预期耗时就会是 2400s，而且是每个实例都是 2400s。事实上，弹性伸缩的计算侧分布式缓存就是把底层存储系统的有限可用带宽转变为了 K8s集群内可以弹性伸缩的可用带宽，这个可用带宽的大小取决于你分布式缓存的节点数量。从这个角度来说，我们就能根据实际业务场景对于 I/O 的变化需求，变为可随时扩容缩容的分布式缓存集群。这里有一些测试数据我们也可以看到，如果 100 个 Pod 并发启动，使用缓存都能获得很好的加速效果，而使用更多的缓存 Worker 节点，效果会更好。主要的原因就来自于更大的聚合带宽，使得每个 Pod 均分得到的带宽更多。从右边这张图也可以看到，当你使用更多的分布式缓存节点的时候，聚合带宽也是近线性地提升的。云原生场景下，AIGC 模型服务的工程挑战和应对97介绍完如何提升性能之后，接下来考虑的问题就是如何在尽可能节省成本的前提下最大化缓存带来的性能提升，如何在成本和性能间取得平衡实质上是与业务场景的 I/O 访问模式相关的。Fluid 在缓存上暴露的可观测性，配合手动扩缩容、HPA、CronHPA 等 K8s 的扩缩容能力，可以根据业务需求弹性扩容、缩容数据缓存。我们可以举几个具体的例子：对于大语言模型场景，大语言模型一个特点是拥有很强的泛化知识，因此把一个 LLM 加载到 GPU 显存后，它其实可以为多种不同的场景提供服务。因此这种业务的数据 I/O 特点是一次性对 I/O 有很高的要求。对应到缓存的弹性上来，就是一个先扩容，推理服务就绪后缩容到 0 的过程。再来看文生图 Stable Diffusion 的场景，假如是一种 SD 模型市场的场景，那就会包含大量不同风格的 SD 模型，因此尤其对于热点模型，会有持续的 I/O 需求，此时保持一定的缓存副本就是更好的选择。而无论哪种场景，如果因为业务洪峰造成服务端需要扩容，数据缓存可以跟随它做临时扩容，缓解扩容时的冷启动问题。云原生场景下，AIGC 模型服务的工程挑战和应对98公共云提供灵活的弹性能力和高可用性，这是通过底层的多可用区实现的，多可用区对于互联网应用非常合适；它牺牲一点点的性能获得了应用稳定性。但是在 AIGC 大模型场景上，通过实际验证，我们发现跨可用区的延时还是有很大的影响，这是因为大模型文件一般比较大，它传的包就会非常多，对延时起到放大的作用。因此缓存和使用缓存应用之间的亲和性就非常重要，Fluid 提供无侵入性的亲和性调度，根据缓存的地理位置调度应用，优先同可用区调度；同时提供了弱亲和性和强亲和性的可配置性，帮助用户灵活使用。云原生场景下，AIGC 模型服务的工程挑战和应对99现在我们理解了弹性的缓存架构的必要性和优势，但实际用起来也许还是会有一些麻烦。让我们试想这么一个流程，今天有个新的 AI 模型推理业务需要发布上线，为了避免服务冷启动，你先需要部署了一个分布式缓存并扩容到了一定的副本数，接下来你把待发布的模型数据预热到分布式缓存中避免 Cache Miss（这个过程可能要花 30min），最后你拉起 100 个服务实例，等到 100 个服务实例启动完成，这个过程又要花费 1020 分钟；最后，确认服务上线没问题后，把缓存缩容掉减少成本。这个过程中的每一步每隔一段时间就需要人工参与，确认状态并执行下一步。数据访问和消费过程运维过程复杂，耗时费力。Fluid 为了解决这个问题，我们把数据消费过程定义为业务使用数据缓存的过程，以及系统准备数据缓存的过程，对于这些流程我们用数据操作抽象以及数据流编排能力去帮助用户自动化。比如最常见的与数据缓存相关的操作，像是数据迁移、预热以及和业务相关的数据处理，Fluid 都提供了 K8s 级别的抽象去描述。这些数据操作可以串联成一条数据流。于是刚才我们提到的这个例子，就可以用 5 步数据操作来轻松定义。运维人员只需要一次性提交这条数据流，Fluid 自动地会完成整个 AI 模型推理服务发布的流程，提升使用缓存过程的自动化比例。云原生场景下，AIGC 模型服务的工程挑战和应对100那么刚才提到的“用好缓存”的技巧其实都在资源成本和运维效率方面。但实际测试过程中我们发现，服务启动过程使用的带宽远小于这些 GPU 计算实例可用的带宽，这意味着模型的加载效率在客户端上仍然有可以优化的空间。从节点吞吐情况上可以看到，这些 AI 推理的运行时框架会以单线程的方式去按序读取模型参数，这在非容器环境是没有什么问题的，如果使用本地 SSD 盘存储模型参数，加载吞吐很容易就可以到达 34GB/s。但是在计算存储分离架构下，哪怕我们使用了缓存，缓存也需要使用用户态文件系统（也就是 FUSE）这种技术挂载到容器中。FUSE 自身的开销和额外的 RPC 调用，都使得 read 请求的延时变得更高，单线程所能达到的带宽上限也就更低了。云原生场景下，AIGC 模型服务的工程挑战和应对101为了最大化发挥分布式缓存提供的巨大 I/O 吞吐，Fluid 可以提供一个 Python 的 SDK，在用户代码中使用多线程读和预读的方式去加速模型加载过程。从我们的测试结果来看，额外使用这种客户端的优化，可以在使用计算侧分布式缓存的基础上，将冷启动耗时缩短一半，做到 1 分钟内拉起一个接近 100G 的大模型。从右下角的这个 I/O 吞吐情况，也可以看出，我们更充分地利用了 GPU 计算节点的带宽资源。为了评估 Fluid 的性能，我们采用了 HuggingFace Text-Generation-Inference 框架来构建大型语言模型(LLM)的推理服务。我们将模型存储在 OSS 对象存储中，并对用户体验以及直接从 OSS 对象存储拉取与通过 Fluid 拉取数据启动推理服务的性能差异进行了对比分析。我们首先看一下直接访问 OSS 存储的运行效果。这里我们已经创建好了 OSS 的 PV 和 PVC。接着，我们定义一个 deployment：deployment Pod 中挂载刚才的 OSS PVC，使用的容器镜像是 TGI 镜像。还有声明使用云原生场景下，AIGC 模型服务的工程挑战和应对1021 张 GPU 卡，用于模型推理。接着把 deployement 创建下去。然后我们看下这个服务的就绪时间，这边 5 倍速加速了一下。终于就绪了，可以看到整个过程耗费了 101s，考虑到我们的模型大小仅为 12.55G，这个时间可以说是比较长的。最后，让我们看看 Fluid 的优化效果。我们需要定义 Fluid 的 Dataset 和 Runtime 资源，并将分布式缓存部署到集群中。定义数据源、节点个数以及缓存数据的存储介质和大小。由于我们是初次部署弹性分布式缓存，这可能需要约 40 秒的时间。缓存准备完成后，我们可以看到一些缓存的监控信息。PVC 和 PV 也会自动创建。然后，我们定义一个新的 deployment，只需要进行几个修改：添加一个 annotation 来触发 Fluid 的自动数据预热将 OSS 的 PVC 更改为由 Fluid Dataset 自动创建的 PVC替换为一个使用了客户端优化的镜像观察服务的就绪时间，我们可以看到部署只花了 22 秒。我们还可以尝试对现有的deployment 进行扩容，观察第二个服务实例的启动时间。由于所需的模型数据已被完全缓存，第二个服务实例只需 10 秒就能准备就绪。这个例子展示了 Fluid 优化的效果，我们成功提升了服务的启动速度约 10 倍。4.总结Fluid 为 AIGC 模型弹性加速提供开箱即用、优化内置的方案，在达到更好性能的同时还可以降低成本，同时还包含端到端的自动化能力；在此基础上使用 Fluid SDK 可以进一步充分发挥 GPU 实例的带宽能力实现极致的加速效果。云原生场景下，AIGC 模型服务的工程挑战和应对103第四章容器前沿技术与大模型生产实践阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战104阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战作者：刘佳旭，阿里云技术专家1.引言2023 年 7 月，阿里云容器服务 ACK 成为首批通过中国信通院“云服务稳定运行能力-容器集群稳定性”评估的产品，并荣获“先进级”认证。随着 ACK 在生产环境中的采用率越来越高，稳定性保障已成为基本诉求。本文基于 ACK 稳定性保障实践经验，帮助用户全面理解 ACK 稳定性理论和优化策略，并了解如何使用相应的工具和服务进行稳定性保障。2.K8s 集群稳定性和大规模场景下的挑战1）K8s 常见的稳定性痛点Kubernetes 在提供丰富的技术和功能外，架构和运维具有较高的复杂性，也产生了诸多的痛点。阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战105痛点 1：在发布、弹性等高峰期，集群控制面服务时断时续，甚至完全不可用面对大流量请求，如果控制面没有自动弹性扩容能力，会无法对负载自适应、导致控制面服务不可用。例如：客户端存在高频度持续 LIST 集群中的大量资源，集群 apiserver/etcd无法自动弹性就可能联动出现 OOM。ACK Pro 托管版 K8s 可以对控制面组件根据负载压力做 HPA 和 VPA，可以有效解决该痛点。痛点 2：集群节点批量 NotReady 导致雪崩，严重影响业务！部分节点出现 NotReady，节点上 Pod 被驱逐调度到健康节点，健康节点由于压力过大也变为 NotReady，加剧产生了更多 NotReady 的节点，业务持续重启。ACK 提供了托管节点池功能，可以对出现 NotReady 的异常节点治愈，重新拉会 Ready 状态，可以有效解决该痛点。痛点 3：业务高峰期需快速弹性，节点上拉取 Pod 镜像耗时长达分钟级，影响业务节点上 kubelet 并发拉取镜像遇到网络带宽限制，需要镜像加速功能支持。ACR 提供了基于 DADI（Data Accelerator for Disaggregated Infrastructure）的按需镜像加载和 P2P镜像加速的功能，可以加速镜像拉取，可以有效解决该痛点。阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战106痛点 4：Master 节点/组件运维复杂度高，包含资源配置、参数调优、升级管理等需要大量的线上场景分析和优化、故障处理、规模压测等，来分析、整理并落地最佳实践和配置。ACK Pro 托管版 K8s 在全网的规模体量上万集群，具有自动弹性和生命周期管理的运维管理架构，有丰富的优化、应急处理等经验，持续将最佳实践和参数优化对托管组件升级。2）Kubernetes 集群架构既然有这些痛点，我们从 K8s 架构的角度来分解一下，看看哪些部分可能出现故障和问题：云上 K8s 集群包含控制面、数据面、以及承载控制面和数据面的的云资源。控制面和数据面通过 SLB 和云网络连接。控制面负责集群的 API 层、调度、资源管理、云资源管理等控制面功能，K8s 组件：apiserver/etcd/scheduler/kube-controller-manger/cloud-controller-manager。数据面负责集群的节点管理、Pod 生命周期管理、Service 实现等数据面功能，承载业务Pod 的主体。包含：K8s 组件，kubelet/kube-proxy；系统组件，日志、监控、安全等组阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战107件；其他组件，用户业务组件。控制面、数据面和云资源是有机结合的整体！集群的全链路中，任何一个组件、子链路成为瓶颈，都可能影响到集群的整体稳定性。我们需要从 K8s 系统中发现瓶颈、治理以及优化瓶颈，最终实现 K8s 系统在给定云资源情况下的稳定、高效的利用。3）Kubernetes 稳定性体现我们已经了解了 K8s 集群架构，那么如何评估 K8s 集群的稳定性呢？集群稳定性涵盖Kubernetes 服务可用性、处理时延、请求 QPS 和流量吞吐、资源水位等要素。Kubernetes 稳定性风险和挑战阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战108结合刚才介绍的 K8s 的架构和稳定性体现，我们来看看 K8s 集群的稳定性风险和挑战，在大规模场景下稳定性风险和挑战会更加突出。挑战 1：集群内资源种类繁多，数量巨大大规模集群场景下常见。包含原生 K8s 资源和丰富灵活的 CRD 资源。节点是 K8s 的一种资源，节点规模大的集群是大规模集群的一种；从 K8s 治理的角度，集群中某种资源数量巨大，例如 configmap、secrets 等，即便节点数不大，也可以称为大规模集群。例如：单集群超过 1 万节点规模、单集群有 10W 的 namespace 以及 ns 下secret/configmap 资源。挑战 2：控制面压力的风险控制面组件缓存集群的部分或者全部资源。在大规模场景下，每个组件都会有明显的资源压力。超过资源 Limits 就会触发 OOM 等问题。例如 apiserver 将 etcd 中全部资源在内存中缓存以便响应客户端对 Cache 的 LIST 请求。请求来源复杂。包括随节点规模正增长的 kubelet/kube-proxy/daemonset，也包括系阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战109统组件和用户部署的组件。挑战 3：数据面压力、以及数据面与控制面同步压力的风险数据面节点出现压力以及异常。节点负载压力过高，导致 kubelet/运行时响应慢或者无响应，甚至节点状态 NotReady。数据面与控制面同步瓶颈。数据面与控制面网络带宽打满或者网络不通，kubelet 无法及时更新 node 状态，导致节点状态 NotReady，导致容器调度、service 后端流量转发受影响。挑战 4：云资源稳定性和高可用稳定性有限的云资源容量。例如 SLB 的连接数、带宽，ECS 的内存、CPU 等等，存在打满的风险。集群的核心云资源和组件需要按高可用架构部署。包括跨节点、AZ 等不同高可用等级。3.ACK 稳定性治理和优化策略1）ACK K8s 稳定性概述阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战1102023 年 7 月，ACK 成为首批通过中国信通院“云服务稳定运行能力-容器集群稳定性”评估的产品，并荣获“先进级”认证。ACK K8s 稳定性优化，源于大规模实践经验沉淀，具体包括：ACK 全网管理了数万个 K8s集群，对线上丰富的客户和业务场景提供全面的支持；ACK 作为底座承载了双十一、618 等超大规模的电商业务，经受住了阿里巴巴电商场景的极限压力的考验；对社区原生 K8s 做参数、性能、架构等优化，并形成产品能力。ACK 针对丰富的业务类型和大规模场景进行优化，例如：云上的大规模化场景，支持单集群上万节点Sark/Flink 等大数据场景Tensforflow/Pytorch 等 AI 场景ECI/Spot 等快速弹性场景ArgoWorkflow 等任务流场景2）ACK 集群稳定性治理关键点阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战111a.高可用架构控制面全面按高可用架构部署。数据面提供丰富的高可用产品能力和配置，便于用户提升集群的高可用性。b.K8s 优化包括 APIServer/Etcd/KCM/Scheduler/Kubelet/Kube-proxy 等组件的优化、参数配置等。c.集群容量规划和自动弹性例如：规范 LIST 请求使用、优先使用 Informer 机制、优先使用 PB 协议等等。d.系统组件、用户组件优化控制面托管组件支持根据请求负载自动弹性扩缩容，控制面可观测对用户透出。数据面提供丰富的集群、节点、工作负载、Ingress 等监控告警。阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战112e.质量巡检、故障演练、压测体系ACK 组件和集群自动化巡检、定期进行的故障演练和应急预案恢复验证、高效的压测体系。f.数据面优化节点自动运维和自愈能力，镜像加速和 P2P 传输。下面针对部分优化关键点详细展开说明。3）高可用架构控制面实现可用区级别高可用 全部控制面组件实现与阿里云 ECS 的可用区能力对齐的高可用打散。以 APIServer 为例，多副本跨 AZ、跨节点高可用部署方式，任何一个 AZ 失效不影响服务可用性。在 3AZ 地域，ACK 托管集群控制面的 SLA 是 99.95%。对于不具备 3AZ 的地域，ACK 托管集群控制面 SLA 是 99.5%（不具备单可用区的故障容忍）。阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战113控制面实现可用区级别高可用全部控制面组件实现与阿里云 ECS 的可用区能力对齐的高可用打散。以 APIServer 为例，多副本跨 AZ、跨节点高可用部署方式，任何一个 AZ 失效不影响服务可用性。在 3AZ 地域，ACK 托管集群控制面的 SLA 是 99.95%。对于不具备 3AZ 的地域，ACK 托管集群控制面 SLA 是 99.5%（不具备单可用区的故障容忍）。数据面支持客户配置丰富的高可用策略。对于 Pod，支持基于节点、部署集、AZ 等不同故障域，结合 K8s 调度中的拓扑分布约束（Topology Spread Constraints），实现不同等级的高可用策略；云盘、负载均衡、虚机节点等云资源均支持 K8s 场景下按多 AZ 打散配置。在分析 APIServer 优化前，先来看一下 K8s API 请求的分析。这里的结论为：不带 ResourceVersion 的 LIST 请求，请求会击穿到 etcd 和 apiserver，对系统压力最大，如果使用 labelSelector/fieldSelector 只能在 apiserver 内存中过滤，不会减少对 etcd 压力；informer 通过 LIST WATCH 的请求组合，最大化降低对控制面 apiserver 和 etcd 的压力，是推荐的机制。4）APIServer 稳定性优化阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战114a.APIServer 自动弹性ACK 管控基于访问压力和集群容量实现 APIServer 实例自动弹性。b.软负载均衡方法：负载不均会导致个别 APIServer 实例资源开销大、容易触发 OOM。Goaway 特性概率性断开并新建 TCP 连接，实现负载均衡的效果。作用：帮助稳定运行的集群能解决负载不均衡问题。c.托管组件可观测性透出全部托管组件 apiserver、etcd 等监控告警对用户透出。支持识别可能存在的非规范 LIST请求的 Grafana 看板，帮助用户评估组件行为。d.集群资源清理 关闭不需要功能及时清理不使用的 Kubernetes 资源，例如 configmap、secret、pvc 等；及时清理不使用的 Kubernetes 资源，例如 configmap、secret、pvc 等。5）Etcd 稳定性优化阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战115a.Data 和 Event etcd 分拆Data 和 Event 存放到不同的 etcd 集群。数据和事件流量分离，消除事件流量对数据流量的影响；降低了单个 etcd 集群中存储的数据总量，提高了扩展性。b.Etcd 根据资源画像 VPA根据 Etcd 资源使用量，动态调整 etcd Pod request/limits，减少 OOM。c.AutoDefragoperator 监控 etcd 集群 db 使用情况，自动触发 defrag 清理 db，降低 db 大小，提升查询速度。6）Scheduler/KCM/CCM 稳定性优化阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战116QPS/Burst 参数调优。KCM/Scheduler/CCM 的 QPS/Burst 参数在规模化场景下需要提升，避免核心组件出现客户端限流；同时观测 APIServer 监控，避免 APIServer 对核心组件限流。7）组件稳定性优化阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战117a.规范组件 LIST 请求必须使用全量 LIST 时添加 resourceVersion=0，从 APIServer cache 读取数据，避免一次请求访问全量击穿到 etcd；从 etcd 读取大量数据，需要基于 limit 使用分页访问。加快访问速度，降低对控制面压力。b.序列化编码方式统一对非 CRD 资源的 API 序列化协议不使用 JSON，统一使用 Protobuf，相比于 JSON 更节省传输流量。c.优选使用 Informer 机制大规模场景下，频繁 LIST 大量资源会对管控面 APIServer 和 etcd 产生显著压力。频繁LIST 的组件需要切换使用 Informer 机制。基于 Informer 的 LIST WATCH 机制优雅的访问控制面，提升访问速度，降低对控制面压力。d.客户端访问资源频度客户端控制访问大规模全量资源的频度，降低对管控的资源和带宽压力。阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战118e.对 APIServer 访问的中继方案大规模场景下，对于 Daemonset、ECI pod 等对 APIServer 进行访问的场景，可以设计可横向扩容的中继组件，由中继组件统一访问 APIServer，其他组件从中继组件获取数据。例如 ACK 的系统组件 poseidon 在 ECI 场景下作为 networkpolicy 中继使用。降低管控的资源和带宽压力，提升稳定性。4.ACK 稳定性产品功能和最佳实践器针对刚才提到的 K8s 稳定性风险和挑战，我们看一下 ACK 是如何进行稳定性治理和优化的。ACK 提供了高效丰富的稳定性产品功能，这里着重从可观测性、故障预防与定位、自动化节点运维角度来介绍产品功能，对应的产品功能分别是：Prometheus for ACK Pro容器 AIOps 套件托管节点池帮助客户提升透明可观测、风险可预测、故障可定位、运维自动化的稳定性保障。阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战1191）Prometheus for ACK Pro在透明可观测方面，ACK 支持从应用层、APM 层、K8s 层到基础设施层的全景可观测。PrometheusforACKPro 结合容器服务最佳实践经验，提供了可以关联分析、可交互的大盘。例如：全局资源总览、节点总览K8s 核心托管组件的监控，例如 apiserver，etcd 等等集群事件分析在节点层结合 eBPF 实现了无侵入式应用监测基于 ACKPrometheusforACKPro，可以全面覆盖数据面和控制面的可观测性。阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战1202）容器 AIOps 套件-故障预防与定位在智能运维方面，ACK 的容器 AIOps 套件凭借 10 年大规模容器运维经验沉淀，自动化诊断能力能够覆盖 90%的运维问题。基于专家系统 大模型，AIOps 套件提供全栈巡检、集群检查、智能诊断三大功能。全栈巡检，定位集群风险巡检。可以扫描集群健康度和潜在风险，例如云资源配额余量、K8s 集群关键资源水位，并提供修复的解决方案。集群检查，定位运维操作前的检查。例如企业在业务升级过程中经常遇到的 K8s 版本较老，基于各种顾虑不敢升级的问题，阿里云 ACK 可以自动识别出应用是否在使用K8s 老版本废弃的 API、集群资源是否足够，帮助企业规避升级过程中遇到的风险。智能诊断，定位诊断 K8s 问题。可以诊断异常的 Pod，Node，Ingress，Service，网络和内存。3）托管节点池阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战121在节点自动化运维方面，托管节点池是 ACK 面向数据面提供的产品功能。定位是让用户专注上层应用部署，ACK 负责节点池基础运维管理。支持自升级、自愈、安全修复、极速弹性四大功能。自升级是指自动升级 kubelet 和节点组件。自愈是指自动修复运行时和内核问题。例如发现 NotReady 的节点，并治愈恢复为Ready 状态。安全修复是指支持 CVE 修复和内核加固。极速弹性是基于 ContainerOS 以及通用 OS 的快速弹性。P90 统计算法下，完成1000 节点扩容只需要 55s。5.展望ACK 稳定性保障建设会持续演进，会继续为客户提供安全、稳定、性能、成本持续优化的产品和稳定性保障！阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战122基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps 流程123基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps流程作者：匡大虎，阿里云高级技术专家引言安全一直是企业上云关注的核心问题。随着云原生对云计算基础设施和企业应用架构的重定义，传统的企业安全防护架构已经不能够满足新时期下的安全防护要求。为此，企业安全人员需要针对云原生时代的安全挑战重新进行系统性的威胁分析并构建适合企业自身的威胁情报系统，同时在云原生安全体系方法论的指导下，结合云服务商提供的安全产品能力构建端到端的 DevSecOps 流程，维持企业应用全生命周期的持续安全水位。本文分为四部分：其中第一部分会介绍当下云原生安全的现状以及企业应用在云原生化转型中面临的主要安全挑战；在第二部分中会概要性介绍云原生安全相对成熟的一部分安全体系方法论；在第三部分中会结合之前介绍的理论基础，介绍如何通过部署和实时阿里云 ACK 容器服务和ACR 容器镜像服务中提供的一些实用的安全产品能力，帮助企业实现或优化DevSecOps流程；最后，在第四部分会总结介绍企业在实践 DevSecOps 过程中需要遵循的安全最佳实践。1.云原生安全挑战基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps 流程124云原生时代对企业安全的挑战主要来自以下三方面：云原生平台基础设施架构：云原生平台层组件相较于传统架构引入了更多的配置项和隔离层，这就给企业安全管理运维人员提出了更高的运维要求。如何保证平台基础设施层的默认安全性，如何在遵循最小化权限原则基础上进行授权操作，如何建立云原生应用系统的安全审计和监控能力，这些新的挑战都需要云服务商和企业安全管理运维人员协同构建并最终实施到企业云原生化转型后的系统应用架构中。DevOps 软件供应链：云原生弹性、敏捷和动态可扩展的特征极大地改变了传统应用部署模式，应用自身的生命周期被大幅缩短，而企业应用的迭代效率则大幅提升，在企业供应链架构变革的同时需要构建和实施适配供应链各阶段的安全防护能力。应用范式上的改变：随着微服务架构的普适，传统的基于南北向流量的安全边界模式已经变得不使用，企业需要更加细粒度的身份认证和访问控制；同时 Serverless 和函数计算等技术要求云服务商在基础设施层具备更强的安全隔离性和监控能力，而应用的容器形态则需要新的运行时安全监控告警和资产管理模式与之对应。面对重重的安全挑战，企业的安全现状是如何呢？上图是一些主流云原生安全领域厂商在今年发布的最新报告。其中图片左侧来自 Sysdig 今年的云原生安全使用调查报告，报告显示仍然有 87%的容器镜像中包含严重或高危等级的漏洞，同时 90%的企业应用授权并没有基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps 流程125被实际使用；从右侧 Paloalto 今年的云原生安全现状报告中企业客户反馈的 Top 5 挑战中也可以看出，面对云原生时代新的安全挑战，企业无论在组织架构、文化和安全运维上都还没有做好充分的准备。供应链安全也是近两年成云原生安全领域的焦点,我们知道创新和效率是企业发展的关键，在云原生时代的企业开发流程中，开源软件和开发工具可以帮助推动企业提升研发效率。在云原生时代，企业对开源生态越来越依赖，三方软件包的安全成为了无法回避的问题。为此 Gartner 预测：“到 2025 年，全球将有 45%的组织的软件供应链受到攻击，比 2021年增加三倍”。在 sonatype 今年的统计中，仅仅在今年已经有超过 24 万 5 千个软件包中被发现包含漏洞，这个数字是从 19 年到 22 年之合的两倍。由此可见企业的供应链安全也成为攻击者的主要攻击目标，在调查中我们也发现，多数的受访者都清楚的知道来自供应链的安全风险，但只有不到十分之一的企业受访者表示会在生产供应链生命周期的每个阶段进行安全审核和部署防护措施。由此可见企业安全人员的风险意识与有效的供应链风险管理和防护措施的实施之间还是存在了明显的脱节。基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps 流程126在传统的软件开发流程中，安全人员通常是在系统交付之前才开始介入进行安全审核工作，这样的安全流程显然已经无法满足云原生时代下软件供应链的快速迭代流程。来自 Gartner 的分析师 David Cearley 早在 2012 年就首次提出了 DevSecOps 的概念。相较与传统软件开发的安全流程，DevSecOps 强调从企业安全文化意识，安全流程左移以及构建全链路的自动化流程等几个要点来加固新时期下企业软件供应链安全。Gartner 预测，到 2025 年将有 60%的企业采用并实践 DevSecOps。DevSecOps 模型强调安全和整体软件开发流程的紧密结合，同时也强调了在不降低企业应用开发迭代速度的前提下，通过执行全面的自动化安全防护措施来确保应用制品和供应链管道的安全性。在当下，绝大多数的企业云原生安全的发展都落后于应用的云原生化进程，而主要的改进方向也集中在下面这三个方向：身份和访问管理：线上授予的权限与实际需要的权限之间存在巨大差异，无疑会给攻击者可乘之机。漏洞和配置管理：大多数的企业生产镜像都没有经过安全加固和最小化的裁剪收敛，另外很多线上应用因为开发调式的一时方便而在容器层配置了过高的特权监控和响应：缺少针对容器资产的运行时监控和防护手段，针对突发的攻击事件也无基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps 流程127法有效完成定位和溯源。这些都是企业应用在云原生化进程中亟需优化和解决的主要安全方向。2.云原生安全体系方法论安全在本质上是一个对系统风险发现、定位和管理的流程。在了解云原生安全，而威胁建模可以在应用设计开发的早期阶段，帮助安全人员识别企业应用架构中潜藏的安全风险和设计缺陷。在上图中，左边是针对云上资源的典型攻击路径分析，我们看到在传统的云服务架构下，针对身份和控制面的不当配置以及网络攻击是攻击者可以利用的主要途径，攻击者可以通过漏洞利用、非授权访问和数据窃取等手段攻击企业服务和数据；而在右边的云原生 k8s 集群的典型攻击路径中，由于云原生技术架构的复杂性，容器应用、运行时、k8s 编排引擎、镜像仓库以及内核层都可能给整个应用系统引入新的风险，同时在网络侧，不同容器微服务应用之间的东西向流量也提供给攻击者更多的可利用目标。而近年来不断爆出云原生社区相关的 CVE 漏洞中，攻击者可以利用的攻击方式也是多种多样，基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps 流程128像一般的提权、仿冒、篡改、抵赖、拒绝服务等典型攻击手段都出现在了近两年公开披露的漏洞利用方式中。为此，需要企业安全人员在传统基础设施架构威胁之外尽可能全面的获取安全威胁信息。同时在企业应用架构发生动态变化的同时，也需要重新评估当前威胁建模下的安全机制和模型矩阵是否也需要随之调整。ATTCK 框架是网络攻击中涉及的已知策略和技术的知识库，其中阿里云也是国内首家针对云原生容器和 Kubernetes 的攻防场景，提出并发布相应 ATT&CK 攻防矩阵的云服务商。在 ATTCK 矩阵中详细描述了攻击者在云原生和 Kubernetes 环境发起攻击的过程和手段，可以帮助企业构建容器化应用安全体系，也是企业构建云原生威胁情报体系可以利用和借鉴的基本框架。整个威胁矩阵由不同的行和列组成，其中行代表了攻击技术，列代表了攻击战术手段。矩阵从左至右可以代表一个通常的容器侧攻击路径。通过了解矩阵中每一个攻击阶段攻击者可以利用的技术手段，可以帮助企业安全运维人员有针对性地进行安全设计和测试演练，当安全事件发生时，也可以帮助有效实施对应的止血和预先的防护措施。基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps 流程129为了进一步理解云原生应用安全风险并构建完整的安全防护方案，企业安全运维人员还需要先进的分析方法，覆盖对应用侧风险、开源组件风险、云基础设施风险和应用运行时风险的完整感知。为此 Gartner 牵头在已有的云安全态势管理(CSPM)、云基础设施授权管理（CIEM）和云工作负载保护平台（CWPP）等传统主流云平台安全模型的基础上，提出了 CNAPP 云原生应用保护平台框架，面向云原生应用从开发到运行时刻的全生命周期流程，帮助企业安全团队和 DevSecOps 架构师提供完整视角的应用风险可见性和相应的解决方案。基于 CNAPP理论框架，信通院在 2022 年云原生产业联盟年会上发布了 云原生应用保护平台（CNAPP）能力要求，在 CNAPP 理论框架的基础上，进一步细化了规范要求。从架构图中可以看到 CNAPP 框架集成了之前多个成熟规范的核心特性，可以：更好地适配云原生应用高速迭代的敏捷特性，通过自动化手段减少错误配置和管理。减少参与供应链 CI/CD 管道的工具数量。降低云原生应用安全合规实施复杂性和成本。基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps 流程130对于企业应用，安全需求分析、安全测试、安全开发和反复的加固措施也同时伴随着应用的迭代。我们知道企业安全文化意识以及开发、安全运维团队之间的流程协同是DevSecOps 能够有效实施的关键，在 CNAPP 框架中，也同样强调研发和运维侧双向反馈飞轮，加强企业安全可视性和对风险的洞察力，从整体上改善企业安全态势。上图中的研发和运维侧双向反馈飞轮主要分为下面两个方向：从开发到生产：基于安全左移原则，将安全集成到开发人员的工具链中，在代码创建阶段就通过自动化构建管道触发安全测试，以降低后续安全风险和运维成本。从生产到开发：需要企业安全管理人员全面监控线上应用和平台配置，并结合运行时安全配置上下文，提前识别风险并考虑风险处理等级预案，同时将相应的加固措施落实到新的开发迭代流程中。只有通过这样不断循环反馈，才能保证在云原生下应用的高速迭代的过程中持续的安全水位。基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps 流程131企业在 DevSecOps 的落地实践中可以充分利用云原生技术，同时结合云服务上的安全产品能力以及部署成熟的安全三方产品也可以帮助企业快速构建 DevSecOps 能力。企业应用的安全性需要贯穿应用程序的整个生命周期。开发是整个应用生命周期的第一个阶段，其结果是创建用于部署和配置应用的云原生模版、容器镜像、应用二进制等云原生制品，这些制品正是运行时被攻击利用的主要源头，相应这个阶段针对不同制品安全扫描就显得格外重要。构建分发阶段包括基于 CI/CD 自动化流程的各种系统测试，尤其针对开源软件，需要进行明确的漏洞风险分级卡点机制，同时加入自动化的加签机制以支持制品的可信校验。部署阶段负责进行一系列“飞行前”检查，以确保将部署到运行环境中的应用程序符合整个企业组织的安全和合规规范。运行时阶段的安全包括计算、存储和访问控制三个关键领域的安全能力。运行时环境的安全性取决于前几个阶段安全实践的有效性，同时需要企业在配置管理、身份和访问控制以及运行时威胁检测方向上基于安全原则实现高效的自动化监控和管理能力，并且通过全局性的安全资产管理和态势感知能力不断发现风险并反馈到生产开发及供应链各环节。基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps 流程132最后，企业应用安全需要防患于未然，完备的审计和溯源分析能力以及精准的风险阻断能力可以帮助企业安全运维人员从容应对突发的攻击事件，并在规划的指导下做出快速的决策和响应。最后，安全左移和循环反馈是指导企业基于 DevSecOps 理念实施安全防护的主要原则。在应用制品的供应链生命周期中应尽早地以自动化方式嵌入安全，通过引入自动化的安全扫描和巡检机制，在早期发现并治理常见的软件 CVE 漏洞，可以帮助团队以低成本的方式扼杀风险，同时整体提升团队安全意识。企业在落地并实践了安全左移理念后，并不意味着安全工作的结束。在应用的生产运行阶段，安全管理人员可以采集并掌握更全面的安全上下文信息，并通过威胁分析发现更多在供应链环节无法暴露的安全设计和配置上的问题，只有通过不断的反馈和更新，才能够保持企业应用系统的整体安全水位，同时应对无法预知的安全挑战。3.阿里云容器服务 ACK&容器镜像服务 ACR 安全产品能力通过上面的介绍，我们对云原生安全面临的挑战以及当下比较成熟的云原生安全理论体系有了初步的了解，下面我会具体介绍阿里云 ACK 和 ACR 服务中面向企业提供了哪些安全相关的产品能力，可以帮助企业实现或优化 DevSecOps 流程。基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps 流程133首先，围绕 DevSecOps 流程中的核心防护能力和自动化要求，阿里云 ACK 和 ACR 服务也沉淀了 DevSecOps 产品能力，帮助企业实现安全可信的软件供应链。在镜像构建阶段，客户提交源代码变更后，自动触发 ACR EE 的云原生应用交付链功能，开始容器镜像构建，支持自动安全扫描，如果识别到镜像中存在风险，会自动阻断构建流程并钉钉报警。用户可以一键修复镜像中存在的 CVE 漏洞。在镜像交付阶段，ACR 和 ACK 可以基于客户的秘钥进行镜像的加签与验签，确保整个交付链路无篡改。在容器应用运行时，云安全中心可以对 ACK 集群中运行时风险进行防护、感知，以及阻断处理。今年，我们推出了集群容器安全概览功能，可以帮助企业安全管理员更好感知集群配置、应用镜像、容器运行时的安全风险，提升整体安全水位。基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps 流程134DevSecOps 的实践依赖企业内部深层次的协同，而不同的工具和实践流程会阻碍跨部门协作的高效性和生产力。通过标准化的平台能够简化部门间沟通和学习成本，让供应链流程更加透明高效ACK、ACR 充分利用云原生技术，在企业供应链流程的关键路径上构建了核心能力，面向企业安全管理员提供了开箱即用的产品能力，安全人员可以通过简单的可视化白屏操作完成制品校验，安全巡检、策略实施等供应链安全防护能力，同时通过不同维度的可视化监控和报表直观的了解并管理应用安全，帮助企业安全管理人员第一时间洞察风险，应对攻击。基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps 流程135默认状态下的安全性是整个系统安全体系的根基，不仅决定了生产系统的稳定性，也直接关联了上层安全方案的运维和实施成本。为此，在企业应用系统的设计阶段，安全性就应当作为基本且必要的需求融入设计环节，并在安全专家的指导下审核架构设计中潜藏的风险。企业应用使用哪种凭据访问云资源？基于默认安全和权限最小化原则，在应用内直接使用AK 以及在节点上直接绑定云资源访问权限都是安全上不推荐的做法，此时可以将 RRSA 方案集成到企业应用设计和编码环节，通过 RRSA 方案，可以实现基于 k8s serviceaccount，与阿里云 RAM 服务完成基于 OIDC 协议的访问控制认证，并实现以应用维度最小化隔离授权云资源访问权限。基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps 流程136密钥管理一直是企业应用上云的核心问题，云服务商有哪些安全方案可以帮助保护应用密钥？用户又应该在 K8s 环境中采取哪些安全措施帮助管理和使用密钥？应用密钥应该存储在哪里？这些都是企业客户经常会问到的一些基本问题。为此，首先应避免密钥在应用中的硬编码问题。在应用系统开发部署的供应链流程中，任何一个环节对敏感密钥的硬编码都有可能导致泄露风险。通过使用云上 KMS 服务，可以在应用开发、测试、构建等生命周期流程中使用统一方式进行密钥的读写，避免硬编码出现；同时云上的 KMS 服务支持自动化的密钥轮转能力，进一步降低了敏感信息泄露传播的安全风险，同时也可帮助企业应用满足合规需求。通过部署ack-secret-manager插件可以将KMS凭据管家中管理的企业密钥以k8s secret的形式同步导入到业务集群中，企业应用可以直接通过文件挂载的方式使用密钥，在避免密钥硬编码问题的同时保证了业务代码的兼容性，在新版本的 ack-secret-manager 中还支持对接 KMS 服务升级后的专属 KMS 实例，提供更强的密钥安全性隔离保证。K8s 社区基于 CSI 存储标准扩展实现了 secrets-store-csi-driver 用于将存储在外部密钥管基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps 流程137理服务中的密钥以 volume 存储卷的形式挂载到应用 pods 中。和 ack-secret-manager方案不同，该机制避免了 K8s secret 实例的创建，带来的好处一是避免 etcd 中出现明文secret 信息，二来可以在大规模场景下避免 secret 堆积；同时应用仍旧可以保持原先的文件路径方式读取密钥，避免了额外的程序改造代价。基于该插件机制我们实现了阿里云自己的 secrets-store-csi-driver-provider，并且支持通过 ACK 应用市场在集群中一键化部署该插件，同样可以将阿里云 KMS 凭据管家中保存的密钥凭据以文件形式同步到应用容器中，同时支持后端凭据修改后的同步更新能力，保证业务容器中密钥信息的实时性。当然这里也会有“最后一把密钥”的问题，由于插件需要调用 KMS 凭据管家服务的权限，如何在集群中保护插件对 KMS 服务请求的凭据呢？这里推荐使用 RRSA 方案，可以将 KMS凭据的请求权限绑定在插件使用的独立 serviceaccount 上，避免将权限泄露给应用 pod中。对于数据安全性有严格要求的场景，比如当下火热的 AI 大模型，金融支付、隐私认证或涉及知识产权的核心数据计算，除了保证这些核心敏感信息在读写和传输过程中的安全性，还需保证机密信息在云上节点内存运算和存储过程中的安全可信。今年我们还和 Intel 以及CoCo 社区合作，基于 Intel TDX 机型实现了新一代的可信执行加密环境，帮助实现企业数基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps 流程138据全生命周期的安全可信。在应用运行时，云原生工作负载区别于传统基于虚机的应用服务有如下特点：短暂的生命周期，只有秒级的生命周期；编排引擎会根据节点实时资源动态调度工作负载，网络 IP 等应用元数据可能随应用重启不断变化；出于基础设施不可变性，对运行时环境的修改在工作负载重启后不会保留。正因为云原生工作负载自身特点，在应用运行时，当前大多数云原生安全产品对容器侧用户态进程的检测分析都存在不足。而 eBPF 天然的技术优势是提升云原生应用安全可观测性和实现精细化安全事件响应的有力武器。在 ACK 集群中，我们提供了针对 k8s 应用的 exec 活动审计能力，通过 eBPF agent 可以实时获取容器负载中执行的系统调用，并关联映射到在容器实例中执行的具体进程，从而帮助安全运维人员获取攻击者进入到容器实例后发起攻击的命令审计，有效帮助针对安全事件的溯源和止血。同时我们也和 SLS 日志服务提供的强大日志分析检索能力结合，针对云原生的典型漏洞，基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps 流程139提供了可疑的漏洞利用活动的溯源和告警能力，并且通过时间线图表的方式直观的展现给企业安全人员。员工离职后的权限清理问题也是困扰很多企业权限管理员的难题。在 ACK 默认提供的 x509证书认证模式下，企业安全运维人员很可能由于疏漏在删除 RAM 账号或角色前忘记吊销和清理 kubeconfig 权限。通过 ack-ram-authenticator 组件，ACK 托管集群可以通过 Webhook 方式、基于阿里云RAM 完 成 请 求 认 证。相 较 于 ACK 集 群 默 认 提 供 的 x509 证 书 认 证 模 式，使 用ack-ram-authenticator Webhook 认证方式有如下优点：适配企业通过云 SSO 场景，提供灵活可控的数据面 RBAC 授权；角色 SSO 对接场景下 apiserver 审计日志中包含企业 IDP 中的身份信息，有效支持对扮演同一角色的不同 IDP 用户的行为审计；企业员工离职删除 RAM 账号或 RAM 角色时，可自动清理其在账号所有 ACK 集群中的认证访问权限。基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps 流程1404.企业 DevSecOps 安全最佳实践“木桶的最大容积取决于最短的一块木板”，云原生安全同样遵循这样的木桶原则。由于云原生技术栈的复杂性，企业安全管理和运维人员更需要在安全准则的指导下，全面充分的了解全局安全风险，提升系统“最低点”安全水位。零信任安全最早由 Forrester 首席分析师 John Kindervag 在 2010 年提出，其核心思想是“Never Trust，Always Verify”。在零信任安全模型中，只要处于网络中，默认情况下任何用户都不可信，任何时刻任何环境下设备和服务的身份权限都需要被持续验证。权限最小化原则是企业安全运维中最基本也是最重要的准则之一。传统应用架构下，系统的权限管理员需要基于权限最小化原则对内部人员授权。在云原生架构下，授权管理不止针对企业中的账号系统，同时需要考虑松耦合微服务架构下众多服务身份的授权安全左移不仅可以有效降低软件自身漏洞而导致的应用风险，同时也能够有效降低企业开发运维成本。基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps 流程141企业安全管理人员需要在安全系统设计中规划和覆盖应用周期中的每个阶段，在安全左移和循环反馈原则的指导下，结合 CNAPP 等规范框架的理论指导下完成安全产品能力的建设。这里也列举了企业生产供应链中在开发，构建部署、运行时和反馈阶段环节需要具备的一些核心能力，时间关系就不一一介绍了。基于阿里云 ACK 与 ACR 构建企业级端到端 DevSecOps 流程142DevSecOps 在企业的落地实践离不开上海品茶理念上的转变，在 DevSecOps 体系中，安全应当是企业内部团队共同的目标，而不应只是安全团队自身的职责；企业开发、运维和安全团队应当协同起来，设定统一的目标并共担责任，同时定义团队之间的交流互动方式，能够有效提升业务迭代效率。下面几个方向是企业管理人员在上海品茶 DevSecOps 转型中需要关注的重点方向：人员：拥有合适的人才是 DevSecOps 的基础。安全培训和培养安全拥护者一直是让安全变得重要的首选解决方案；同时 DevSecOps 需要在安全和效率之间取得适当的平衡，另外持续学习，掌握最新的漏洞和策略对于保证应用程序的安全至关重要。流程：制定正确的流程可以确保每个人都站在同一起跑线上，并为安全一致性和凝聚力奠定基础。工具：成功实施 DevSecOps 战略的最后一个要素是工具。Kubernetes 安全领域拥有众多工具，可以解决 Kubernetes 和云原生安全的各个层面的问题。当然，在研究和实施安全工具时，也需要避免使用存在重大缺陷的工具。绩效：在重视生产效率和版本迭代的前提下，可以将 DevSecOps 的实施列入团队绩效考核，并且通过一些具体指标和分级问责机制的建立也是让 DevSecOps 快速融入团队的有效途径。结语最后，欢迎大家选择和使用更多的阿里云 ACK 和 ACR 服务中提供的安全产品能力，让我们共同努力，让 DevSecOps 流程落地实践到更多的企业生产流程中。机密计算容器前沿探索与 AI 场景应用143机密计算容器前沿探索与 AI 场景应用作者：李鹏（壮怀），阿里云高级技术专家、朱江云，英特尔软件与先进技术事业部高级经理企业与个人对数据隐私保护日益关切，从数据，网络的可信基础设施扩展到闭环可信的计算基础设施，可信的计算，存储，网络基础设施必定成为云计算的标配。机密计算技术应运而生，其中一个重要的技术是通过芯片的可信执行环境 TEE 实现数据保护。在 TEE 内执行的应用，不用担心来自其他应用、其他租户、平台方甚至运维内部团队的安全隐患。为了解决企业对数据隐私日益关切，阿里云、达摩院操作系统实验室与 Intel 和龙蜥社区一起，推出基于可信执行环境（TEE）的机密计算容器（Confidential Containers，简称 CoCo）在云上的参考架构。企业可以通过容器服务 ACK TDX 机密沙箱容器节点池实现端到端零信任的应用、数据和模型保护。在 2023 年云栖大会现场，阿里云容器服务高级技术专家壮怀和英特尔中国软件与先进技术事业部的高级经理朱江云共同分享了阿里云容器服务团队与社区和生态伙伴一起，在机密容器领域的探索、安全特性的演进，以及关于如何通过机密容器来保护 AI 应用的数据、模型以及计算展开探讨。1.ACK 端到端可信容器，为数据安全护航阿里云容器服务高级技术专家壮怀首先分享了对当前容器运行时安全主要威胁的分析、企业应该坚守的安全原则及阿里云容器服务如何与机密计算领域生态伙伴一起，为客户提供端到端可信容器，为企业数据安全保驾护航。机密计算容器前沿探索与 AI 场景应用1441）容器运行时安全威胁通常来说，我们对于企业安全的定义是是“在不加剧安全漏洞的情况下，您能否继续高效/安全地工作”。保证容器运行时安全需要通过最小化权限、零信任的原则，以 Never trust,always verfy 的方式思考 IT 设施各个组件之间的交互方式，思考计算如何做到零信任。机密计算容器前沿探索与 AI 场景应用145云计算构建了 RAM 鉴权体系、KMS 的密钥密文的管理能力、存储的 BYOK 加密技术、VPC、安全组、身份认证、鉴权、策略治理等等，即便如此，企业仍需思考是否足够解决云计算中信任问题，如计算过程数据的安全性如何保护、进程的计算过程对 root 的运维透明性如何防御等。安全的好坏取决于“最薄弱的环节”，是大家都知道木桶原则，短板决定了容量，短板决定了安全水位，云计算信任问题在解决了存储和网络相关信任问题，更聚焦到了计算的信任问题。实现安全的过程是对企业资源、所需专业知识、时间管理、实施成本、数据备份/恢复等的“风险管理”。当今的安全趋势是以安全左移，安全贯穿于开发，构建等更早期的阶段，数据的安全性依然需要贯彻于存储、网络和计算的三项基础设施。企业对安全的需要是全天候的、持续不断的、永无止境的，安全就是“在不对网络、生产效率和预算造成负面影响的情况下，以最快的速度学习所有可以学习的知识”。今天第三代的安全容器技术，正是遵循这个原则，从早期的需要侵入式的改造的 SGX1.0，到可以对更大内存空间做机密计算的 SGX2.0，到今天应用无感的平滑迁移进入安全容器技术（TDX/SEV/CCA）。从金融领域，扩展到今天的通用人工智能 AGI 的数据，模型保机密计算容器前沿探索与 AI 场景应用146护。从数据，网络的可信基础设施到闭环可信的计算，可信的基础设施必定成为云计算的标配。运行时的安全，有以下 5 个主要的安全威胁都可能会导致租户容器内的敏感数据遭到泄露：非授权部署错误配置恶意镜像漏洞利用提权攻击和内存溢出/数据攻击在云环境中运行容器时，底层基础设施的安全性和云服务提供商的可信度变得至关重要。如果云服务提供商受到入侵或缺乏适当的安全措施，容器内的敏感数据（如凭据、加密密钥或个人身份信息）可能会被未经授权的人员访问或窃取。今天云原生的安全手段通过相应的手段来治理和防护：OPA 策略治理应对授权和部署攻击配置巡检应对配置漏洞镜像扫描和 BinaryAuth 防范恶意镜像攻击CVE 修复和自动化运维升级抑制漏洞利用攻击而对于上述第 5 中提到的“提权攻击和内存溢出/数据攻击”，则需要使用机密虚拟机或者机密沙箱容器来做软硬一体的可信的计算来从根源上治理。机密计算容器前沿探索与 AI 场景应用147阿里云与 Intel 和龙蜥社区一起，推出机密容器和通用云服务融合的参考架构，三方结合阿里云八代裸金属（Intel）和八代的机密虚拟机实例，KMS，OSS，ACK/ACR 等云服务提供参考解决方案。通过 ACK TDX 机密沙箱容器实现端到端零信任的应用，数据和模型保护。通过 ACK 机密虚拟机节点池，企业无需对应用本身修改，直接部署云原生应用到机密虚拟机节点池，应用可以无缝切换高安全水位，支持多种机密计算场景，如金融风控、医疗健康数据隐私保护，AIGC/LLM 推理和微调，机密数据库，大数据应用等等。2）操作系统和 RunD 对 TDX 支持RunD 安全容器是龙蜥社区开源的下一代容器解决方案，包含 Rust Kata runtime 和Dragonball VMM。RunD 安全容器已经于 2022 年由龙蜥云原生 SIG 开源至 KataContainers 社区，且作为 Kata Container 3.0.0 release 的重要特性。目前龙蜥社区已经完成 Host OS、Guest OS 和 RunD 安全容器对 TDX 硬件的支持工作，并提供机密容器解决方案的端到端支持。机密计算容器前沿探索与 AI 场景应用1483）租户级的远程证明ACK 提供的多租户的远程证明服务提供了完整的租户级远程证明框架，用以支持建立用户对 TEE 从硬件到软件的全栈信任，从而实现注入密钥和证书注入等一系列关键的安全需求。达摩院操作系统实验室致力于研究远程证明架构对应用负载的完整可信，通过 AttestationAgent 运行在 TEE 内（这里的 TEE 主要包括机密虚拟机和机密沙箱内部）收集证据并发送给租户级服务 KBS，KBS 通过将证据转发给后端的 Attestation Service 对证据进行验证，然后向 TEE 内返回证明结果以及所需的秘密资源数据，从而达到对于应用负载，代码，配置，输入的安全度量。机密计算容器前沿探索与 AI 场景应用149远程证明体系整体采用模块化和插件化设计，以统一的软件架构兼容多种 TEE 平台。KBS通过 RESTful API 接收来自 TEE 或者租户的请求，在 KBS 内部我们实现了灵活的资源存储插件和 Attest Proxy 插件，从而允许在实际场景中对接不同的第三方存储服务和Attestation Service。在后端的 Attestation Service 中，集成了 OPA 实现的策略引擎以支持租户深度定制的证明策略。通过 ACK 应用市场可以实现远程证明服务的组件化部署和定制化。机密计算容器前沿探索与 AI 场景应用150在 ACK Pro 集群中可以通过部署远程证明服务，添加节点池，和部署运行时三个步骤来部署机密计算服务。通过选择 ECS 8 代 Intel 物理机来构建 TEE 的安全沙箱容器节点池，或者选择 ECS 8代 Intel 的虚拟机开启机密特性来构建 TEE 的机密虚拟机节点池。通过 ACK 应用市场，云原生的方式一键部署远程证明和代理服务实例，helm installcoco-kbs。通 过ACK应 用 市 场 部 署coco-operator来 提 供 两 种 新 的 容 器 运 行 时，kata-dragonball-tdx，kata-qemu-tdx 以及增强安全特性后的 runc，helm installcoco-operator。2.机密容器关键安全特性探索实践机密计算容器前沿探索与 AI 场景应用151来自英特尔中国软件与先进技术事业部的高级经理朱江云代表 ACK 机密容器生态合作重要伙伴，向观众分享了容器运维行安全的演进、机密容器关键安全特性的发展以及在 AI 等前沿领域的探索落地。容器的运行时，共享内核的 runc 仍然占据主流的部署；随着安全需求的提升，独立内核的沙箱容器出现带来了更好的隔离性和更小的攻击面，降低了宿主机和云厂商的安全风险；随着对用户数据隐私要求的进一步提升，硬件加密的客户机内存和硬件生成的客户机密钥，结合远程证明，进一步保护了客户的隐私数据和代码，避免了硬件所有者窥探计算过程中的数据。机密计算容器前沿探索与 AI 场景应用152机密容器（Confidential Containers）是云原生基金会（CNCF）旗下的一个沙箱项目，它使用硬件信任执行环境（TEE）为容器化的工作负载提供机密性和完整性。机密容器两大设计原则就是易用和安全。从易用性角度，无缝对接 Kubernetes 和容器生态，确保应用能够平滑迁移；从安全性角度，机密容器有着更严格的威胁模型，通过提供 Pod/VM 级TCB，对 IT 运维人员和云厂商也可以做到计算过程的零信任。结合 KMS，BYOK OSS，BYOK EBS，VPC，ACK，ACR 等云服务，端到端把零信任覆盖计算，存储和网络和配置，对所有 POD 之外的输入做验证，所有 POD 里的非应用组件做度量，实现完整的应用可信和安全加固。机密计算容器前沿探索与 AI 场景应用153为了确保 App 容器运行在可信运行时环境 不被恶意篡改，安全容器参考架构提供了可度量的 guest rootfs，并利用 dm-verity 通过远程证明服务提供根文件系统的完整性，并且保证了启动性能。为了确保 App 容器以期待的方式拉起，需要通过 OPA 策略定义和度量容器的元数据，包括：环境变量mount pointsOCI API机密计算容器前沿探索与 AI 场景应用154为了确保容器镜像的完整性，确保拉起过程中没有被恶意修改或者替换，使用镜像签名机制完成 镜像校验，从Key Broker Service 获得校 验密钥，校验Policy 并通过CoSign/sigstore,GPG key 等方式校验镜像的完整性。机密计算容器前沿探索与 AI 场景应用155为了保护镜像的机密性和不可窥探性，容器在运行时需要对主机不可见，通过镜像加密保证容器镜像对服务提供商不可获取，容器镜像在硬件 TEE 里下载和解密对运维人员不可见，加密后的容器镜像支持 OCI 和 distribution，支持按层加密和可选层加密主要针对模型和私有代码的保护，解密密钥在通过远程证明验证后发放只对 TEE 可见。安全的云上存储访问，存储相关的敏感信息以 sealedSecret 方式布署，敏感信息在 TEE环境中被解密，并且这个过程依赖于远程证明，而不依赖于外部存储的传统服务端加密服务，安全挂载服务使用相关机密信息来挂载和解密外部存储。3.基于机密容器构建可信 AI 应用生成式人工智能（AIGC）等创新浪潮驱动了人工智能的新一轮增长，模型训练和模型推理成为云服务器的重要负载。如何在云上保护大数据分析和人工智能应用的数据安全和隐私，是数据科学家和云服务提供商共同面临的挑战。为了应对这个问题，阿里云容器服务推出基于英特尔 TDX 的机密容器服务解决方案，通过 ACK TDX 机密容器实现端到端零信任的数据和模型保护，基于第四代英特尔 至强平台的 高级矩阵扩展（AMX）的 INT8（推理）和 BFloat16（训练/推理）内置 AI 加速能机密计算容器前沿探索与 AI 场景应用156力，可以实现高安全和高性价比的推理和微调服务：安全可信-通过加密 AI 模型存储和加密的私有应用镜像，保障模型数据的机密性与完整性，实现可信 AI 模型推理和微调高性价比-基于 Intel AMX 指令集和 Intel PyTorch 扩展，32 核可以实现秒级出图的推理能力低损耗-加密计算 TDX 性能损耗控制在 3%以下使用 BigDL LLM 在 ACK 机密容器上部署推理和模型调优，BigDL LLM 是 Intel 平台上的大语言模型加速库，结合数据加密和阿里云存储和密钥服务，全链路安全保护的分布式大语言模型安全，也可以全链路安全保护的大语言模型微调数据的安全，通过 BigDL 和ECS 8 代实例实现模型推理和微调的加速。4.容器是承载可信基础设施最好的平台服务云计算提供存储（BYOK 加密）和网络（非对称传输加密）的可信基础设施，发展到今天可信的计算（TDX/SEV/CCA）。大胆的猜测，可信的存储、网络、计算的基础设施必定成机密计算容器前沿探索与 AI 场景应用157为云计算的标配，而容器正是承载可信基础设施最好的平台服务，这也是我们为可信计算落地阿里云的初衷。Koordinator 助力云原生应用性能提升小红书混部技术实践158Koordinator 助力云原生应用性能提升小红书混部技术实践作者：张佐玮，阿里云技术专家、宋泽辉，小红书容器资源调度负责人编者按：Koordinator 是一个开源项目，是基于阿里巴巴内部多年容器调度、混部实践经验孵化诞生，是行业首个生产可用、面向大规模场景的开源混部系统，致力于提升应用服务质量，优化资源使用效率。自 2022 年 4 月正式开源以来，吸引了业界众多优秀工程师的贡献参与和讨论。小红书是 Koordinator 社区的活跃成员，自项目诞生初期就深度参与了一系列重要功能的演进。本文是基于 2023 云栖大会上关于 Koordinator 分享的实录，Koordinator 社区成员宋泽辉（小红书）、张佐玮（阿里云）为大家介绍了小红书混部技术实践以及 Koordinator的近期规划。1.背景介绍随着小红书业务的高速发展，各类在线，离线业务对于计算资源的需求也在快速增长。与此同时，部分在线集群天均利用率水位却维持在较低水平，造成这一现象的主要原因有以下几点：在线服务资源使用量随着终端用户的使用习惯呈现稳定的潮汐现象，夜间 CPU 利用率极低，导致集群均值 CPU 利用率较低；业务保有大量的独占资源池，资源池割裂产生大量的资源碎片，拉低 CPU 利用率；业务为了稳定性考虑，会过量囤积资源，进一步拉低 CPU 利用率；基于以上背景，为了帮助业务降低资源使用成本，提升集群 CPU 利用率，小红书容器团队从 2022 年开始，通过规模化落地混部技术来大幅提升集群资源效能，降低业务资源成本；Koordinator 助力云原生应用性能提升小红书混部技术实践1592.技术演进小红书混部技术演进分为以下四个阶段：阶段一：闲置资源再利用早期集群资源管理粗放，集群中存在大量业务独占资源池，因为资源碎片等因素存在大量低分配率的低效节点，散落在各个集群中的低效节点形成大量资源浪费。另一方面，部分基于 k8s 发布的转码类近线/离线场景，全天时段均存在大量计算资源需求。基于以上背景，容器平台通过技术手段将集群中的闲置资源收集起来，分配给转码类业务场景使用。我们通过 virtual-kubelet 打通元数据集群与物理集群，将闲置资源汇聚起来，在元数据集群分配给转码类场景近线/离线计算服务。策略方面，二次调度器负责巡检集群所有节点，识别为低效节点后标记出来，virtual-kubelet 获取物理集群中的低效节点可用资源作为集群闲置资源二次分配给离线转码，同时二次调度器需要保证一旦在线服务有资源需求，将会立刻驱逐离线 pod 并归还资源。Koordinator 助力云原生应用性能提升小红书混部技术实践160阶段二：整机腾挪分时复用搜推广等业务的独占资源池，CPU 利用率潮汐现象明显，夜间利用率极低，资源池中的单个节点往往也只部署一个大规格业务 Pod，基于以上背景，平台通过弹性能力（HPA），在凌晨业务低峰期按比例对在线业务缩容，腾挪空出整机，并将转码，训练等离线 pod 在该时段运行起来，起到利用率“填谷”的效果。具体实施时，需要确保在线服务能在规定的时间内全部被拉起，为此，策略方面我们实现了离线提前退场，并通过调度器抢占机制兜底，确保在线服务在业务高峰期来临之前能被全量及时拉起。Koordinator 助力云原生应用性能提升小红书混部技术实践161阶段三：常态混部为了降低资源碎片率，降低业务资源持有成本，平台持续推进业务大规模合池，将业务由独占池迁至平台托管的公共混部池，通过合池，资源超卖等技术手段，CPU 分配率得到有效提升，但依旧无法解决合并后的资源池夜间利用率较低等问题。另一方面，合池后的复杂混部场景下，整机腾挪分时混部离线的调度策略很难再继续实施，平台需要通过建设更为细粒度的资源管理与调度能力来实现均值利用率提升的目标，具体包含以下几点：调度侧：通过动态超卖技术获取可二次分配给离线的可用资源量，并抽象出离线资源视图让k8s 调度器感知到，调度器调度离线负载到对应节点上，实现离线对节点利用率的“填谷”效果；通过负载调度，尽可能避免在线服务被调度到高负载机器，让集群中节点负载更加均衡；Koordinator 助力云原生应用性能提升小红书混部技术实践162通过二次调度，驱逐负载热点机器上的高利用率服务，使得集群负载处于动态均衡状态；单机侧：支持 Qos(Quality of service)保障策略，根据服务的 Qos 等级提供差异化的运行时资源保障能力；支持干扰检测、离线驱逐等能力，当离线对在线敏感服务产生干扰时，第一时间驱逐离线；通过以上技术手段，可以有效保障服务混部时的稳定性，从而常态化的让在线离线工作负载混跑在节点上，实现利用率填谷效果的最大化。Koordinator 助力云原生应用性能提升小红书混部技术实践1633.架构设计与实现小红书容器资源调度架构设计如图所示：小红书各类业务场景通过各类发布平台、任务平台提交后，通过上层负载编排能力，以 pod形式下发到统一调度系统。统一调度系统基于不同的调度需求，对在线服务提供强保障的资源交付能力，差异化的 Qos 保障能力，对离线服务提供最小资源需求的保障能力和极致的弹性能力。调度侧：离线调度：coscheduling；二次调度：热点驱逐，碎片整理；Koordinator 助力云原生应用性能提升小红书混部技术实践164负载调度：基于 CPU 水位；资源视图：模拟调度；单机侧：压制策略：bvt 压制，内存驱逐；Qos 保障：绑核，超线程干扰抑制等；Batch 资源上报：batch 可用资源计算，上报；指标采集(from kernel)：psi，sched info 等；干扰检测：基于 cpi，psi，业务指标的干扰检测；1）离线调度资源视图离线服务资源调度的基本原理是基于在线服务负载感知能力的动态超卖，具体实现是将节点空闲资源二次分配给离线业务：其中离线可用资源为节点上的空闲资源（包含未分配资源和已分配未使用资源之和），扣除安全预留资源之后剩余资源，离线可用资源计算公式如下：将计算出的离线可用资源量按照时间分布后如图所示（图中绿色部分）：Koordinator 助力云原生应用性能提升小红书混部技术实践165实际落地过程中，为了避免离线可用资源随在线服务资源使用波动而大幅波动，从而影响离线资源质量和离线服务运行稳定性，通过资源画像对上述公式中的在线服务实际使用量数据进一步处理，去除数据噪点，最终计算出一个相对稳定的离线可用资源量（图中绿色部分），如图所示：Koordinator 助力云原生应用性能提升小红书混部技术实践1662）混部 QoS 保障策略QoS 分级按照业务对于服务质量（QoS:Quality of service）的需求，我们将小红书的业务类型简单的划分为三个 QoS 级别，如下表所示：Qos 等级说明业务场景latency-sensitive最高 Qos 保障等级，延迟极为敏感服务搜推广延迟极为敏感场景mid默认 Qos 保障等级，容忍部分干扰延迟网关，java 微服务batch最低 Qos 保障等级，延迟不敏感，资源随时可能被抢转码，spark，flink，训练等计算场景QoS 保障根据服务的 QoS 需求，节点侧会做 Pod 粒度的分级资源保障，实现各个资源维度差异化QoS 保障策略，具体的保障参数如下；资源特性latency-sensitivemidbatchCPUcpu burstenableenabledisable调度优先级最高默认低绑核share(默认)share(默认)reclaimedKoordinator 助力云原生应用性能提升小红书混部技术实践167numa强保证prefer（默认）noneL3 cache1000%（默认）30%（默认）内存带宽1000%（默认）30%（默认）内存OOM 优先级最低默认最高内存回收水线调高默认调低在 CPU 核调度层面，分别设置了三种绑核类型，并设计了一套精细化 CPU 核编排策略，分配示意图如下：Koordinator 助力云原生应用性能提升小红书混部技术实践168三种绑核类型分别为：exclusive（不推荐）特点：绑定 cpuset 调度域，CCD 感知，numa 绑定，独占排他场景：极为敏感的搜推广大规格延迟敏感服务share特点：绑定 cpuset 调度域，CCD 感知，numa（可选）绑定，share/exlusive 排他，可与 none 类型业务共享场景：容忍部分干扰的 Java 微服务，应用网关，web 服务reclaimed特点：无 cpuset 绑定，可能与非 exlusive 绑核模式业务共享核，核的分配完全交由内核，CPU 资源并非 100%能得到满足场景：batch 类离线服务，部分对延迟无要求的计算服务3）离线驱逐极端场景下，如整机内存使用率较高，有触发 OOM 风险，或者离线业务 CPU 长期得不到满足，单机侧支持按照离线服务内部定义的优先级配置，资源用量，运行时长等多维度综合算分排序后按序驱逐；4.离线业务场景小红书作为一个数亿用户的内容社区，其离线业务场景丰富多样，其中包含大量视频类，图片类转码场景，搜推，cv/nlp 算法推理训练，算法特征生产，数仓查询等离线场景，具体来讲，包含以下业务类型：近离线转码场景（已容器化）Koordinator 助力云原生应用性能提升小红书混部技术实践169Flink 流式/批式计算（已容器化）Spark 批式计算（容器化，on yarn）cv/nlp 算法回扫场景（已容器化）训练场景（已容器化）通过提供以 K8s 为底座的在离线统一调度能力，将这些离线业务与在线服务混合部署在统一计算资源池内，为在线服务提供差异化的资源质量保障，为离线服务提供海量的低层本算力，实现资源效能的提升。1）K8s 与 YARN 混部方案小红书内部商业化，社区搜索等业务存在大量的算法类 spark 任务因为离线集群资源紧张导致任务堆积，不能得到及时处理，同时在线集群在业务低峰时段资源使用率较低；另一Koordinator 助力云原生应用性能提升小红书混部技术实践170方面，相当占比的 spark 任务资源调度仍旧运行在 Yarn 调度器上，在这样的背景下，为了降低业务迁移成本，方案选型方面，我们选择与 kooridinator 社区合作，采用 Yarn onk8s 混部方案来快速落地 Spark 离线场景混部，具体方案如图所示：其中容器化的在线、离线工作负载通过 k8s 链路发布到在线集群内，Spark 作业通过 YarnResourceManager 调度到具体节点，并由节点上的 Nodemanager 组件拉起。其中Nodemanager 通过容器的方式部署在在线 k8s 集群内，除此之外，还涉及到以下组件：调度侧koord-yarn-operator：支持 k8s 与 yarn 调度器资源视图双向同步；节点侧copilot：NodeManager 操作代理，提供 Yarn Task 管控接口；Neptune-agent/koordlet：离线资源上报，节点离线 Pod/task 管理，冲突解决，驱逐，压制策略；Koordinator 助力云原生应用性能提升小红书混部技术实践171支持 K8s 与 YARN 混部的核心能力目前已经在社区研发完成，将于 11 月下旬，在Koordinator 1.4 版本进行发布。2）多调度器资源同步K8s 调度器与 YARN 调度器之间原本独立且相互不感知，为了共享分配在线集群节点上的总可用离线资源，需要通过 koord-yarn-operator 组件来做两个调度器之间的资源双向同步和协调，并实现两个同步链路：1K8s-YARN 调度器资源同步链路，负责同步 Yarn 视角离线资源总量，其中 YARN 离线资源总量计算如下：YARN 离线资源总量=离线总可用量-K8s 侧节点已分配1YARN-K8s 调度器资源同步链路，负责同步 YARN 已分配资源量，其中 k8s 离线资源总量计算如下：k8s 离线资源总量=离线总可用量-YARN 侧节点已分配基于各自节点离线资源视图，两个调度器分别做出调度决策，调度 K8s 离线 Pod 与 YARNTask 到节点上，由于同步过程不适合加锁，可能会出现资源被过量分配的问题：Koordinator 助力云原生应用性能提升小红书混部技术实践172具体解决措施是在单机侧增加了仲裁逻辑，当节点已分配离线服务资源量长期超过节点可用离线资源，且离线使用率持续较高，存在离线服务得不到资源被饿死的可能，单机侧则会根据离线服务的优先级，资源占用量，运行时长等因素综合算分并按序驱逐。3）阿里云 EMR 产品化支持与此同时，阿里云 EMR 团队在产品层面提供了混部功能的开发支持，在兼容 EMR 原有日志，监控，运维逻辑的基础上，支持了 k8s 集群弹性扩缩容 NodeManager Pod 的能力。Koordinator 助力云原生应用性能提升小红书混部技术实践1735.落地收益截止目前，小红书混部能力覆盖数十万台机器规模，覆盖算力规模数百万核，支持数万规模在线、离线场景服务的资源调度。通过大规模容器混部的持续推进，小红书在资源成本效能等方面都取得了显著收益，具体包含以下两方面：CPU 利用率在保证在线服务服务质量的前提下，在线混部集群天均 CPU 利用率提升至 45%以上，部分集群天均 CPU 利用率可稳定提升至 55%。通过在离线混部等技术手段，在线集群 CPU 利用率提升 8%-15%不等，部分存储集群CPU 利用率提升可达 20%以上。资源成本在保证离线业务稳定性的前提下，为小红书各类离线场景提供数百万核时的低成本算力。混部集群 CPU 分配率提升至 125%以上，相较于独占资源池，资源碎片率明显下降。6.社区共建历程小红书是早期参与 Koordinator 社区的公司之一，2022 年 4 月，Koordinator 正式开源，同年 6 月，小红书内部启动了在离线混部项目，开始参与 Koordinator 方案设计与代码提Koordinator 助力云原生应用性能提升小红书混部技术实践174交。2022 年 8 月，小红书与社区共建了 runtime-proxy 组件，并在内部场景落地。2023年 4 月，小红书在社区主导启动了 YARN 与 K8s 混部项目，2023 年 8 月，该方案在小红书内规模化落地。截止目前，依托 Koorindiator 的助力，小红书的混部已经覆盖公司数万台节点，提供数十万核离线资源，整体混部集群的利用率提升至 45%以上。取得了不错的落地效果。7.总结与展望在小红书近一年多混部技术探索过程中，我们在资源效能提升方面积累了较为丰富的落地经验，并取得了不错的提升效果，随着公司业务规模逐步增长，场景愈发复杂，我们将会面临诸多新的技术挑战。下个阶段我们的目标是建设面向混合云架构的统一资源调度能力，具体工作将围绕以下三方面展开：混合工作负载调度能力支持：包括大数据，AI 在内的任务型工作负载调度能力建设，满足小红书所有业务场景的资源调度功能，性能需求；资源效能进一步提升：面向混合云架构，推进更大规模的资源合池，推进 quota 化资源交付，通过更加激进的弹性，混部，超卖等技术手段，实现集群资源利用率的进一步提升，资源成本的大幅下降；更高服务质量保障能力：在更为激进的 CPU 利用率目标背景下，通过建设 Qos 感知调度能力，干扰检测能力，依托安全容器等技术手段，解决深水区混部中可能遇到的各类混部干扰问题；8.Koordinator 社区近期规划再接下来的几个版本中，Koordinator 将在以下几个方面进行重点投入：调度器性能优化：支持等价类调度，通过合并 request 相同的 pod，避免 filter、score等调度过程的重复计算。Koordinator 助力云原生应用性能提升小红书混部技术实践175Network QoS：网络维度容器服务质量，保障高优先级带宽，设计 request/limit 模型，保障最低带宽需求。大数据负载：支持 Gang 调度原子抢占，按分组整体抢占 Pod；面向 Hadoop YARN任务的 QoS 策略适配。资源干扰检测：基于底层指标、感知容器资源竞争情况，识别异常 Pod，消除干扰并反馈调度链路。轻松搭建基于服务网格的 AI 应用，然后开始玩176轻松搭建基于服务网格的 AI 应用，然后开始玩作者：尹航，阿里云研发工程师在 2023 年的云栖大会中，阿里云服务网格 ASM 推出了两全其美：Sidecarless 与Sidecar 模式融合的服务网格新形态主题演讲，并在演讲中展示了一个基于服务网格ASM 各项能力构建的 DEMO AI 应用。该应用集中展示了 ASM 在模型服务、请求处理、请求路由和安全中心集成单点登录等各项能力，且这些能力还完全是以 Sidecarless 的形态来实现的。轻松搭建基于服务网格的 AI 应用，然后开始玩177看完我们的演示，您也许也会想尝试一下，从零开始构建这样的一个应用来玩玩吧！当然！我们向您保证，我们能搭出来的东西，您一定也能搭出来。本文就是这样一篇给各位的入门指引，我们这就开始吧！1.从零开始搭建一个基于服务网格 ASM 的 AI 应用前提条件轻松搭建基于服务网格的 AI 应用，然后开始玩178一个 ACK 集群、一个 ASM 实例以及相关的 istioctl 等工具是一切的根基，我们先来准备一些实验环境。已创建 ASM 实例，且实例版本在 1.18.0.131 及以上。具体操作，请参见创建 ASM实例1。在创建服务网格页面配置数据面模式时，选中启用 Ambient Mesh 模式。已创建 Kubernetes 集群，且满足 Kubernetes 集群及配置要求2。关于创建集群的具体操作，请参见创建 Kubernetes 专有版集群3或创建 Kubernetes 托管版集群4。已添加集群到 ASM 实例。具体操作，请参见添加集群到 ASM 实例5。已按照实际操作系统及平台，下载 Istioctl 服务网格调试工具。详细信息，请参见Istio6。搭建模型推理服务1）开启 ASM 的多模型推理服务生态集成能力对于一个基于 AI 模型推理的应用服务来说，将训练好的模型快速转化为弹性、灵活的模型推理服务无疑是工作的重心之一。作为应用感知的下一代云原生基础设施，服务网格 ASM 也通过其丰富的生态集成能力、集成了云原生推理服务框架 KServe（参考 ASM 集成云原生推理服务框架 KServe7）、为 AI 模型推理的服务化提供了一站式解决方案。在服务网格 ASM 的最新版本中，我们 alpha 阶段地引入了模型推理服务集成的多模型服务框架（modelmesh）。在全新的 modelmesh 服务框架之内，不同的模型、其推理将交给多个运行时工作负载来完成。每个运行时支持不同的模型格式；并且可以同时提供多个模型的推理服务。当我们使用 InferenceService 资源定义一个模型后，模型文件将根据模型的格式、动态地加载到对应的运行时工作负载之中。一个运行时可以同时提供多轻松搭建基于服务网格的 AI 应用，然后开始玩179个模型的推理服务。我们可以通过以下步骤来集成多模型推理服务框架 modelmesh：在 ASM 实例中创建一个名为 modelmesh-serving 的全局命名空间（参考管理全局命名空间8）要使用这个能力，我们首先使用 kubectl 连接到 ASM 实例（参考通过控制面kubectl 访问 Istio 资源9）使用以下这个文件，创建 asmkserveconfig.yamlapiVersion: kubectl 执行以下命令，打开模型推理服务框架集成kubectl apply-f asmkserveconfig.yaml执行完此步骤后，我们可以看到 ACK 集群中出现一个 modelmesh-serving 命名空间，内部包含有模型推理 Servicemodelmesh-serving、以及提供服务的各种运行时工作负载，这就代表模型推理服务已经就绪。轻松搭建基于服务网格的 AI 应用，然后开始玩1802）准备模型文件，声明推理服务模型推理服务框架就绪后，接下来我们需要准备好训练的模型文件，并将模型加载到运行时工作负载中，成为可以对外暴露的推理服务。a.准备模型文件机器学习模型在经过训练后，可以通过各种序列化方式被保存下来（例如：saved_model、pkl 等），模型推理服务器可以加载并利用这些模型文件对外提供训练好的机器学习模型的推理服务。在本 DEMO 应用中，我们也需要准备这样的模型文件。事实上，我们准备了两个训练好的模型。这两个模型分别基于 tensorflow 与 pytorch，其中 pytorch 模型生成的图片风格固定，而 tensorflow 模型可以抽取图片风格，进行不同的风格化处理。轻松搭建基于服务网格的 AI 应用，然后开始玩181模型的获取也非常简单，不需要大家去自己训练了。我们只需要通过 Tensorflow 和Pytorch 的官方渠道即可获取了。TensorFlow模 型 可 通 过Tensorflow Hub获 取，访 问 这 里 来 下 载：https:/tfhub.dev/google/magenta/arbitrary-image-stylization-v1-256/2至于 Pytorch 模型，我们在本例中使用了官方 DEMO 例子中的模型，并将其转换成了ONNX格 式。我 们 可 以 参 考 这 个 教 程 来 下 载 并 转 换 模 型 文 件：https:/pytorch.org/tutorials/advanced/ONNXLive.html（注意：在转换成 ONNX模型的一步，我们是使用了 512*512 的图片作为输入，注意输入图片尺寸，这个对ONNX 格式的模型很重要）。demo 中提供四种固定风格的模型，我们可以任选一款，在我们的 demo 中选择了 candy 模型。下载到本地后，我们随便找个路径作为根目录，新建一个 tensorflow 文件夹和一个pytorch 文件夹，分别保存两个模型的文件。我们将两个模型的模型文件保存成如下的文件夹结构，方便后续操作。Tensorflow 模型大概长这样：Pytorch 模型则是这样的：在根目录运行 ls-R 指令，可以看到如下的文件结构：$ls-Rpytorchtensorflow./pytorch:轻松搭建基于服务网格的 AI 应用，然后开始玩182style-transfer./pytorch/style-transfer:candy.onnx./tensorflow:style-transfer./tensorflow/style-transfer:saved_model.pb variables./tensorflow/style-transfer/variables:variables.data-00000-of-00002variables.data-00001-of-00002variables.indexb.将模型文件加载到 PVC首先创建一个存储类，前往容器服务控制台的 存储 存储类，创建一个存储类：轻松搭建基于服务网格的 AI 应用，然后开始玩183接着创建 PVC，前往容器服务控制台 存储 存储声明，用刚刚创建的存储类来创建一个存储声明 PVC，名字就叫 my-models-pvc。轻松搭建基于服务网格的 AI 应用，然后开始玩184c.创建一个 pod 用来将模型文件拷贝到 PVC 里前往容器服务控制台的工作负载 容器组，点击“使用 YAML 创建”，并在 YAML 框中输入以下内容，点击“创建”来创建一个 pod。apiVersion:v1kind:Podmetadata:name:pvc-accessnamespace:modelmesh-servingspec:containers:-name:mainimage:ubuntucommand:/bin/sh,-ec,sleep 10000volumeMounts:-name:my-pvcmountPath:/mnt/modelsvolumes:-name:my-pvc轻松搭建基于服务网格的 AI 应用，然后开始玩185persistentVolumeClaim:claimName:my-models-pvcd.使用 kubectl cp 将模型文件通过 pod 拷贝进 PVC首先使用 kubectl 连接至 ACK 集群（参考获取集群 KubeConfig 并通过 kubectl 工具连接集群10）。接下来在刚才的模型文件根目录处，打开命令行，运行以下指令：kubectl cp-n modelmesh-serving tensorflow pvc-access:/mnt/models/kubectl cp-n modelmesh-serving pytorch pvc-access:/mnt/models/接下来执行以下命令，确定拷贝已经成功：kubectl exec-n modelmesh-serving pvc-access-ls/mnt/models预期得到以下内容，就说明模型文件已经被拷贝到 PVC 里了。pytorchtensorflowe.使用 InferenceService 自定义资源创建模型推理服务使用以下内容，创建 isvc.yaml 文件apiVersion:serving.kserve.io/v1beta1kind:InferenceServicemetadata:name:tf-style-transfernamespace:modelmesh-servingannotations:serving.kserve.io/deploymentMode:ModelMesh#serving.kserve.io/secretKey:myossspec:轻松搭建基于服务网格的 AI 应用，然后开始玩186predictor:model:modelFormat:name:tensorflowstorage:parameters:type:pvcname:my-models-pvcpath:tensorflow/style-transfer/-apiVersion:serving.kserve.io/v1beta1kind:InferenceServicemetadata:name:pt-style-transfernamespace:modelmesh-servingannotations:serving.kserve.io/deploymentMode:ModelMeshspec:predictor:model:modelFormat:name:onnxstorage:parameters:type:pvcname:my-models-pvcpath:pytorch/style-transfer/isvc.yaml 中声明了两个 InferenceService，分别对应 Tensorflow 和 Pytorch 模型的推理服务声明。使用以下命令，在 ACK 集群中创建模型推理服务。kubectl apply-f isvc.yaml轻松搭建基于服务网格的 AI 应用，然后开始玩187我们可以观察到在集群中，支持 Tensorflow 和 Pytorch 这两个模型的运行时工作负责Pod 被动态扩容拉起，并开始加载对应支持格式的模型。在此 DEMO 示例中，我们用InferenceService 分别声明了 Tensorflow 和 ONNX 格式的模型文件，因此，可以看到，对应拉起的运行时是 triton-2.x 运行时和 ovms-1.x 运行时。当运行时启动与模型加载都完成后，使用 kubectl 获取 InferenceService，可以看到两个 InferenceService 也都对应处于就绪状态：$kubectl get isvc-n modelmesh-servingNAMEURLREADYPREVLATESTPREVROLLEDOUTREVISIONLATESTREADYREVISIONAGEpt-style-transfergrpc:/modelmesh-serving.modelmesh-serving:8033True11dtf-style-transfergrpc:/modelmesh-serving.modelmesh-serving:8033True11d3）在集群中部署业务服务在模型推理服务的前面就是我们的业务服务了，分别是 style-transfer 业务服务和最前方轻松搭建基于服务网格的 AI 应用，然后开始玩188的 AI 应用服务，我们接下来就需要在集群中部署这些服务以及服务的工作负载。a.使用 kubectl 连接到 ACK 集群，并使用如下命令创建一个命名空间来部署应用kubectl create namespace apsara-demob.使用以下内容，创建 ai-apps.yaml 文件apiVersion:v1kind:ServiceAccountmetadata:name:ai-backendnamespace:apsara-demo-apiVersion:v1kind:ServiceAccountmetadata:name:style-transfernamespace:apsara-demo-apiVersion:apps/v1kind:Deploymentmetadata:labels:app:ai-backendname:ai-backendnamespace:apsara-demospec:progressDeadlineSeconds:600replicas:1revisionHistoryLimit:10selector:matchLabels:app:ai-backendstrategy:rollingUpdate:轻松搭建基于服务网格的 AI 应用，然后开始玩189maxSurge:25%maxUnavailable:25%type:RollingUpdatetemplate:metadata:labels:app:ai-backendspec:serviceAccountName:ai-backendcontainers:-image:- AI 应用，然后开始玩190spec:progressDeadlineSeconds:600replicas:1revisionHistoryLimit:10selector:matchLabels:app:style-transfermodel-format:tensorflowstrategy:rollingUpdate:maxSurge:25%maxUnavailable:25%type:RollingUpdatetemplate:metadata:labels:app:style-transfermodel-format:tensorflowspec:serviceAccountName:style-transfercontainers:-image:- AI 应用，然后开始玩191requests:cpu:250mmemory:512MiterminationMessagePath:/dev/termination-logterminationMessagePolicy:FilednsPolicy:ClusterFirstrestartPolicy:AlwaysschedulerName:default-schedulersecurityContext:terminationGracePeriodSeconds:30-apiVersion:apps/v1kind:Deploymentmetadata:labels:app:style-transfername:style-transfer-torchnamespace:apsara-demospec:progressDeadlineSeconds:600replicas:1revisionHistoryLimit:10selector:matchLabels:app:style-transfermodel-format:pytorchstrategy:rollingUpdate:maxSurge:25%maxUnavailable:25%type:RollingUpdatetemplate:metadata:labels:app:style-transfermodel-format:pytorchspec:serviceAccountName:style-transfer轻松搭建基于服务网格的 AI 应用，然后开始玩192containers:-image:- AI 应用，然后开始玩193ipFamilies:-IPv4ipFamilyPolicy:SingleStackports:-name:httpport:8000protocol:TCPtargetPort:8000selector:app:ai-backendtype:ClusterIP-apiVersion:v1kind:Servicemetadata:labels:app:style-transfername:style-transfernamespace:apsara-demospec:internalTrafficPolicy:ClusteripFamilies:-IPv4ipFamilyPolicy:SingleStackports:-name:httpport:8000protocol:TCPtargetPort:8000selector:app:style-transfersessionAffinity:Nonetype:ClusterIPc.使用 kubectl 执行以下命令来部署上方文件中声明的应用服务kubectl apply-f ai-apps.yaml轻松搭建基于服务网格的 AI 应用，然后开始玩1944）创建 ASM 网关、waypoint 网格代理，并部署生效流量规则部署的最后一部分都有关服务网格，具体来说有以下部分：ASM 入口网关。网格 waypoint 代理，它是 Sidecarless 的服务网格能力载体。服务网格流量规则，这些规则将生效到 ASM 网关和 waypoint 代理，保证流量路径按照我们的设计运行。a.部署 ASM 入口网关我们可参考创建入口网关11，来创建 ASM 入口网关。我们需要创建两个 ASM 入口网关，其中一个叫 api-ingresgateway，服务类型为 LoadBalancer，网关上需要开启 80端口；另一个叫 ingressgateway，服务类型为 ClusterIP，网关上需要开启 8008 端口。其余网关配置保持默认即可。都创建完成后，我们应该可以在 ASM 入口网关页面看到这样的显示：b.开启 apsara-demo 命名空间的 Ambient Mesh 模式登录 ASM 控制台12，在左侧导航栏，选择服务网格 网格管理。在网格管理页面，单击目标实例名称，然后在左侧导航栏，选择网格实例 全局命名轻松搭建基于服务网格的 AI 应用，然后开始玩195空间。在全局命名空间页面，单击从 Kubernetes 集群同步自动注入，选择数据面 ACK 集群后单击确定。在全局命名空间页面的数据面模式列，单击 apsara-demo 命名空间对应的切换为Ambient Mesh 模式，然后在确认对话框，单击确定。c.部署 waypoint 代理使用 kubectl 连接到 ACK 集群，然后使用前提条件中安装的 istioctl 工具，执行以下指令：istioctl x waypoint apply-service-account style-transfer-n apsara-demo执行完成后，我们可以使用 kubectl 列出集群中的无状态工作负载。kubectl get deploy-n apsara-demo预期输出：NAMEREADYUP-TO-DATEAVAILABLEAGEai-backend1/11113dstyle-transfer-istio-waypoint1/11113dstyle-transfer-tf1/11113dstyle-transfer-torch1/11113d可以看到集群中除了我们刚才部署的 AI 应用以及 style-transfer 应用的工作负载外，还轻松搭建基于服务网格的 AI 应用，然后开始玩196增加了一个名为style-transfer-istio-waypoint 的工作负载，这就是服务网格的waypoint 代理，它是以独立的工作负载方式部署在集群中的，所提供的所有能力也都是Sidecarless 的。d.部署服务网格规则 使用以下内容，创建 modelsvc-routing.yaml 文件#make sure voyage is 1.13.4.13 or higherapiVersion:networking.istio.io/v1beta1kind:Gatewaymetadata:name:grpc-gatewaynamespace:modelmesh-servingspec:selector:istio:ingressgatewayservers:-hosts:-*port:name:grpcnumber:8008protocol:GRPC-hosts:-*port:name:httpnumber:80protocol:HTTP-apiVersion:networking.istio.io/v1beta1kind:VirtualServicemetadata:name:vs-modelmesh-serving-service轻松搭建基于服务网格的 AI 应用，然后开始玩197namespace:modelmesh-servingspec:gateways:-grpc-gatewayhosts:-*http:-headerToDynamicSubsetKey:-header:x-model-format-tensorflowkey:model.format.tensorflow-header:x-model-format-pytorchkey:model.format.pytorchmatch:-port:8008name:defaultroute:-destination:host:modelmesh-servingport:number:8033-apiVersion:networking.istio.io/v1beta1kind:DestinationRulemetadata:name:dr-modelmesh-serving-servicenamespace:modelmesh-servingspec:host:modelmesh-serving-servicetrafficPolicy:loadBalancer:dynamicSubset:subsetSelectors:-keys:-model.format.tensorflow-keys:-model.format.pytorch-apiVersion: AI 应用，然后开始玩198kind:ASMGrpcJsonTranscodermetadata:name:grpcjsontranscoder-for-kservepredictv2namespace:istio-systemspec:builtinProtoDescriptor:kserve_predict_v2isGateway:trueportNumber:8008workloadSelector:labels:istio:ingressgateway-apiVersion:networking.istio.io/v1alpha3kind:EnvoyFiltermetadata:labels:asm-system:trueprovider:asmname:grpcjsontranscoder-increasebufferlimitnamespace:istio-systemspec:configPatches:-applyTo:LISTENERmatch:context:GATEWAYlistener:portNumber:8008proxy:proxyVersion:1.*patch:operation:MERGEvalue:per_connection_buffer_limit_bytes:100000000workloadSelector:labels:istio:ingressgateway轻松搭建基于服务网格的 AI 应用，然后开始玩199modelsvc-routing.yaml 中主要包含的是针对集群中的模型推理服务的流量规则。这主要包含两部分规则：针对模型推理服务中不同运行时工作负载的动态子集路由能力高针对 kserve v2 推理接口的 JSON/HTTP-gRPC 请求转码能力我们将在下一个大章节介绍这些能力的细节。使用 kubectl 连接 ASM 实例，执行以下命令，部署 modelsvc-routing 流量规则kubectl apply-f modelsvc-routing.yaml 使用以下内容，创建 app-routing.yaml 文件apiVersion:networking.istio.io/v1beta1kind:Gatewaymetadata:name:ai-app-gatewaynamespace:apsara-demospec:selector:istio:api-ingressgatewayservers:-hosts:-*port:name:httpnumber:8000protocol:HTTP-hosts:-*port:name:http-80number:80轻松搭建基于服务网格的 AI 应用，然后开始玩200protocol:HTTP-apiVersion:networking.istio.io/v1beta1kind:VirtualServicemetadata:name:ai-app-vsnamespace:apsara-demospec:gateways:-ai-app-gatewayhosts:-*http:-route:-destination:host:ai-backend-svcport:number:8000-apiVersion:networking.istio.io/v1beta1kind:VirtualServicemetadata:name:style-transfer-vsnamespace:apsara-demospec:hosts:-style-transfer.apsara-demo.svc.cluster.localhttp:-match:-headers:user_class:exact:premiumroute:-destination:host:style-transfer.apsara-demo.svc.cluster.localport:number:8000subset:tensorflow轻松搭建基于服务网格的 AI 应用，然后开始玩201-route:-destination:host:style-transfer.apsara-demo.svc.cluster.localport:number:8000subset:pytorch-apiVersion:networking.istio.io/v1beta1kind:DestinationRulemetadata:name:style-transfer-drnamespace:apsara-demospec:host:style-transfer.apsara-demo.svc.cluster.localsubsets:-labels:model-format:tensorflowname:tensorflow-labels:model-format:pytorchname:pytorchapp-routing.yaml 中主要包含的是对 AI 应用服务和 style-transfer 服务的路由规则。其中包括一个对 style-transfer 不同工作负载进行根据用户身份分流的能力。使用 kubectl 连接 ASM 实例，执行以下命令，部署 app-routing 流量规则kubectl apply-f app-routing.yaml 将 ASM 网关对接阿里云 iDaas 应用身份服务，轻松实现单点登录搭建整个应用的最后一步位于应用的总入口，也就是 ASM 入口网关。在这里，我们还需要将网关与阿里云 iDaas 的 OIDC 应用进行对接，对整个应用进行一个单点登录的配置。我们可以参考这篇文档来进行对接的操作：ASM 集成阿里云 IDaaS 实现网格内应用单点轻松搭建基于服务网格的 AI 应用，然后开始玩202登录13。值得注意的是，我们使用用户 jwt claim 中的额外字段 user_type 来完成用户身份的识别，这需要进行如下操作：点击云身份服务的扩展字段，添加扩展字段（扩展字段名称和 OIDC 登陆后返回的字段名称均可以自定义，这里扩展字段定义为 user_type，OIDC 登陆后返回字段名称会在后面定义为 user_class）：然后编辑用户信息，为指定用户设置该字段：轻松搭建基于服务网格的 AI 应用，然后开始玩203设置好该字段后，需要配置在 OIDC 登陆成功后，返回该字段。进入 OIDC 应用设置，点击登录访问 tab，点击“显示高级配置”。在这里设置新增一个 OIDC 登陆成功后返回的key-value 对，key 是 user_type，value 是 user_class 的值。我们披星戴月我们奋不顾身，终于！我们的 AI 应用搭好了！可以看到，从零开始搭建这样一套集成了模型推理的业务服务确实不能一步登天，不过服务网格 ASM 在这其中通过一些生态集成的能力，以及完善的 Web UI，将很多步骤进行了简化。3）Try it out！在 ASM 控制台的网格管理页面，我们可以直接看到 api-ingressgateway 的服务地址：轻松搭建基于服务网格的 AI 应用，然后开始玩204整个应用的访问入口就是 http:/ASM 网关服务地址/home。用浏览器打开它，就可以开始玩我们的 AI 应用了2.服务网格如何帮助我们这个章节会简要介绍在这个 DEMO 中，服务网格 ASM 开启了怎样的一些能力，帮助我们做到更多。也就是我们在云栖大会中为大家介绍的内容。1）针对模型服务运行时的动态子集路由在 AI 应用的构建中，如何将训练好的模型转化为可靠的推理服务是工作的重心，因此我们首先介绍这个 DEMO 中的模型推理服务。在模型推理服务的整体框架中，由一个整体的 k8s Service 对外提供所有模型的推理。然而，模型有很多格式种类、如何将类似 sklearn、tensorflow、pytorch 等等不同种类的模型统一成 API 相同的推理服务呢？这就要使用不同的运行时。在统一的模型推理 Service 之下，不同的模型、其推理将交给多个运行时工作

0人已浏览 2023-12-15 243页 5星级

点击查看更多后浪研究所：2023年轻人玩转AI报告（11页）.pdf精彩内容。

0人已浏览 2023-12-14 11页 5星级

本公司具备证券投资咨询业务资格，请务必阅读最后一页免责声明 证券研究报告 1 计算机周报 20231210 谷歌 Gemini 大模型预示三大 AI 机会方向 2023 年 12 月 10 日 市场回.

0人已浏览 2023-12-14 21页 5星级

 敬请参阅最后一页特别声明 1 本周化工市场综述本周化工市场综述 AI 方面，本周行业变化不小，包括谷歌推出大模型 Gemini、AMD 发布 MI300X 加速器、联想在首届 AI PC 产业创新论坛. 

0人已浏览 2023-12-14 25页 5星级

 行业动态跟踪报告 多模态能力表现亮眼，谷歌携 Gemini 王者归来行业动态跟踪报告 请通过合法途径获取本公司研究报告，如经由未经许可的渠道获得研究报告，请慎重使用并注意阅读研究报告尾页的声明内容。行. 

0人已浏览 2023-12-14 10页 5星级

敬请参阅末页重要声明及评级说明 证券研究报告 美图发布自研视觉大模型美图发布自研视觉大模型 4.0，Gemini 多模态时代开启多模态时代开启 Table_IndNameRptType 海外科技海外.

0人已浏览 2023-12-14 39页 5星级

请仔细阅读在本报告尾部的重要法律声明 Gemini 引爆多模态 AI 概念，数据要素景气度向上 计算机行业周报 本周观点本周观点:一、一、GeminiGemini 引爆多模态引爆多模态 AIAI 概.

0人已浏览 2023-12-14 30页 5星级

中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院前言为推进知识图谱与大模型在企业级的落地应用，分析知识图谱与大模型融合技术路径，研究报告从知识图谱与大模型落地面临的瓶颈出发，分析了知识图谱与大模型的主要特征、知识图谱与大模型擅长的主要场景和核心基础能力，对比了知识图谱与大模型的优劣势，进而从技术演化层面、技术互补层面、知识库建设层面探讨了知识图谱与大模型融合的可行性及收益。同时，研究报告分析了知识图谱与大模型融合的技术路径及其关键技术，研究了知识图谱与大模型融合系统评测体系，对比了实际融合系统与大模型的性能测试结果。最终，通过梳理已有11个领域的实践案例，给出了技术挑战与发展展望。转载、摘编或利用其它方式使用本报告文字或者观点的，应注明来源为“中国电子技术标准化研究院”或对应案例提供单位，且不得对本报告进行有悖原意的删减与修改。由于知识图谱与大模型技术发展迅速，研究报告编制时间和作者学识限制，恐有纰漏或不严谨之处，敬请谅解和批评指正。研究报告编写组中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院参编单位及人员中国电子技术标准化研究院郭楠、韩丽、李瑞琪、李湘、胡成林、陈艳利中国电信股份有限公司研究院石晓东、赵龙刚、孙佩霞南京柯基数据科技有限公司杨成彪、吴刚、魏爱梅北京海致科技集团有限公司瞿珂、李思宇、胡嘉彦中译语通科技股份有限公司陈自岩、彭旋沈阳东软智能医疗科技研究院有限公司程万军北京文因互联科技有限公司张屹、李亚军中电科大数据研究院有限公司曹扬、孔德智、熊子奇、尹杨、闫盈盈北京京航计算通讯研究所马静、郝创博、白洋、张彤中科知道（北京）科技有限公司吴章生、李海英、王海波北京中企智造科技有限公司蔡志伟、张燕浪潮软件科技有限公司张峰、王珂琛杭州海康威视数字技术股份有限公司姜伟浩、赵宏、吴炎、吴鹏亮广州柏视医疗科技有限公司刘涛、颜子夜豪尔赛科技集团股份有限公司张丰、刘姝、戴聪棋电科云（北京）科技有限公司方正、王尚帅云从科技集团股份有限公司李军网智天元科技集团股份有限公司贾承斌厦门渊亭信息科技有限公司洪万福、潘璐阳、朱成忠国际商业机器（中国）有限公司（IBM）初德高青岛海尔科技有限公司王先庆、鄂磊、鞠剑伟浪潮电子信息产业股份有限公司李仁刚、贾麒、范宝余北京三快在线科技有限公司黄坤、刘瑾、李轩深圳市矽赫科技有限公司洪鹏辉、洪宝璇、林叠守同方知网数字出版技术股份有限公司万敏锋、相生昌、周永中国电力科学研究院有限公司徐建南、徐会芳、张英强浙江创邻科技有限公司周研、马超湖北汽车工业学院龚家元泰瑞数创科技（北京）股份有限公司刘俊伟、罗伊莎 国电南瑞科技股份有限公司张万才 石超 施雨南京航空航天大学周福辉、袁璐、宋熙富泰华工业（深圳）有限公司史喆、张学琴各章节编辑中国南方电网超高压输电公司李强：第一章中国电信股份有限公司研究院 石晓东第二章网智天元科技集团股份有限公司 贾承斌第三章南京柯基数据科技有限公司 杨成彪第四章厦门渊亭信息科技有限公司 潘璐阳第五章中国电子技术标准化研究院 李瑞琪第六章青岛海尔科技有限公司 王先庆中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院参编单位及人员中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院第一章 背景中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院知识图谱Knowledge Graph-KG国家标准及研究报告学者/机构以结构化形式描述的知识元素及其联系的集合。1知识图谱以结构化的形式描述客观世界中概念、实体及其关系，将互联网的信息表达成更接近人类认知世界的形式，提供了一种更好地组织、管理和理解互联网海量信息的能力。2知识图谱本质上是一种叫作语义网络的知识库，即一个具有有向图结构的知识库。3维基百科：对事实和数字的组合，谷歌将其用于为搜索提供了上下文意义。谷歌于2012年推出，使用维基百科、维基数据和其他来源的数据。百科百度百科：在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。图结构化形式可呈现为有向图结构化的形式谷歌：知识图谱是一个知识库，其使用语义检索从多种来源收集信息，以提高Google搜索的质量。61GB/T 42131-2022信息技术 人工智能 知识图谱技术框架2中国中文信息学会语言与知识计算专委会，知识图谱发展报告(2018)3漆桂林,高桓,吴天星.知识图谱研究进展J.情报工程,2017,3(1):004-0254王昊奋,漆桂林,陈华钧.知识图谱:方法,实践与应用J.自动化博览,2020(1).DOI:CNKI:SUN:ZDBN.0.2020-01-014.5 L.Ehrlinger and W.Wo,“Towards a definition of knowledge graphs,”SEMANTiCS(Posters,Demos,SuCCESS),vol.48,pp.14,2016.6https:/blog.google/products/search/introducing-knowledge-graph-things-not/Farber：知识图谱是一种资源描述框架（RDF）图，可用于描述任何基于图的知识库。5知识图谱旨在建模、识别、发现和推断事物、概念之间的复杂关系，是事物关系的可计算模型。4高效的检索能力可将概念、实体及其关系结构化组织起来，具有高效检索能力智能化推理能力可从已有知识中挖掘和推理多维的隐含知识附1：海外学者在知识图谱领域相关研究1.知识图谱的定义与发展历程知识图谱的定义知识图谱与传统知识库相比具有的三大特征中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院加菲尔德提出引文索引的思想1955普莱斯引文网络分析1965Quillian语义网络提出最早的表达人类知识1968Feigenbaum知识工程提出专家系统开始广泛研究与应用1977Douglas Lenat建立Cyc知识库1984Tim Berners Lee提出语义网概念，是后续知识图谱的基础1998首届国际语义网大会（ISWC）召开，该会议延续至今，在国际上具有很高的学术影响力2002W3C将RDF和OWL纳入标准，并在后续不断更新，包括RDFS、SPAQL等逐渐填充进入，形成丰富的语义网技术栈 2004Tim Berners Lee提出linked Open Data2006Dbpedia知识库建立2007Schema.org建立2011Google正式提出知识图谱（Knowledge Graph,KG）概念同年，Wikidata项目启动2012首个KG嵌入方法TransE提出,推动了后续包括图神经网络等KG推理方法飞速发展2013OpenKG组织成立2015首届CCKS大会召开2016事理图谱概念提出，强调了KG对事件的顺承、因果等复杂认知能力的建模2018RichPedia作为多模态KG发布，代表KG进入新时代2020首个知识图谱国标发布20221.知识图谱的定义与发展历程知识图谱发展历程中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院具有涌现能力在特定任务上，随着模型规模提升模型性能突然出现显著提升大模型与传统模型相比具有三大特征2参数规模庞大参数规模不少于十亿（1B），严格意义上需超过一百亿（10B）2权威论文中大模型的定义具有通用性能够仅通过提示、微调适应广泛的下游任务2.大模型的定义与发展历程大模型的定义大模型通常是指参数规模在一百亿（10B）以上，使用大规模的训练数据，具有良好的涌现能力，并在各种任务上达到较高性能水平的模型。2狭 义 上：大模型是指参数数量大、结构复杂的深度学习模型，具备涌现能力、通用能力，并能够处理复杂的下游任务，如自然语言处理、图像识别等。广 义 上：中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院AlexNet为代表的新一代模型在规模和性能上超越传统方法2012年自然语言处理模型Word2Vec诞生2013年Google提出Transformer架构，奠定了大模型预训练算法架构的基础2017年 OpenAI发布GPT-1（Decoder）Google发布BERT(Encoder)预训练大模型成为自然语言处理领域的主流2018年RLHF算法被提出2022年3月2023年5月2023年7月OpenAI公司推出GPT-2，模型参数规模15亿，Decoder技术路线优势显现2019年OpenAI公司推出GPT-3，模型参数规模1750亿，在零样本学习任务上实现了巨大性能提升2020年微软发布BEiT-3模型，标志多模态大模型时代到来2022年8月搭载GPT3.5的ChatGPT正式发布2022年11月 GPT4正式发布，包含1.8 万亿参数，采用混合专家模型 百度发布“文心一言”，国内大模型研发热潮涌现2023年3月 国家人工智能标准化总体组下设立大模型标准化专题组，启动标准编制工作 生成式人工智能服务管理暂行办法公布CNN为代表的传统神经网络模型占主导地位2005年中国发布的10亿以上参数大模型超过79个，“百模大战”态势初步形成2.大模型的定义与发展历程大模型的发展历程中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院4.本体构建难度大本体构建对领域专业知识和构建经验要求高，实体与关系的标识和对齐、本体扩展和更新、本体评估和质控、不同本体融合等方面仍面临技术挑战6.知识完备性不足企业级知识图谱构建中通常面临领域边界限制、企业内数据规模有限、数据中知识稀疏等问题，导致其知识完备性不足5.知识通用性不足企业级知识图谱平台及其知识内容具有较强的行业属性和领域专业性，通用性和迁移泛化能力尚有不足，跨行业、跨领域规模化应用有待提升3.语义理解和自然语言处理难度大知识图谱在面对自然语言中的语义歧义、上下文理解、语言常识推理等问题时，仍缺乏有效的解决办法2.知识抽取质量,难以保证知识抽取规则的构建仍主要依赖人工，主观性强，导致可移植性差和误差传播，使得知识抽取质量难以保证1.语料数据标注效率低、主观性强语料数据标注仍大量依靠人工，存在标注效率低、主观性强等问题3.知识图谱落地面临的瓶颈中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院大模型的训练和优化需要大量的算力资源和海量的数据资源，涉及高性能硬件设备、强大的分布式计算能力、数据治理与融合等，投入成本巨大大模型的开放性导致其存在信息泄露、数据攻击的风险，影响输出结果的鲁棒性和安全性大模型的输出结果是根据概率推理而生成，具有随机性和不稳定性，导致其正确性的验证难度大，难以保证结果的准确可信面向特定领域、多应用场景的高质量中文语料规模和质量不足1.训练大模型的成本高2.训练数据的规模和质量不足3.训练过程的可控性差4.输出的可信度不足5.输出的安全性不足6.知识更新的实时性不足7.领域知识的覆盖率不足8.社会和伦理问题隐现大模型的黑盒问题使得其推理过程很难得到合理的解释和有效的控制，增加了大模型优化的难度，并限制了其在部分领域的应用大模型训练新数据、获取新知识的周期较长，且成本较高，导致其数据更新的滞后和知识时效性的不足GPT等大模型对各领域专业知识的覆盖仍不足，对专业问题的回答尚无法令人满意大模型的输出可能存在与社会和伦理要求相悖的内容，如：生成内容消极、负面，具有破坏性等4.大模型落地面临的瓶颈中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院附附1 1：知知识识图图谱谱领领域域国国内内外外学学者者及及相相关关研研究究知知识识图图谱谱国国内内外外研研究究学学者者：G Ge er rh ha ar rd d W We ei ik ku um m，德德国国萨萨尔尔布布吕吕肯肯M Ma ax x-P Pl la an nc ck k信信息息学学研研究究所所T To om m M M.M Mi it tc ch he el ll l，卡卡内内基基梅梅隆隆大大学学计计算算机机科科学学学学院院最最高高级级别别 E E.F Fr re ed dk ki in n 讲讲席席教教授授I Ia an n H Ho or rr ro oc ck ks s，英英国国牛牛津津大大学学计计算算机机专专业业教教授授唐唐杰杰，清清华华大大学学教教授授李李涓涓子子，清清华华大大学学教教授授漆漆桂桂林林，东东南南大大学学教教授授陈陈华华钧钧 ，浙浙江江大大学学教教授授王王昊昊奋奋，同同济济大大学学教教授授刘刘峤峤 ，电电子子科科技技大大学学教教授授G Ge er rh ha ar rd dW We ei ik ku um m研研究究知知识识获获取取表表示示、分分布布式式信信息息系系统统、数数据据库库性性能能优优化化与与自自主主计计；算算、信信息息检检索索与与信信息息提提取取等等；T To om m M M.M Mi it tc ch he el ll l 的的研研究究涵涵盖盖知知识识表表示示、知知识识库库构构建建、机机器器学学习习、人人工工智智能能，机机器器人人和和认认知知神神经经科科学学等等；I Ia an n H Ho or rr ro oc ck ks s 的的研研究究涵涵盖盖述述述述逻逻辑辑、语语义义网网络络、知知识识表表达达、知知识识库库、网网络络本本体体语语言言等等方方向向；唐唐杰杰研研发发出出研研究究者者社社会会网网络络 A Ar rn ne et tM Mi in ne er r 系系统统，唐唐杰杰的的高高引引用用论论文文是是 2 20 00 08 8 年年在在 K KD DD D 会会议议上上发发表表的的“A Ar rn ne et tM Mi in ne er r:e ex xt tr ra ac ct ti io on n a an nd d m mi in ni in ng g o of f a ac ca ad de em mi ic c s so oc ci ia al l n ne et tw wo or rk ks s”对对其其负负责责的的知知识识工工程程实实验验室室 A Ar rn ne et tM Mi in ne er r 系系统统关关键键问问题题进进行行讨讨论论，整整合合来来自自在在线线 W We eb b 数数据据库库的的出出版版物物并并 出出一一个个概概率率框框架架来来处处理理名名称称歧歧义义问问题题；中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院第二章中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院场景名称场景描述大模型知识图谱智能对话内容生成内容加工作品创作机器翻译意图识别智能检索智能推荐辅助决策知识管理代表对此场景有较好的支撑能力。1.知识图谱与大模型的对比典型应用场景层面 知识图谱与大模型分别拥有相对擅长的应用场景。中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院应用场景大模型的基础能力知识图谱的基础能力智能对话语义理解、指令遵循、思维链、基础常识支持上下文理解、情感分析、推理规划语义理解、知识融合、知识查询、知识推理内容生成语义理解、指令遵循、思维链、基础常识支持上下文理解、情感分析、数据可视化语义理解、知识融合、知识查询知识推理、知识可视化内容加工语义理解、指令遵循、思维链、基础常识支持上下文理解、语义分割-作品创作语义理解、指令遵循、思维链基础常识支持、上下文理解、情感分析-机器翻译语义理解、指令遵循-意图识别语义理解、上下文理解支持、情感分析-智能检索语义理解、指令遵循、基础常识上下文理解、情感分析语义理解、知识查询、知识推理智能推荐语义理解、推理规划语义理解、知识查询、知识查询辅助决策语义理解、指令遵循基础常识、上下文理解语义理解、知识融合、知识查询知识推理、知识溯源知识管理-知识融合、知识存储、知识补全、知识查询知识推理、知识溯源、知识共享与交换、知识更新与维护1.知识图谱与大模型的对比核心基础能力层面 知识图谱与大模型通过自身的核心基础能力支撑了对应的应用场景，难以简单替代。中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院大大模模型型的的优优势势大大模模型型的的不不足足知知识识图图谱谱的的优优势势知知识识图图谱谱的的不不足足通用性：模型具有指令遵循能力，能处理多种任务，并支持多语言、多模态、多领域的应用。可生成性：模型能生成各种形式和风格的文本，也能生成多模态的内容，如图像、音频等。学习能力：基于大量语料的训练，能对新输入产生合理的响应，也能从多模态数据中进行学习。创作能力：能生成新颖、连贯和通顺的文本，也能生成多模态作品，如图片、歌曲等。常识能力：基于海量通用训练数据中的知识，具有常识理解能力。语义理解能力：能根据文本、多模态数据中出现的内容，理解其含义和关系。可解释性：模型的决策过程是黑箱的，难以解释。可信赖性：模型的输出可能存在错误或有偏见的信息。可溯源性：模型的输出是基于训练的数据，而不是特定的数据点或知识点，较难追溯其输出的来源。可校验性：模型的输出和推理结果有赖于通过人工或者其他系统进行校验。可评价性：模型的性能和输出可通过一些标准任务进行评价，尚不成熟。常识能力：无法处理超出训练语料范围的常识问题。领域能力：缺乏丰富全面的领域知识，领域服务能力一般。语义理解能力：可能出现理解错误或歧义等问题。通用性：知识图谱通常面向特定领域，在通用性上可能较弱。可生成性：知识图谱主要用于查询和分析，而非生成新的内容。学习能力：缺乏自主学习能力。创作能力：缺乏自主创作能力。常识能力：局限于知识图谱中的信息，常识能力较弱。语义理解能力：语义理解能力主要局限于知识图谱中的知识内容，理解能力较弱。可解释性：知识图谱可基于基于明确的语义结构进行查询和分析，具有较好的可解释性。可信赖性：知识图谱通常是由专家创建和维护，因此其可信赖性较高。可溯源性：知识图谱中的每个实体和关系都可以追溯到其来源。可校验性：知识图谱中的信息可以通过专家进行校验。可评价性：知识图谱的质量可通过查询的准确性和完整性来评价。领域能力：具有较强的领域知识支持，支撑了其领域服务能力。推理能力：可根据图谱中的精确知识内容和关联结构，进行高可信度的推理。1.知识图谱与大模型的对比技术特性层面中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院过去在技术发展中交替演进由知识工程而提出的语义网络网络式表达人类知识构造，以此为基础构建专家系统以解决实际问题由Google提出的知识图谱系统表达常识知识，补充现有深度学习模型缺乏的认知能力，推理更精准多模态知识图谱利用多模态信息补充符号语义表达的不足，强化知识的表征能力，支撑多模态理解、推理和元认知等能力。知识高度依赖人工定义，难以进行扩展通过图拓扑建立的隐式的复杂语义以模拟人类认知，但表征能力不足知识异构模态语义对齐难，在不同模态间映射关系多样AlexNet代表的深度学习出现由硬件发展推动而产生的新一代AI方法，模型规模和性能超越传统方法需要大量标注数据支持，完全没有知识建模的能力Transformer架构推动大模型发展BERT，Vision Transfomer等依靠预训练模型，以参数化形式建模知识，进一步发展为以GPT系列为代表的大模型技术需要大量数据、大量算力支持，存在幻觉、高层认知能力等缺点多模态大模型利用丰富的多模态数据，强化相互之间语义对齐约束，提升高级认知能力，异构模态之间的数据对齐难，模态间映射关系复杂未来面临共同的挑战与目标相互支持大模型和知识图谱是相互依赖的知识处理与应用技术，知识图谱发展激发了深度学习的需求和发展，深度学习和大模型也成为知识图谱构建的基础能力，并共同面对未来多模态知识相关的挑战。2.知识图谱与大模型融合的可行性技术演化层面中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院融合方向互补大模型擅长处理自然语言和模糊知识，而知识图谱擅长表示结构化知识并进行推理。相互结合，可以充分发挥它们的优势，解决更复杂的问题。互动大模型可以用于从文本中提取知识、从而扩展和丰富知识图谱的内容。知识图谱可以为大模型提供结构化知识进行语义补充和生成引导。增强知识图谱和大模型融合可以相互增强各自的能力。知识图谱可以提高大模型的语义理解和准确性，而大模型可以为知识图谱提供更丰富的语言知识和生成能力。知识图谱大模型知识图谱能够为通用大模型的工业化应用，弥补通用大模型语料里专业领域知识的不足。，可对大模型的生成能力进行各方面的评估，降低事实性错误的发生概率。，适度控制内容生成，大模型可以利用语义理解和生成等能力抽取知识，也可以抽取出隐含的、复杂的、多模态的知识，降低图谱构建成本。大模型可以利用其语义理解和指令遵循等能力增加知识的全面性和覆盖度，生成更加合理、连贯、有创新性的内容，例如文本、图像、音频等。2.知识图谱与大模型融合的可行性技术互补层面中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院大模型知识图谱动态、概率知识库静态知识库参数化知识库，通过网络参数存储知识，不易理解形式化知识库，通过三元组存储知识，结构清晰，查询简单，易于理解隐式知识库，隐式的存储知识，决策的过程难归因、解释、溯源显性知识库，显式地存储知识，有助于归因溯源，提高模型行为的可解释性更新难度大，忘记特定的知识更加困难便于更新、修改、迁移知识知识的通用性更强，适合于高通用知识密度，高专业知识密度（专业语料少）的应用场景知识的领域性更强，适合于高专业知识密度，低通用知识密度场景具有上下文感知能力、深层语义表示能力和少样本学习能力图结构表达能力强。多模态内容采用模型参数存储，有语义对齐和不可解释性。多模态知识按照知识表示形式存储。知识图谱可以通过prompt，来执行相应信息提取以及思维链的推理任务，形式化成不同形式的知识，例如三元组，多元组或者事件链条。可以利用prompt，参与到大模型的训练前的数据构造，训练中的任务，以及训练后推理结果的约束生成，提升大模型的性能。大模型2.知识图谱与大模型融合的可行性知识库建设层面中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院通过将知识图谱作为训练目标、模型输入、专门知识融合模块，增强大模型预训练效果；通过动态知识融合、检索增强的知识融合方法，增强大模型推理能力；通过基于知识图谱的探针、分析技术，增强大模型可解释性。通过将大模型作为编码器或者通过大模型的生成能力，增强知识图谱表征；将大模型作为解码器、生成器，作用于知识补全；利用大模型的生成能力，增强图谱构建，对图谱交互、图谱问答等任务提供支持和提升将大模型与知识图谱进行统一表征，增强结果准确性；将大模型和知识图谱结合，运用于推理过程，弥合文本和结构信息之间的差距并提升推理可解释性。2023，Shirui Pan et.al，大型语言模型与知识图谱协同研究（Unifying Large Language Models and Knowledge Graphs:A Roadmap）3.知识图谱与大模型融合的现有研究工作0 01 1 知知识识图图谱谱赋赋能能大大模模型型0 02 2 大大模模型型赋赋能能知知识识图图谱谱0 03 3 大大模模型型和和知知识识图图谱谱协协同同中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院知知识识图图谱谱 大大模模型型 降低算力：可减少大模型对无结构化文本的依赖，从而降低大模型的预训练或推理所需的算力和时间。提高知识可信度：依托知识图谱中经质量评估的知识，可帮助大模型提高信息的质量和可信度，并保障知识的正确性和时效性。增强通用性、领域能力、认知能力：可帮助大模型获得跨领域和跨语言的知识，并更好地适应不同的领域任务和场景。降低构建成本：依托知识图谱中的结构化知识，可减少大模型对标注数据或专家知识的需求，从而降低大模型的构建成本和难度。提高可生成性：可帮助大模型可生成更贴近实际、更具有解释性的内容。提高创作能力：通过知识图谱的知识增强，可帮助大模型创作内容更具逻辑、一致性和创新性等。增强理解能力：大模型的语义理解能力可帮助知识图谱更好地理解和分类非结构化信息。降低构建成本：大模型的上下文理解能力、基础常识支持能力等可帮助知识图谱提升非结构化数据的知识获取、知识建模、知识融合等能力，降低其构建和维护成本。丰富输出形式：大模型的生成能力可帮助知识图谱获得多元化的知识输出和服务形式，增强知识图谱系统的服务效果，并提升人机交互水平。提高知识完备性：大模型中涵盖的知识及其对新数据的理解能力，可帮助知识图谱进行知识补全和知识校验，提高知识的完备性。提高可解释性：知识图谱的显性知识与大模型的隐性知识相结合，可提高知识应用的可解释性。实现交叉验证：知识图谱的输出与大模型的输出相结合，可为知识应用提供交叉验证/比对的手段，提高服务的可信赖性。优化知识存储：知识图谱的结构化信息存储和大模型的非结构化信息处理相结合，可优化知识存储和检索效率。提高决策能力：知识图谱推理结果与大模型推理结果的结合，可进一步丰富辅助决策的知识背景，并提供更精确的决策建议。增强隐私保护：知识图谱中数据加密和保护能力与大模型数据调用能力相结合，可降低大模型对个人隐私数据的依赖，有利于保障隐私安全。确保知识产权保护：知识管理机制与本地化部署方式相结合，可更好地保护知识产权，防止知识的滥用或盗用。增强伦理边界：通过优化知识图谱中的知识结构及大模型训练样本结构，构建约束规则类知识并降低数据偏见，强化输出边界。4.知识图谱与大模型融合的收益中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院2023第三章中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院图谱2图谱1大模型1大模型2大模型3结构化数据/半结构化数据/非结构化数据数据大模型集合知识图谱集合知识图谱赋能大模型：以知识图谱为工具提升大模型的能力大模型赋能知识图谱：以大模型为工具提升知识图谱的能力知识图谱与大模型协同?利用知识图谱与大模型各自的优势相互赋能（1 1），并结合上层应用集成，实现两者技术的互补。?利用知识图谱间的互联互通及大模型间的集成调度（N N），实现融合后系统能力的持续增强。1.知识图谱与大模型融合的总体技术路线中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院2.大模型赋能知识图谱的技术路径利用大模型在语义理解、内容生成等方面的技术优势，实现大模型对知识图谱构建至应用全生命周期各环节的增强，提升效率和质量。中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院1）用大模型增强数据标注利用大模型对原始数据进行实体、关系、事件等标注。2）用大模型增强知识抽取利用大模型进行实体抽取、关系抽取、事件抽取、因果关系抽取等，例如:DeepKE-LLM。3）用大模型增强知识建模利用大模型进行实体类型提取、关系类型提取、事件类型提取、知识体系提取等。4）用大模型增强知识图谱嵌入与表示学习利用大模型作为知识图谱嵌入的文本和图结构编码器，解决结构连通性有限的问题，提升知识抽取的能力。5）用大模型增强知识图谱补全利用大模型作为编码器或生成器来补全知识图谱数据，提升知识补全的能力。6）用大模型增强知识图谱构建利用大模型开展实体发现、共指解析和关系提取，构建特定领域内的知识图谱结构。采用知识蒸馏等技术实现端到端的图谱构建。参考文献 2023 Yunjie Ji,etc.Exploring ChatGPTs Ability to Rank Content:A Preliminary Study on Consistency with Human Preferences2021 Shirui Pan,etc.Unifying Large Language Models and Knowledge Graphs:A Roadmap2023 Xiang Wei,etc.Zero-Shot Information Extraction via Chatting with ChatGPT2.大模型赋能知识图谱的技术路径关键技术示例中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院7）用大模型增强知识融合利用大模型进行术语定义补全、术语对齐和标准化、实体标准化对齐、同义词提取与融合等8）用大模型增强知识推理利用大模型进行关系推理、事件推理等9）用大模型增强知识图谱可视化利用大模型进行多种形式的知识可视化10）用大模型增强知识图谱文本生成利用大模型自然语言理解方面的优势能够提升从知识图谱中生成文本的质量，提高语言的准确性和在现实场景中的可用性。11）用大模型增强知识图谱问答利用大模型抽取自然语言问题中的实体、关系，进入结构化的知识图谱寻找问题答案，再通过大模型组合答案并结合大模型自身的知识广度将更充实的答案以自然语言的方式输出，增强知识图谱问答的广度、自然性和准确性。12）用大模型增强知识图谱多模态知识对齐利用大模型的通用性和对多类型数据统一处理的能力，能够增强多模态知识对齐，赋能多模态知识图谱的构建、表示、推理和应用的全流程。2.大模型赋能知识图谱的技术路径关键技术示例参考文献 2021 Shirui Pan,etc.Unifying Large Language Models and Knowledge Graphs:A Roadmap中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院3.知识图谱赋能大模型的技术路径 应用场景实现示例：基于大模型增强的知识抽取Gitee地址：https:/ apiPrompt意图识别知识图谱分类、实体识别、翻译123实体别称补全实体上下位推理行业背景知识补全知识修正知识溯源3.知识图谱赋能大模型的技术路径 应用场景实现示例：基于知识图谱增强大模型的文档问答1.离线部分，对文档进行预处理，构建段落级索引，包括全文索引和向量索引2.在线部分，使用知识图谱增强大 模型的问答效果：在意图识别阶段，用知识图谱进行实体别称补全和上下位推理；在Prompt组装阶段，从知识图谱中查询背景知识放入上下文；在结果封装阶段，用知识图谱进行知识修正和知识溯源中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院分别发挥知识图谱与大模型两者的技术优势，通过统一知识表征、动态协同知识推理等技术手段，实现企业级认知决策智能水平的升级发展。3.知识图谱与大模型协同应用的技术路径中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院3.知识图谱与大模型协同应用的技术路径1）知识图谱与大模型统一表征技术通过对大模型与知识图谱进行知识统一表征，增强结果的准确性。2）知识图谱与大模型统一构建技术通过融合知识图谱的训练目标和大模型的训练目标，构建统一模型，使得统一模型同时具备大模型的通用知识、语言理解、知识涌现能力和知识图谱的显性知识、限定域知识、可靠性、可解释性能力。3）知识图谱与大模型串行推理技术通过知识图谱与大模型的串行应用，原始信息首先经过知识图谱进行结构化抽取关联信息，将检索结果输入大模型进行预测推理，从而提高知识推理预测的准确性。4）知识图谱与大模型并行推理技术大模型与知识图谱并行召回答案，动态协同进行知识推理，完成答案融合，即能提高推理结果的准确性，又能拓展推理的知识边界。参考文献 2021 Shirui Pan,etc.Unifying Large Language Models and Knowledge Graphs:A Roadmap中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院5）6）7）3.知识图谱与大模型协同应用的技术路径关键技术示例知识图谱与大模型交互接口标准化规定和明确知识图谱与大模型之间交互接口的标准格式，提升不同厂商间产品集成的便捷性。知识图谱与大模型间任务编排与调度技术知识图谱与大模型协同的过程中，需要基于企业内业务流进行任务的编排和调度，以保证协同过程的流畅性和可操作性。知识图谱与大模型协同中隐私保护技术知识图谱与大模型协同过程中，知识图谱内容仍将被用于大模型的输入或输出中，如何保护知识图谱中的隐私数据不泄漏是系统建设的重要环节。中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院1.在为用户推荐美食信息的同时，以“知识图谱 大模型”的应用范式智能生成更加触动人心的文案来触达用户。3.知识图谱与大模型协同应用的技术路径 应用场景实现示例：基于大模型和知识图谱融合的文案生成中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院第 四 章中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院参考：IEEE P2807.1知识图谱技术要求与测试评估规范知识图谱系统测评体系知识图谱构建知识图谱应用知识建模知识抽取知识融合知识表示知识存储知识检索智能问答智能推荐智能检索辅助决策知识管理1.知识图谱和大模型系统的测评体系概述中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院大模型系统测评体系大模型开发大模型应用数据构建模型训练模型部署模型管理大模型能力大模型安全语义理解内容生成基础常识智能对话智能检索内容生成智能推荐情感分析可解释性可信耐性可溯源性可评价性可校验性上下文理解推理规划内容加工辅助决策作品创作机器翻译1.知识图谱和大模型的测评体系概述中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院大模型赋能/增强知识图谱系统测评体系知识图谱构建知识图谱应用融合成本计算资源响应速度融合增益存储资源知识规模知识复杂度推理能力知识完备度同知识图谱系统测评构建成本理解能力2.知识图谱与大模型融合系统测评体系中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院知识图谱赋能/增强大模型系统测评体系大模型开发大模型应用大模型能力大模型安全融合成本计算资源响应速度存储资源融合增益训练数据知识可信度知识准确度知识实时性知识运维能力常识能力可解释性认知能力同大模型系统测评2.知识图谱与大模型融合系统测评体系中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院数据集名称规模子任务描述entity-medical-200200条实体识别基于疾病诊疗指南标注的实体识别数据，包含7类实体relation-medical-200200条关系抽取基于疾病诊疗指南标注的关系抽取数据，包含5种关系 任务类型：知识抽取 数据集 测评结果0.730.650.860.510.880.770.470.380.520.4400.10.20.30.40.50.60.70.80.91实体识别关系抽取CasRel传统方法ChatGPTKG ChatGPTChatGLM-6BKG ChatGLM-6Bbert bilstm crf 结果样例KG ChatGPT显著提升了关系抽取的召回率3.知识图谱与大模型融合系统测评结果中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院数据集名称规模子任务描述医药百科图谱200W三元组柯基数据基于开源数据构建的医药领域的全科知识图谱医药常识问题集100条常识问答医学专家人工编辑的常识问题糖尿病问题集100条糖尿病问答医学专家人工编辑的糖尿病领域的诊疗问题肺癌问题集100条肺癌问答医学专家人工编辑的肺癌领域的诊疗问题 任务类型：智能问答 数据集 测评结果（注：每个问题的答案由医学专家打分，0-3分）252329570500300常识问答糖尿病问答肺癌问答总得分ChatGPTKG ChatGPTChatGLM-6BKG ChatGLM-6B文心一言KG 文心一言3.知识图谱与大模型融合系统测评结果中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院 任务类型：智能问答 结果样例肺癌非小细胞肺癌小细胞肺癌肺腺癌鳞状上皮癌大细胞癌80%至85%占比属于属于属于属于属于3.知识图谱与大模型融合系统测评结果中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院数据集名称规模子任务描述event-100100条文本分类-单层级警情数据，单层分类的数据case-1k1000条文本分类-多层级案件数据，有父子三层级分类的数据子任务准确率LLMKG LLM文本分类-单层级67%文本分类-多层级31V%任务类型：文本分类 数据集 测评结果 结果样例3.知识图谱与大模型融合系统测评结果中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院第五章知识图谱与大模型融合 实践案例 ZHI SHI TU PU YU DA MO XING 中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院行业需求：1、网络运维工作压力大，人员不足，亟需智能化运维工具提高效率；2、运维人员人工判障效率低，客户体验和满意度难以得到保障，亟需通过智能化手段压降运维时长；3、海量的运维知识检索利用难度大，需智能助手帮助运维人员准确快速找到匹配解决方案，提升效率。解决方案：面向生产一线运维人员，基于意图理解和网络大模型技术，打造具有丰富运维知识的运维助手面向运维专家，利用运维助手进行交互问答，提供查询故障现象，故障原因，故障解决方案，解决效果等，随时在线的运维客服助手关键技术：1、基于网络大模型和运维知识图谱技术打造智能运维助手；2、基于意图理解和运维知识图谱打造运维智能问答机器人提升效果：1.电信行业实践案例：网络运维数字员工中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院2.电力行业实践案例：电力智能客服行业需求1、传统智能客服机器人机械化、条目式的知识检索与问答服务存在用户诉求识别率低、泛化性差等问题，无法满足当前电力客服深度智慧化的需求2、为解决话务量大且座席业务繁重问题，亟需开展智能客服的适应性升级改造，建立智能服务一体化运营管理体系，分流缓解话务高峰，降低客服业务运营培训成本，提升电力客服业务服务水平关键技术：1、电力客服领域语言大模型微调优化技术2、基于领域知识图谱的大模型知识增强技术解决方案：利用客服知识图谱、知识库等语料资源以及LLM大语言模型，构建深度智慧、安全可信的电力客服大模型，满足精准的用户诉求分析、多样化的问答任务响应、实时高效的多轮对话等需求，实现客服问题生成式应答和多样化业务的灵活响应。提升效果：提升客服多轮对话内容生成准确率、用户诉求智能客服应答率等性能。中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院1、行业数据量庞大且多样化，数据呈分散态势，难以高效整合和分析；2、行业特点较强，数据包含较多专业术语及领域知识，传统NLP技术难以准确理解分析；3、文本数据存在复杂的结构和语法，对处理系统要求较高。信通小数应用基于电力领域特性和通用语料训练而成的面向电力行业的智能交互应用，为电力行业安监、营销、基建等八大领域提供文本处理、信息提取和智能决策等多种需求的产品。1、自然语言处理；2、领域智能交互；3、语义及情感分析。1、在视频会议的转录及提纲环节减轻记录员相关工作量约90%；2、在综合办公的公文写作及大纲编制环节，提升工作人员60%工作效率；3、应急处理缩短45%处理时间。2.电力行业实践案例：信通小数应用0 01 10 02 20 03 30 04 4中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院行业需求1）基于数据资产的血缘链路、下游应用级别等维度，构建特殊数据资产识别规则2）在特殊数据资产状态出现异常（变化）时，基于不同的异常（变化）情况，对相对应的管理节点（人员）进行预警解决方案基于知识图谱，构建数据资产的全链路血缘，将应用级别、资产状态等信息作为属性存储，为特殊数据资产识别提供底层支撑基于大模型，从图结构信息和节点属性中提取必要特征，智能的为用户进行特殊数据资产的推荐及相关异常预警提升效果已部署于华东某国网，基于大模型和知识图谱的特殊数据资产识别及管理系统，基于用户不同业务场景，推荐不同类别的特殊数据资产（如核心数据资产、边缘数据资产、冗余数据资产等），帮助用户对数据资产进行管理。且在特殊数据资产发生变化时，对受影响的部门或责任人进行自动预警 关键技术主动元数据、元数据血缘、特征子图、预训练模型2.电力行业实践案例：基于大模型和知识图谱的特殊数据资产识别及管理中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院行业需求：1.营销领域知识图谱构建费时费力。2.知识图谱的现有展现形式难以快速获取复杂知识和实体关系。解决方案：1.将银行的营销业务知识图谱与大模型相结合，利用大模型实现知识图谱数据的快速提取和分析。2.采用便捷的自然语言交互方式，降低传统图谱分析的复杂性，提升分析效率。关键技术：1.利用大模型进行实体、属性、关系等知识图谱要素提取，辅助知识图谱内容生成。2.训练大模型符合知识图谱内容结构的指令模版。3.利用大模型检索知识图谱进行内容分析。4.调用外部接口进行进一步的业务分析。5.利用大模型整合内容生成最终的回答。提升效果：实现了基于营销知识图谱的分析问答，助力营销业务高效推进。3.金融行业实践案例：银行智能营销助手中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院3.金融行业实践案例：基于大模型的智能图分析平台反欺诈场景应用行业需求：1）根据监管可疑特征构建单规则、复杂规则；规则指标维度较少；预警量大、准确率低；2）基于涉案名单作为样本构建机器学习模型，提升了召回率、准确率，但可解释性低。解决方案：1）基于知识图谱，建立以图算法和机器学习为核心的团伙反欺诈模型，能够挖掘客户关系网络和账户间的隐藏资金链，并提升对可疑团伙的识别能力，无论是静态的还是动态的关系；2）基于大模型，从图结构信息、节点属性和模型特征中提取关键信息，生成智能风险报告，并通过基于特征的联动图谱可视化展示，使得风险分析更加智能化和直观化。提升效果：在银行内反欺诈平台进行了业务可行性评估，智能解读欺诈团伙的行为特征所生成的风险报告，以及提供团伙关系和模型特征的图谱可视化展示，能够提升反欺诈作业人员的研判效率。关键技术：图算法、机器学习、图结构信息抽取、预训练模型中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院4.医药行业实践案例：Clinical lnsight临床试验情报平台行业需求：1、加速药物上市前的临床试验设计和临床试验招募，以及上市后的产品上市教育、药品渠道销售、患者全流程管理和数字化诊疗等多种场景；2、整合多源异构信息为医药场景提供高效、客观、科学的循证支持，实现降本增效。关键技术：1、医药会议摘要的智能问答；2、临床知识报告生成。解决方案：利用知识图谱及LLM大语言模型进行数据的关联分析及内容生成，为企业提供药物试验的潜在竞争情报，并关联临床试验结果，为试验设计提供循证参考。提升效果：1、临床试验的入排标准设计和试验中心筛选环节周期缩短60%；2、实现遵循医学规范，实现医学知识的复用，进一步提高数据的价值和应用。中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院1、知识分散，没有有效整合，耗费人工去找寻答案；2、医学问询邮件没办法保证立即回复，无法快速地帮助医生/患者等解决问题；3、整合所有资料的知识点，有局限性，还是会出现无回答的情况。全球化医学Chatbot平台是一个为医药企业打造的面向外部医生、护士、药剂师等医学专业人士，基于知识图谱和LLM大语言模型能力可循证的疾病用药的应用产品。提升医学部/市场部的效率达到50%1、基于知识图谱的知识增强能力；2、文档解析、问答和自动报告的流程自动化。4.医药行业实践案例：医学学术营销平台中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院行业需求：1）购车是许多人生活中的重大决策之一，人们希望能够获取针对个人需求的准确且全面的汽车推荐信息，包括车型、价格、性能等方面的细节。2）提供购车过程中的相关指导和建议，以便做出明智的选择。解决方案：通过智能问答系统，结合知识图谱与自然语言处理技术，为用户提供车型、参数、技术规格、价格、预算、性能和购车推荐和指导。提升效果：?提供个性化的购车推荐和指导，使用户更容易找到适合自己需求的汽车。?通过价格预测模型，为用户提供参考的价格范围，帮助他们在合理的预算范围内做出选择。?减少用户的购车时间和不必要的试错，提高购车效率和满意度。?构建良好的用户体验，提高用户留存和口碑，为汽车销售商带来更多潜在客户。关键技术：自然语言处理（NLP），智能问答。推推荐荐方方案案一一推推荐荐方方案案二二5.汽车行业实践案例：购车攻略平台1234中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院用户输入 问题:北京地区今年第一季度大众新能源车的销量Prompt 问题:北京地区今年第一季度大众新能源车的销量数据表：汽车月度销量表列名：月份，城市，品牌，型号，动力燃料，销量Prompt 问题:北京地区今年第一季度大众新能源车的销量数据表：汽车月度销量表列名：月份，城市，品牌，型号，动力燃料，销量名词解释：新能源车的动力燃料包括有纯电力，插电混动和燃料电池Prompt 问题:北京地区今年第一季度大众新能源车的销量数据表：汽车月度销量表列名：月份，城市，品牌，型号，动力燃料，销量名词解释：新能源车的动力燃料包括有纯电力，插电混动和燃料电池examples：“广州市去年6月比亚迪新能源车的销量”=“SELECT SUM(sale_amount)FROM car_monthly_sales WHERE city=广州 AND brand=比亚迪 AND month=202206 AND motor_fuel in(纯电力,插电混动,燃料电池)Natural Language to SQLSQL SELECT SUM(sale_amount)FROM car_monthly_sales WHERE city=北京 AND brand=比亚迪 AND month=202301 and month=202303 AND motor_fuel in(纯电力,插电混动,燃料电池)结果是否合理输入结果Reask Prompt generator数据表结构提取信息增强FewshotExamplesLLMYESDBMS查询结果Guardrails基于bert微调的NLP模型用来提取用户提问中涉及的数据表和数据列从车辆信息知识图谱中提取补充信息使用向量相似度检索算法搜索案例使用基于规则的栏栅系统来识别结果的合理性以及是否会暴漏数据隐私NO5.汽车行业实践案例：购车攻略平台中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院行业需求：1)进一步提升智能家居用户的交互体验，包括交互过程中的连续对话、语义理解、生成人性化回复；2)解决研发人员面对的家电知识零散、知识库建设效率等现实问题，实现降本增效。解决方案：1)利用大模型进行知识泛化，解决知识有限、获取难、知识库构建效率低等问题；2)基于泛化后的语料，实现“任意说”(指令换说法，仍然听得懂)；3)利用大模型的理解与生成能力，实现上下文理解、连续对话、拟人化回复。关键技术：智能家居知识图谱、智能家居行业大模型、安全计算、场景生成等。提升效果：1)智能家居知识图谱的量级从千万提升到亿级，形成高效知识管理平台；2)用户交互体验大幅提升，从以往控制指令说法受限、回复不精准，进化为连续交互、随意交互和引导交互。6.智能家居行业实践案例：智能家居知识泛化及交互提升01020304中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院行业需求1、智能生成内容：辅助编者和教师用户内容生成；2、高效内容处理：通过智能系统辅助翻译、转录、汇集、润饰、评估等内容处理工作，大幅提升编辑们的工作效率；3、智能推荐：用人工智能进行信息推荐，扩大其数字营销能力。关键技术：1、大纲和内容的自动生成；2、精准用户画像自动分析与推荐。解决方案：1）基于领域知识等构建跨领域知识图谱，用大模型技术实现知识自动抽取；2）在生成式大模型提升知识图谱的知识创作能力；提升效果：通过基于智能AI系统的数字教材编创系统，为编者、编辑、教员、学生提升智能知识服务7.教育出版行业实践案例：数字教材智能编创与应用系统01030204中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院行业需求：1）在数字孪生城市行业非结构化数据急剧增多的情况下，构建知识图谱需要依赖人工或者半自动方式进行知识抽取和建模，信息利用效率低，数据分析能力不强。2）现有数字孪生城市知识图谱大部分是针对特定领域或任务定制，扩展性差。解决方案：基于矢量数据、影像数据、模型数据、IOT数据、专题数据等构建数字孪生城市知识图谱，结合大模型预训练提升知识图谱的知识抽取和图谱构建能力，并将知识图谱作为大模型输入，提升大模型专业性和可信性，从而利用知识图谱 大模型提升城市运营以及各领域的指挥决策能力以及准确度。提升效果：数字孪生城市服务平台性能优化，数字孪生城市各领域的信息获取以及利用效率增大，数据分析能力有了很大的提升。关键技术：知识注入辅助模型预训练、基于大模型的知识抽取能力8.智慧城市实践案例：数字孪生城市服务平台中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院行业需求：社交领域的智能交互机器人难点在于对社交机器人进行成长式的个性化训练，来生成语义连贯自然、富带感情观点、千人千面的多模态内容。基本属性五大人格人物标签体系关系图谱角色内在特征塑造深度强化学习适应策略激励智能感知?阅读?交流?协作?对抗机器人A机器人B知识和数据双驱动预训练社交数据 个性化生成适配多语传播智能网评话题感知生成式对话大模型 人物知识库在指令和上下文中嵌入个性化解决方案：大模型以百万级人物知识库和社交媒体信息作为个性化指令数据进行精调，具备千人千面的角色学习能力。采用内在特征塑造和强化学习对抗反馈的方式不断加强与人类性格、价值的对齐。9.社交领域实践案例：成长式个性化社交机器人中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院提升效果：采用内在特征塑造和深度强化学习的方式训练社交机器人，能够生成语义连贯自然、富带感情观点、千人千面的多模态内容。以Reddit为媒体平台，实现认知舆论战的贴文生产系统，根据热点、关键词进行流畅的本地化的贴文批量生成，拟人通顺度80%，连续生成1200条的可用度80%，重复率20%，具备根据不断变化的热点进行准实时的模型训练更新。关键技术：个性化训练、指令精调、强化学习9.社交领域实践案例：成长式个性化社交机器人中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院行业需求：1、搜索是信息时代的通用性刚需，可以提升用户日常行为的效率；2、提高短文本查询Query和长文本Item的语义表达能力与理解能力，给用户提供更好的搜索体验。解决方案：利用知识图谱及LLM大语言模型，识别用户查询意图、生成语义向量，并进行向量检索，同时基于知识图谱进行关联分析，得到关联推荐结果。关键技术：1、面向指标数据、文献数据的查询意图精准识别；2、面向指标数据、文献数据的语义向量检索提升效果：1、基于大模型的搜索系统的准确率，相比原系统同比提升13%，且大幅降低了人工维护成本；2、大模型赋予搜索更强的自我学习能力，能够持续优化输出结果，更好贴合用户使用习惯，更具个性化。10.科学文献行业实践案例：基于大数据的智能检索01#ONE02#TOW03#THREE04#FOUR中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院基于大模型和知识图谱的知识平台是智慧水利的智能支撑，通过构建水利领域大模型，融合知识图谱技术，面向水务领域知识，形成以知识引擎为核心的事理推演，支撑服务及应用场景包括：场景一：政务（水务方向）智能问答11.水务行业实践案例：基于大模型和知识图谱的智慧水利知识平台关关键键技技术术大模型语义相似度计算、信息抽取、预训练模型语义相似度计算技术。行行业业需需求求各种关于水务相关的在线咨询需要人工解答，查找答案时费力，人工客服容易面临相同问题回答不一致或者回答不及时的问题。中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院解决方案：基于应急预案、政策等构建水务知识图谱，并构建基于大模型的智能问答系统，从而利用预训练模型语义计算技术智能识别用户的意图，给出针对性的解决思路或答案，并实现从水务知识图谱中快速检索出准确的答案，提升客服服务效率。提升效果：基于智能AI机器人（硬件）和大屏的水务方向政务智能问答系统，在线回答时效性提升60%，回答准确率显著提高，且已支持多层问答，语音输入，并基于在线文字及语音理解的生成式多模态图表技术，实现了机器人和大屏的在线联动，数字化大屏展示等效果。11.水务行业实践案例：基于大模型和知识图谱的智慧水利知识平台中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院水务相关政策公文面临素材搜寻难、政策发布难、政策宣传难、政策申报难、政策统计繁等问题。基于NLP、知识图谱、大模型技术，构建融合政策、法规、公文、解读、机构、主题等要素构建全域政策关系网络知识图谱，将经验/知识转换为规则政策。政策公文语义搜索、文档解析信息抽取、政策文本关联技术水务政策知识平台（知文智用）智能提供政策语义搜索、公文标引、智能审核等应用，实现公文辅助写作，公文写作联想，相关插件可集成WPS等办公软件，支持公文初稿拟制、河长制日报周报、预警事件处置报告、应急预案等多种文体的自动生成。场景二：水务政策公文服务11.水务行业实践案例：基于大模型和知识图谱的智慧水利知识平台中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院11.水务行业实践案例：基于大模型和知识图谱的智慧水利知识平台场景三：基于大模型的数字孪生水利防洪推演预测系统行业需求：山洪流域防洪需要：精准的预报预测分析、预警消息及时触发并发布、水利应用场景仿真推演、应急预案快速形成并择优。关键技术：水利数据演算分析技术、基于仿真引擎及可视化模型双向渲染技术、数字孪生提升效果：结合大模型技术驱动水利防洪，实现山洪“四预”解决方案：利用大模型技术驱动水利行业专项业务更精准的预报预测分析，结合数字孪生场景实现水利工程实体及单元部件预警消息的空间关联绑定及消息查看，结合大模型技术实现基于仿真引擎及可视化模型双向渲染驱动下的数字孪生水利应用场景仿真推演，基于场景预演结果，实现以知识平台驱动下的调度方案推送，辅助最优预案决策。精准超前预报快速直达预警前瞻科学预演细化实化预案中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院第六章中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院1.基于知识图谱与大模型的融合，实现知识图谱的自动构建、架构动态拓展与自动运维。2.通过知识图谱与大模型的融合，降低对算力、存储等资源的需求，优化运行效率。3.利用知识图谱与大模型的融合，提升知识更新效率。4.通过知识图谱与大模型的融合，实现行业大模型的高效构建。5.基于知识图谱的结构化知识与逻辑推理能力，增强大模型的可解释性与推理能力。6.基于知识图谱增强的大模型，优化解决不确定性问题，提升决策的准确性和效率。0102知知识识图图谱谱与与大大模模型型的的应应用用和和安安全全保保障障知知识识图图谱谱与与大大模模型型的的增增强强和和效效能能提提升升1.利用知识图谱与大模型的融合，实现对复杂业务场景的深度理解和精准响应。2.通过大模型与知识图谱的构建及融合，实现更广泛的多模态应用。3.利用知识图谱增强的大模型，实现内容的自动化审查机制。4.通过知识图谱与大模型的融合应用，实现面向特定领域的安全保障机制。技术挑战中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院发展展望1.建议围绕大模型，加大建设投入与政策保障，纳入国家新型基础设施；2.建议针对大模型，建立国家级的研发中心/基地，提供公开的计算资源、研发资源等，推动中小企业开展研发工作；3.建议围绕知识图谱和大模型融合的数据安全、隐私保护、知识产权保护、伦理等，完善相关法规；4.建议从政策层面，针对国产大模型，开展研发与推广应用的支持。1.建议针对产业需求，开展知识增强大模型的建设，以促进大模型的产业应用；2.建议围绕大模型与知识图谱融合应用，开展行业数据库的打造；3.建议根据产业需求，开展开源训练数据集和知识图谱的建设。1.建议围绕互操作、数据传输与共享、计算资源等技术领域，开展通用标准制订工作；2.建议针对行业应用需求，开展行业标准规范的制订工作。中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院2知 识 图 谱 产 业 推 进 方 阵 简 介知 识 图 谱 标 准 化 工 作 组 简 介1全国信标委人工智能分委会知识图谱工作组及IEEE知识图谱标准化工作组，由中国电子技术标准化研究院牵头，联合知识图谱相关企事业单位、研究院所、高校、机构，旨在运用标准化的理念、方法和技术梳理分析知识图谱领域核心标准化需求，共同推动知识图谱关键标准的研制等工作，支撑知识图谱技术的高质量推广与应用。工作组现有清华大学、阿里巴巴、联想、华为、百度、腾讯、东软、蚂蚁科技、依图等70余家知识图谱领域相关单位共同参与标准编制工作。目前，已发布GB/T 42131-2022人工智能 知识图谱技术框架等国家标准、IEEE标准3项，在研标准10项。知识图谱产业推进方阵旨在培育和壮大知识图谱领域供应商、集成商、服务商与用户企业，以标准化为纽带，共同促进知识要素在各行业领域的挖掘、富集、流动和应用，推动构建跨行业、跨领域的知识挖掘与应用服务新型基础设施。方阵成员包括理事长单位、成员单位，并设置轮值主席、专家委员会、秘书处及必要的工作组。方阵将通过供需对接、诊断评估、测试认证、标准宣贯、教育培训、知识交换协议开发等手段服务产业，不定期开展技术沙龙、案例征集、成果发布、专题竞赛、产业峰会等活动，推动知识图谱的技术创新和产业深化应用。请有意向的单位填写方阵成员单位申请表提交至，经秘书处形式审核及理事长会议审议通过后，将颁发成员单位证书。申请表下载链接如下：https:/ 42131-2022人工智能 知识图谱技术框架等系列国家标准和团体标准，中国电子技术标准化研究院联合北京赛西认证公 司 等 4 0 余 家 单 位 研 制 了 知 识 图 谱 构 建 平 台 认 证 技 术 规 范 、知识图谱应用平台认证技术规范等基础知识图谱产品认证技术规 范，并 研 制 了 金 融 领 域 知 识 图 谱 构 建 能 力 认 证 技 术 规 范 、医疗领域知识图谱应用能力认证技术规范等领域知识图谱认证技术规范，共设置300余项测评指标。现已有联想、华为、百度、蚂蚁科技、清华大学、中国医学科学院医学信息研究所、科大讯飞等30余家单位的知识图谱系统通过首批、第二批和第三批基础知识图谱产品认证，首批医疗领域知识图谱产品认证。获批使用的认证标识如下：序号 标准类型标准名称状态1国际标准ISO/IEC DIS 5392Information technology Artificial intelligence Reference architecture of knowledge engineering信息技术 人工智能 知识工程参考架构在研2国家标准人工智能 知识图谱技术框架国家标准号：GB/T 42131-2022已发布3IEEE标准Framework of Knowledge Graphs知识图谱架构IEEE标准号：IEEE Std 2807-2022已发布4IEEE标准Standard for Technical Requirements and Evaluating Knowledge Graphs知识图谱技术要求及测试评估规范 项目号：P2807.1在研5IEEE标准Guide for Application of Knowledge Graphs for Financial Services金融服务领域知识图谱应用指南 项目号：P2807.2已冻结6IEEE标准Guide for Electric-Power-Oriented Knowledge Graph面向电力行业的知识图谱指南IEEE标准号：IEEE Std 2807.3-2022已发布7IEEE标准Guide for Scientific Knowledge Graphs科技知识图谱指南项目号：P2807.4在研8IEEE标准Guide for Medical Clinical Diagnosis and Treatment Oriented Knowledge Graphs面向临床诊疗的知识图谱指南项目号：P2807.5在研9IEEE标准Guide for Open domain Knowledge Graph Publishing and Crowdsourcing Service开放域知识图谱发布与众包服务指南项目号：P2807.7在研10IEEE标准Standard for knowledge exchange and fusion protocol among knowledge graphs知识图谱间知识交换与融合协议项目号：P2807.8在研11团体标准人工智能 知识图谱 分类分级规范项目号：CESA-2020-019在研12团体标准人工智能 知识图谱 性能评估与测试规范项目号：CESA-2020-020在研13团体标准人工智能 医疗知识图谱 构建要求项目号：CESA-2023-023在研14团体标准人工智能 医疗知识图谱 测试评估要求项目号：CESA-2023-024在研15白皮书知识图谱标准化白皮书已发布16案例集知识图谱赋能疫情防控与复工复产案例集已发布17案例集认知智能时代：知识图谱实践案例集已发布18白皮书知识图谱选型与实施指南已发布19白皮书知识图谱互联互通白皮书已发布20研究报告知识图谱与大模型融合实践研究报告已发布基础知识图谱产品测评与认证介绍：https:/ 系 人:李瑞琪联系方式:电子邮箱:中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院中国电子技术标准化研究院

0人已浏览 2023-12-13 72页 5星级

 1/34 2023年年 12月月 11 日日 行业行业|深度深度|研究报告研究报告 行业研究报告 慧博智能投研 AI Agent行业行业深度：深度：框架拆解框架拆解、应用方向应用方向、应用领域应用领.

0人已浏览 2023-12-13 34页 5星级

AI时代体育秒针系统秒针系统Version 20231208秒针系统营销事业部体育组Contact Us M2023体育营销白皮书体育营销的笋盘时代01体育大项的营销优势02体育营销价值洼地 潮流小众运动03AI时代体育流量新玩法04体育行业舆情大数据研究方法与数据来源体育营销行业现状研究行业专家深访数据来源 秒针魔方大数据库 秒针CSI体育明星评估数据库 秒针SEI体育节目赞助价值数据库 秒针LBS大数据 其他研究机构的数据统计通过舆情大数据去洞察体育项目热度与体育营销的活力利用CSI与SEI指数去评估主流体育赛事的赞助价值与影响力秒针LBS大数据反映国民线下参与体育活动的积极性其他机构的统计数据作为分析体育运动的补充资料分析方法通过案头研究了解体育营销行业的行业基本现状体育项目的历史产出作为对特定分析模块的信息补充数据来源分析方法数据来源分析方法秒针分析师的案头研究秒针的体育项目历史产出对品牌方、资源方、平台方的体育行业专家进行深度访谈样本量：8人专家访谈主要针对体育营销行业特征、小众潮流运动营销优势、主流赛事的营销优势等方面进行深入探讨，补充进白皮书体育营销的笋盘时代疫情消散、中国体育产业将在利好的环境中再度扬帆起航体育政策支持赛事氛围浓郁国民积极参与明确到 2035 年建成“体育强国、健康中国”。在此大背景下，近年来国家陆续出台鼓励、支持体育事业发展的政策体育强国建设纲要全民健身计划(20212025 年)“十四五”体育发展规划全国体育场所总数从2019年的354.4万个增加到2023年的450.9万个疫情管制降级之后，各项滞办、待办赛事都逐一推进，基本上每月都有重大赛事，今年全年赛事氛围浓郁2023全国帆船锦标赛2023国际泳联跳水世界杯2023世界乒乓球职业大联盟中国系列赛2023苏迪曼杯世界羽毛球混合团体锦标赛第31届世界大学生夏季运动会第19届亚洲运动会 2023年中国经常参与体育锻炼的人口超5亿2023年中国体育消费规模为1.5万亿，预计2025年将增长至2.8万亿元预计2025年中国体育产业从业人口将达到800万2023-2024年，大量重要国际赛事将会在国内外举办1月2月3月4月5月6月第31届世界大学生冬季运动会澳大利亚网球公开赛亚洲羽毛球团体锦标赛自由式滑雪和单板滑雪世界锦标赛世界速度滑冰锦标赛世界短道速滑锦标赛世界花样滑冰锦标赛世界乒乓球职业大联盟中国系列赛女子冰球世界锦标赛世界斯诺克锦标赛亚洲羽毛球锦标赛世界乒乓球锦标赛法国网球公开赛世界女排联赛世界男排联赛7月8月9月10月11月12月世界游泳锦标赛女足世界杯第31届世界大学生夏季运动会世界射击锦标赛世界田径锦标赛世界羽毛球锦标赛男篮世界杯世界举重锦标赛亚洲乒乓球锦标赛第19届亚洲运动会中国网球公开赛世界体操锦标赛上海网球大师赛世界蹦床锦标赛羽毛球世界巡回赛总决赛1月2月3月4月5月6月足球亚洲杯澳大利亚网球公开赛世界花样滑冰锦标赛世界游泳锦标赛举重亚锦赛速度滑冰世锦赛世界乒乓球锦标赛室内田径世锦赛短道速滑世锦赛花样滑冰世锦赛斯诺克世界公开赛斯巴达勇士赛羽毛球亚锦赛F1中国大奖赛2024斯诺克世锦赛汤尤杯羽毛球赛中国网球巡回赛环意大利自行车赛冰球世锦赛女排国家联赛法网足球欧洲杯足球美洲杯环法自行车赛7月8月9月10月11月12月巴黎奥运会斯坦科维奇杯洲际篮球赛环西班牙自行车赛威克多中国羽毛球公开赛公路自行车世锦赛中国网球公开赛上海劳力士大师赛WTT世界杯斯诺克武汉公开赛环广西国际公路自行车赛世界羽联中国大师赛速度滑冰世界杯中国杯帆船赛举重世锦赛中国网球巡回赛年终总决赛短道速滑世界杯世界羽联巡回赛总决赛国际乒联混合团体世界杯2023年2024年主流球类运动的声量今年获得了大幅提升，体育热度显著回暖篮球跑步路亚&垂钓登山游泳足球骑行滑雪乒乓球羽毛球高尔夫潜水棒球陆冲&滑板网球排球拳击跆拳道攀岩飞盘皮划艇桨板空手道腰旗橄榄球2023体育运动声量&互动量情况05B10B15B20B25B30B跑步篮球足球乒乓球羽毛球网球主流体育运动声量对比20222023Buzz 23%Buzz 30%Buzz 52%Buzz 26%Buzz 22%Buzz 390M20M30M40M备注：信息来源于秒针大数据库，抓取时间为 2023.01.01 2023.09.30从上海体育场与Nike篮球公园的单日人流量变化可以看出消费者对于赛事的热情依旧，从消费端为体育营销提供良好的基础上海体育场赛时人流量约为10,000人/天是非赛时单日人流的15倍040008000月12日7月22日8月1日8月11日8月21日8月31日9月10日9月20日9月30日10月10日上海体育场2023年第三季度人流变化情况中超联赛：上海申花 vs 青岛海牛中超联赛：上海申花 vs 梅州客家中超联赛：上海申花 vs 成都蓉城中超联赛：上海申花 vs 上海海港上海体育场Nike篮球公园的单日人流高峰均出现在街头篮球赛事期间-2,000 4,0007月12日7月22日8月1日8月11日8月21日8月31日9月10日9月20日9月30日10月10日Nike篮球公园2023年第三季度人流情况NBA2023 街球霸王全明星赛腾讯“篮球风暴”上海站备注：信息来源于秒针LBS数据篮 球球星相关声量占50%赛事相关声量占30%主流运动的声量主要集中于赛事和体育明星50 0%排 球乒 乓 球46D%球星相关声量占44%赛事相关声量占46d%球星相关声量占64%赛事相关声量占16%足 球网 球羽 毛 球球星相关声量占38%赛事相关声量占41%球星相关声量占38%赛事相关声量占37%球星相关声量占38%赛事相关声量占23%备注：数据来源于秒针大数据库41!8r8%798#0A1pYi%主流运动项目的声量大数据中运动赛事的声量占比表现不俗，进一步推动品牌方对赞助运动赛事的关注男篮世界杯CBACUBA202324274年份赛事上海马拉松重庆马拉松无锡马拉松202320 (尚未举办)3534202221417年份赛事世界杯女足世界杯中超-6201915911年份赛事篮球赛事声量在篮球总声量中占比30%足球赛事声量在足球总声量中占比41%跑步赛事声量在跑步声量中占比31%跑步篮球球品牌方对体育赛事的赞助热情上升运动赛事在运动话题声量中占比显著备注：运动项目大数据的抓取时间跨度为2023年1月1日 2023年9月30日，来源于秒针大数据库；体育赛事赞助情况来源于百度、搜狐新闻；品牌方赞助情况表格里面的数字是比赛的赞助商数量。50P%体育明星带来的声量占比相较于运动赛事更加显著品牌方在进行体育营销的时候越来越重视对体育明星的投入我国运动员近年代言签约数量体育明星声量在相应运动总声量中占比显著备注：2023年的数据日期范围为2023年1月1日至2023年8月24日；代言统计来源于 中国青年报、艾漫数据等38b%篮球总声量的50.2%都来自球迷对于篮球明星的关注，篮球明星对于体育营销的声量贡献作用巨大足球总声量的38%都来自球迷对于足球明星的关注，足球明星对于制造体育营销的声量，增加品牌曝光度非常重要1612021年2020年852019年762018年422017年382016年222015年8不同于主流运动的声量主要来源于赛事和体育明星潮流、小众运动的声量则更多是UGC声量87UbXxrrR%UGC 声量占62%UGC 声量占58%UGC 声量占78%骑行高尔夫皮划艇登山棒球拳击滑雪UGC 声量占72%UGC 声量占72%UGC 声量占52%UGC 声量占87prUWW%UGC 声量占70%UGC 声量占85%UGC 声量占72%桨板腰旗橄榄球陆冲&滑板攀岩路亚&钓鱼潜水飞盘UGC 声量占55%UGC 声量占57%UGC 声量占57%UGC 声量占55r%备注：信息来源于秒针大数据库主流运动的社媒声量整体领先于大部分潮流小众运动，但潮流小众运动的UGC含量更高，且声量同比增长更高，两类运动各有千秋，都是体育营销的良好载体不同运动项目的声量情况与UGC声量占比情况0 0Pp0%(20.00)-20.00 40.00 60.00 80.00 100.00 120.00 140.00 160.00声量同比增幅UGC声量占比备注：信息来源于秒针大数据库，抓取时间为 2023.01.01 2023.09.30 与 2022.01.01 2022.09.30篮球足球路亚&钓鱼游泳羽毛球乒乓球网球排球跑步登山骑行滑雪陆冲&滑板潜水棒球高尔夫拳击腰旗橄榄球皮划艇攀岩飞盘桨板2023年前九个月的运动声量决定气泡大小潮流小众运动UGC声量中大部分为参与运动的分享但也有不少声量是在线讨论运动装备以及关注运动旅游UGC声量话题占比分享参与运动的常分享他的运动趣事运动装备相关运动旅游37.5 %5%备注：信息来源于秒针大数据库受到滑雪、冲浪等小众运动参与度上升的推动体育旅游的相关声量在近些年有明显上升中国的发展情况在中国都有哪些主要形式登冲浪滑雪滑沙骑骆驼骑早期的体育旅游一直以马拉松、登山等单项赛事为主体，种类单一。如今体育旅游产业结构呈现出丰富多彩的发展格局，包括草原项目、水上项目等多种类型的体育旅游产品已经开始得到市场的认可。截止2021年中国体育旅游行业市场规模达12718.8亿元，预测2026年可达到38814.5亿元。30(2A%9$&)0qFF9(!%0P0%漂流登山骑马冲浪滑雪2021-2023热门体育旅游项目声量趋势202)F%94)926I2!1%0P0%漂流登山骑马冲浪滑雪2021-2023热门体育旅游项目互动量趋势202120222023备注：信息来源于秒针大数据库体育旅游构成了部分地区经的济重要创收来源受到政府的鼓励与支持，这项产业将会在全国范围内受到重视、并持续带动地方经济发展备注：数据来源于体育旅游经济及社会影响、中国经营报、万宁发布厅从全球市场来看，体育旅游占旅游市场的平均比重是15%，发达国家则高达25%，而我国目前的占比仅为5 20年，我国体育旅游总人数达到10亿人次，总消费规模突破1万亿元，并在政府政策支持下不断扩张冰雪旅游资源集中的张家口市，冰雪旅游成为该市经济重要引擎创造就业：2022年张家口崇礼区，每4个人中就有1人从事跟冰雪相关工作，超过3万人直接或者间接进入了冰雪产业或旅游产业，其中包括了9,000人的贫困人口拉动投资：截至2022年初，张家口累计签约冰雪产业项目109个，包含价值40亿的冰雪装备研发制造项目54项推动经济：预计到2025年，张家口将接待冰雪游客1500万人次，冰雪旅游收入达到400亿元海南万宁市作为冲浪资源丰富的城市，跟上了体育旅游的风潮，努力奔向百亿级的产业集群城市万宁不断建设包含冲浪、海上低空飞行等项目的旅游产业，并于2023年一季度接待122万游客，创造20多亿的旅游收入2023年中秋国庆长假，万宁三大湾区共接待游客47万人次，实现旅游收入2.5亿元体育装备制造业同样可以从潮流小众运动发展中获取红利,年轻群体作为潮流小众运动主要参与者，其对于运动装备的积极消费态度，将极大刺激体育装备制造业的发展备注：数据来源于艾瑞咨询中国年轻人运动发展白皮书中国年轻群常消费的体育品类285.50.70G.10G.70a.30d.60%报名参加各种比赛支付运动场地费用观看体育赛事费用报名运动培训购买健康食品购买鞋服购买运动器材/配件中国年轻群体购买体育装备年均花费86.6%的户选装备时偏好型专业运动装备制造商5.9.45.2#.0%7.8%5.7%8K中国年轻滑雪爱好者运动为及消费特征消费情况平均年消费额：5429.3 元消费品类TOP5：雪具购买-67.7%雪具租赁-56.3%滑雪场票-52.6%滑雪培训课程-48%护具-43.8%消费趋势62.9%的近5年在滑雪运动上消费呈现增加势头消费增加的品类主要是雪具购买 或 租赁、滑雪场票滑雪是年轻人参加潮流小众运动时消费支出最多的运动，人均年消费达到5,429.3元，高于大部分其他运动滑雪爱好者认为更好的滑雪装备是他们提升专业水平的最主要方式，具备此类认知的爱好者占消费群体的60.7%潮流小众运动发展红利的外溢不仅仅带动了相关产业其自身具备的优质属性使得这一领域非常值得去做体育营销位处时代前沿的小众运动，一方面可以满足大众的好奇新鲜感，另一方面也是能够彰显身份的个性化标志。位处高线城市的高收入高认知人群，同时也更认同关注潮流品质运动。小众潮流赛事垂直对标于高净值人群，匹配程度高人群接受度高。在日益复苏的经济趋势和利好的政策驱动下，小众潮流有望成为尚未被重视的体育价值洼地。运动带来即刻积极的大脑反馈和长期健康的生活状态，形成正向闭环。体育大项的营销优势主流体育赛事是体育营销的传统重心，受关注度高、曝光效果好、触达人群广，刚过去不久的足球世界杯的调研数据就很好的诠释了这些特征备注：数据引述自2023年1月秒针为在世界杯投放广告的客户所做的营销效果评估报告。世界杯关注程度31.1 41.9 18.8 6.3 完全不关注不太关注一般比较关注非常关注91.8%世界杯调研收视率93.2.2%狂飙调研收视率乘风破浪3调研收视率46.7F.7X.6X.6%世界杯秉承着传统主流体育赛事的营销特征，广告营销形式丰富，赛场内外相辅相成，并且不断补充新的营销形式进入品牌营销中，为品牌方提供多样化的选择备注：数据引述自2023年1月秒针为在世界杯投放广告的客户所做的营销效果评估报告。球场-画外音广告球场-角标球场内营销球场-显示屏球场-球衣赞助球场-虚拟Logo演播室-大屏背投场外营销-球星代言场外营销-品牌赞助球场外营销（演播室&线上）演播室-主持人口播演播室-桌面摆件场外营销-官方推广NBA营销平台价值不可小觑，2023NBA季候赛总决赛的话题热度是年度体育赛事基准值的两倍，观众对节目满意度高达96%备注：数据引述自2023年7月秒针为在NBA季后赛总决赛投放广告的客户所做的营销效果评估报告。NBA2023全明星赛总决赛的节目关注与参与指数趋势NBA2023全明星赛观看与喜爱率趋势103.08112.28102.16204.04210.10188.200250week 1week 2week 3Benchmark93.35Benchmark107.22关注指数参与指数关注指数Benchmark参与指数Benchmark24%#%0 00%week 1week 2week 3Benchmark20.5nchmark92.2%调研观看率喜爱度调研观看率Benchmark喜爱度Benchmark球场内营销球场外营销（演播室&线上）NBA同样为品牌方提供了场内外多种类型的广告位供营销投放，通过在直播右下角植入购买链接的【边看边买】广告位更是为品牌直接带来了流量转化备注：数据引述自2023年7月秒针为在NBA季后赛总决赛投放广告的客户所做的营销效果评估报告。球场-场边显示屏球场-球衣赞助球场-IGE球场-虚拟地贴演播室-桌面摆件场外营销-中插广告场外营销-官方推广球场-镜外画面演播室-主持人口播演播室-大屏背投场外营销-边看边买作为主流赛事的延申贵州村超承接着主流比赛的关注度外溢红利，同样能够作为体育营销的良好载体备注：贵州村超数据来源于秒针大数据库、秒针Social X，其他信息参考清研智谈“村超”出圈，掀起贵州乡村文旅发展新浪潮擅用传播媒介积极与主流媒体合作，利用央视、新华社、人民日报、光明日报等不断扩大知名度重视自媒体平台，快速开通线上官号进行圈粉，抖音官号已经积累125万粉丝与足球名宿（范志毅等）、明星（香港明星足球队）足球评论家（韩乔生）联动，制造热点，增温宣传实力引流客群2023年村超开赛后一个月，吸引游客42万余人次，包含外地游客11.61万人次村超所在的榕江县5月接待游客107.37万人次，住宿业同比增长30.7%，环比增长89.9%，餐饮业同比增长50.5%，环比增长42.8 23贵州村超声量823234084450200000400000600000五月六月七月八月（4个月声量高达93万）村超在多个社交平台热度榜居榜首成熟的运营手段曝光度高村BA在多个社交平台热度榜居榜首平台直接下场运营通过与知名篮球KOL联动等方式，对现场赛事进行解读，打造篮球圈层的整合营销直播之外，还推出纪录片村BA“全民心”，带动更多的人了解贵州举办地的篮球文化底蕴，感受“村BA”质朴、美好的体育精神，以情感为连接、构建深度内容，引发大众情感共鸣“快手贵州村BA”直播总观看人次超3亿相关话题视频播放量达4.5亿#村BA又开打了“、”#在家乡为热爱上投“、”#村篮球队原来这么厉害“等话题斩获161个热榜知名品牌方赞助京东健康、杰士邦等品牌已经与“快手贵州村BA”进行商业合作备注：贵州村BA数据来源于秒针大数据库、秒针Social X，其他信息参考搜狐“快手村BA”贵州站出圈背后2357542490279275078834404000008000001200000七月八月九月十月（4个月声量高达150万）2023贵州村BA声量贵州村BA在声量、热度方面同样是不容忽视的体育营销载体纵观整个体育营销领域主流赛事能够为品牌方提供更广泛、更下沉、更深度、更多频次的曝光主流赛事的高关注度是提升品牌知名度的捷径多样化的广告位投放能提高品牌回想度品牌与赛事的场外联动能做更有效的观众渗透主流赛事的延申赛事为品牌提供下沉曝光渠道短视频平台传播是主流赛事与广告提升二次曝光的良好媒介体育营销价值洼地 潮流小众运动对于品牌方来说潮流小众运动的体育营销尚处于起步阶段，赞助商不饱和是常态，合作空间大传统运动2023美国职业足球大联赛新潮运动2023橄榄球CNFL常规赛美国职业足球大联赛2023赛季美国职业足球大联赛2023赛季赞助商合作商类型多达25种，涵盖方方面面CNFL，为华美橄榄球联盟简称。作为国家高水平成人业余联赛之一，也是中国最早的民间美式橄榄球联赛。2023CNFL常规赛场地内未展示出明显的赞助商广告潮流小众运动的赞助商以普通赞助商为主品牌方的赞助门槛低备注：数据来源于各小众运动的官方海报或者官方发文新潮运动赛事涌现赛事品牌赞助商大部分较为小众冲浪2023“青岛杯”冲浪公开赛锐速特 Beach Business 思德运动 板式网球2023年昆明HEAD杯板式网球邀请赛海德中国 HEAD CHINA 农夫山泉橄榄球2023首届北京腰旗橄榄球公开赛卡尔美体育 燃力士 DODOWA路亚2023岸钓之王全国巡回赛NS SHIMANO禧玛诺滑板2023第四届开封长板公开赛魔术师长板 与板 CLOUDWHEEL云轮 逆山长板皮划艇2023西青漂岛皮划艇赛乐划桨板 Maxped战马能量饮料 Molokai桨板（业余赛事）（业余赛事）（市级赛事）（业余赛事）（市级赛事）（市级时尚体育联赛）相较于传统体育而言潮流小众运动的体育营销形式更灵活多样，更适合品牌方去实现多种方式的人群触达传统运动马拉松官方赛事新潮运动越野跑赞助商以传统的展架广告版呈现（2023年哈尔滨马拉松）赞助商以传统的旗帜&横幅广告呈现（2023年上海马拉松）马拉松作为国际普及的长跑项目，历届举办赛事已较为成熟。马拉松赛事赞助品牌多以传统的实体展牌呈现。与主流平台合作，参与可得品牌产品。增加曝光率的同时，与消费者互动性更强。运动类博主社媒传播，比起传统电视转播，品牌触达率更高。越野跑作为疫情后新起的户外运动，受到年轻人的广泛关注。小众运动赛事规模还未成熟，且更易融入“互联网 体育”的全新业态。从数据角度来看，潮流小众运动的声量基本都呈现较高的涨幅，大部分运动的互动也增幅明显，这些运动在消费端的受关注度与热度直接体现了其良好的营销载体的价值声量互动量同增幅声量同增幅互动量互动量/声量21M910M 106% 59B18M796M 128% 56E6M383M 14% 13g5M102M 21% 8 4.4M173M 1% 894.4M280M 12%-24d3.9M83M 62% 1!2.4M226M 17%-141.2M29M 18%-4$1.1M28M 13%-54&0.7M21M 60% 11700.5M14M 151% 129&0.1M2M 9%-55$单位：M（百万）骑行高尔夫皮划艇登山棒球拳击滑雪桨板腰旗橄榄球陆冲&滑板攀岩路亚&钓鱼潜水飞盘备注：声量、互动量数据来源于秒针魔方大数据库，覆盖时间段为2022年1月1日 2022年9月30日、2023年1月1日 2023年9月30日.31M1,516M 84%-6P包括耐克、棒约翰等市场主要品牌在内的一些品牌已经注意到“骑行”运动所蕴含的营销价值Nike 联合RE 赞助23年的“北京城市涂鸦”骑行活动棒约翰今年在沪开设全国首家“骑行”主题餐厅骑行者小红书发帖主办方宣传照上海定西路餐厅小红书KOL宣传推广Ocean Pacific 联合 RIO赞助2022年上海“为浪而生”陆冲板比赛陆冲板小红书KOL与多个品牌合作进行产品推广RIO则在陆冲板赛事领域先人一步，率先实现营销赞助除了品牌对运动赛事的直接赞助，潮流小众运动的KOL也率先收到了运动品牌的关注AdidasOn昂跑Converse匡威Surpine松野湃主办方宣传片陆冲板玩家小红书发帖总而言之，潮流小众赛事作为体育营销的价值洼地，能够为品牌方提供更垂直、入门更低、更多样化的营销合作潮流小众赛事的垂直性是品牌方搅动圈层营销的法门成长在主流赛事的热度阴影下，营销价值鲜少被品牌方注意到，合作空间大价值洼地属性能够提供更低的经济门槛UGC含量更高的前提为线上多样化营销提供沃土不断壮大的运动声量赋予品牌方借势而上的机遇AI时代体育流量新玩法资源定位预算大小发掘体育价值洼地顶级体育资源布局品类相关垂直体育资源布局体育营销策略画布打造顶级IP赞助壁垒培养专业体育资源伏击营销社群营销Last Minute资源精准触达科学评估沉淀资产KOLKOLKOCKOC线上：定向人群饱和触达线下：场景植入运动垂直受众触达率ROI(品牌收益/转化收益)品牌&运动项目关联用户运动标签社群沉淀通过大数据表现，了解各类运动的热度与粉丝圈层情况，确定营销蓝海跨平台实现数据打通，丰富潜客兴趣标签，实现多平台触达 建设私域渠道（如 App、小程序），获得潜客更多社交层面信息 与社媒平台拓展合作，打通生态，赋予单一潜客更丰富立体的标签，赋能精准投放利用大数据与用户圈层研究的方法确定体育营销洼地 潮流小众运动热度大数据 潮流小众运动粉丝圈层研究 发现优质潜力KOL/KOC识别体育营销洼地新时代玩转体育流量的框架构想AIGC赋能营销曝光利用AIGC技术批量生成营销软文，通过KOC实现垂直受众高频次种草曝光 立足传播数据表现，结合品牌受众与KOL&KOC粉丝圈层的重合度，选择合适的KOL&KOC 利用AIGC技术，为KOL&KOC软文的生产传播提升效率，增加曝光与触达垂直兴趣人群精准触达秒针大数据平台秒针运动行业知识图谱秒针消费者圈层研究秒针AIGC能力数据治理数据储存数据安全人工智能识别体育营销洼地、优化潜客精准触达、AIGC赋能营销曝光是新时代玩转体育流量的三驾马车与主流赛事的体育营销合作必不可少，是品牌增加曝光的最直接的方法，潮流小众赛事则能够帮助品牌精准触达潜客，是不能被忽视的价值洼地主流赛事潮流小众赛事与主流赛事的合作，是体育营销的基建工程受益于主流赛事拥有庞大粉丝群体，品牌认知会获得广泛传播“积极、拼搏”是不少品牌希望从体育营销中获得的形象标签，主流比赛能很好满足大部分品牌的营销需求与潮流小众赛事的合作，是体育营销的精确制导潮流小众赛事粉丝群体更加垂直潮流小众赛事更能吸引个性鲜明、热衷尝试的受众，为品牌提供良好的营销基础从运动的社会热度、热度增幅、赛事成熟度、运动赛事合作难度等维度去筛选出体育营销的价值洼地潮流小众运动舆情声量声量增幅赛事成熟度整体合作难度价值洼地属性强弱路亚&垂钓20.9M72%骑行12.3M119%羽毛球4.4M26%高尔夫3.8M16%棒球3.3M123%陆冲3.3M12%网球2.7M22%桨板0.4M184%腰旗橄榄球0.1M54%非常一般体育营销需要从价值洼地中选择最适合品牌的潮流小众运动进行合作，圈层研究能够很好的赋能选择 适合品牌：有明确的目标人群倾向的品牌营销活动 选择依据：圈层的 性别 x 年龄 x 地域 x 收入 等 输出：目标人群覆盖最多、浓度最高的圈层根据品牌目标人群（TA）匹配性选择 适合品牌：对TA没有具象化的要求，希望寻找最具影响力的圈层，进行大面积的品牌传播营销活动 选择依据：圈层的规模、声量、增长率 输出：当前声量最高，规模最大，增长力最快的圈层根据圈层影响力选择 适合品牌：对营销活动的直接转化和销量要求高，希望传播能直接带货 选择依据：圈层对制定品类/品牌的讨论量、讨论占比 输出：对目标品类关注最多、讨论最多的圈层根据品类相关性选择因共同兴趣、爱好、价值观、社会属性等共性特征而集聚，形成具有一定文化认同感或共性目标的社群或部落，即圈层圈层的定义与圈层营销的执行手段进行潮流小众运动营销的品牌一般都目标明确，更适合这项原则社交媒体内容设计更注重兴趣导向，对运动社群可以结合数据做进一步细分，找到最适合目标人群的兴趣场景专业运动赛事APP运动小程序报名入口品牌A祝贺XXX夺冠赛事夺冠时刻赛场广告牌伴随各类赛事兴起，新的运动线上入口涌现，品牌可抓住机遇精准触达兴趣受众除了直接触达潜客，KOL的带货营销也必不可少，潮流小众运动的KOL同样需要进行分级,而KOC做为越来越受关注的资源，则非常考验营销者的群控技术行业特征粉丝多元性不显著较显著单圈层多圈层KOL层级特征T1超头部T2头部T3肩部T4腰部T5(KOC)尾部制造&迅速引爆话题种草品类广泛扩大传播声势&加强背书种草品类较专调动参与度&深化认知种草品类精专击破圈层&深度种草跨圈层种草能力初现二次传播&口碑裂变类朋友圈种草小红书抖音微博转化效率转化效率转化效率AIGC技术可以被用来赋能KOC渠道实现品牌的高频曝光，并且能够统一每一篇营销软文的质量AIGC在营销物料上的应用AIGC赋能KOC软文生产的流程文本生成 结构化写作：新闻稿 非结构化写作：故事情节续写 辅助性写作：文本润色 闲聊机器人 文本交互游戏图像、视频、文本间跨模态生成 文字生成图像 文字生成演示视频 文字生成创意视频 图像/视频到文本：视觉问答系统视频生成 视频属性编辑：删除特定主体 视频自动剪辑 视频部分编辑：视频换脸等图像生成 图像编辑工具：去除水印 创意图像生成：生成画作 功能性图像生成：生成海报AIGCAIGC生产内容专业团队二次加工初次内容初次内容多样化内容推送KOLKOL用户发布关于我们 秒针系统是明略科技旗下专注于营销实效管理的专业品牌，将营销实效管理拆分成流量实效、内容实效和用户实效三大能力，通过测量、洞察、优化，形成营销实效闭环，为企业提供一站式营销数字化服务。帮助品牌突破现有瓶颈，引发营销生产力的大爆发，帮助广告主实现千人千面营销的测量、洞察和优化。扫码咨询 体育营销相关干货/咨询

0人已浏览 2023-12-12 45页 5星级

践行深度用云矿山智能化暨矿山大模型最佳实践白皮书编 委 主 任编 委 顾 问编委会委员编 写 成 员责 任 编 辑李 伟 邹志磊刘 健 王立才 韩 硕 蒋旺成 郭振兴 刘 维 尤 鹏 胡玉海 王 飞徐加利 刘 波 曹怀轩 胡立全 项 凌 杨加元 赵 强 陈文丰 顾兴勇 贡 青赵金娥 张 浩 高 桢 张 硕 潘临安 李吉宗 李 杨 谭 伟 曾祖祥 王 宁 张强豪 刘汝琪 高 昊 陈 航 陈泽腾 周志获 王 军 贺 帅蒙俊秀 王 瑞编制委员会P R E P A R A T I O N C O M M I T T E E（排名不分先后）炭行业作为我国重要的传统能源行业，其智能化建设直接关系我国国民经济和社 会智能化的进程，将人工智能、工业物联网、云计算等ICT技术与现代煤炭开发利用深度融合，对提升煤矿安全生产水平、保障煤炭稳定供应具有重要意义。但当前煤炭行业智能化建设工作依然存在资金投入不足、技术标准不一、技术装备落后、研发平台不健全、高端人才匮乏等问题，导致智能化建设滞后于其他行业。同时，传统人工智能开发模式局限于特定的行业场景、特定的数据，面临碎片化、定制化、门槛高等问题，导致无法大规模复制的挑战。近年来，山东能源集团投入200多亿元进行矿井智能化建设，9对国家级智能化示范矿井全部通过验收，在煤矿智能化建设路上走在了全国前列。2022年山东能源集团与华为公司成立联合创新中心，重点围绕煤炭开发利用重大科技需求，叠加双方科学技术、应用场景、行业双跨专家等优势资源，在智能化煤矿建设、煤矿安全管控等领域形成了一批可复制推广的解决方案。山东能源集团引入华为云Stack构建集团总部训练、生产单位边缘推理的云边协同架构，满足“数据不出企”的要求，基于盘古大模型实现人工智能开发模式从“作坊式”到“工业化”的升级迭代，探索出一套可复制的工业化人工智能生产方案，初步实现煤炭行业从人工管理到智能化管理、从被动管理到主动管理的转变。当前，山东能源集团已在兴隆庄煤矿、李楼煤业、济二煤矿等单位开发和实施首批场景应用，实现实时优化工艺参数、识别故障与异常、审核作业规范，以广播提醒、设备联动等方式实现了自动处置闭环，形成了一批应用成果。未来，我们将在盘古视觉大模型和盘古预测大模型的基础上，采用盘古自然语言和多模态大模型，进一步做深决策智慧、企业管理智能化能力。我们将在矿业智能化的基础之上，辐射能源集团其他五大业务板块，加速全产业智能化建设，坚持开放合作、与“巨人”同行，持续深化与华为在技术、管理、文化等方面的交流合作，基于华为云Stack云边协同方案，将盘古大模型复制推广到其他行业，打造行业领先的AI应用平台，深度用云，让行业客户都拥有自己的专属大模型，加速行业智能升级！李伟山东能源集团 党委书记 董事长煤02序言P R E A M B L E前言 1956年达特茅斯会议首次提出人工智能概念以来，人工智 能一直在业界广泛应用。2022年，生成式人工智能系统为代表的大模型，在多项测试中超越人类平均水平，推动了人工智能领域的新一轮创新浪潮。2019年，华为立项研发盘古大模型，历时三年，投入大量人力物力。盘古大模型致力于深耕行业，打造多领域行业大模型和能力集，积极开展行业合作，持续提升在行业领域的专业性，助力行业实现智能升级。2022年，华为与山东能源集团有限公司（以下简称山东能源）及旗下公司云鼎科技股份有限公司（以下简称云鼎科技）达成了战略合作关系，把盘古大模型应用于煤炭行业，在山东能源实现了华为云盘古矿山大模型（以下简称矿山大模型）的落地实践，加速了山东能源的智能化发展。本白皮书全面总结了矿山大模型在山东能源的实践经验，从趋势、方案、运营、商业等方面阐述了我们的实践思路和方法，同时辅以具体的落地场景，期待为各行各业使用大模型提供参考。目前，矿山大模型的实践还在持续开展，我们还将探索自然语言处理、多模态等形态大模型在煤炭行业的应用，随着未来实践的深入，我们的认识也将进一步深化，对白皮书存在的不足之处，欢迎大家批评指正。F O R E W O R D自03目录D I R E C T O R Y1.1 大模型引领人工智能发展方向1.3 面向大模型的配套建设已经起步1.2 大模型深入行业，引发范式变革大模型跑步进入展开期各行业迎来发展新范式012.1 矿山智能化正稳步推进2.3 矿山智能化现状挑战2.2 矿山企业确立智能化发展战略2.4 矿山大模型基于1 4 N架构推动矿山智能化升级盘古大模型为行业而生赋能矿山转型升级023.1 关键实践措施阐述3.3 数据安全和模型安全实践3.2 矿山典型业务场景的建设实践矿山大模型最佳建设实践032706-0910-1314-2324-2728-3132-334.1 目标与挑战4.3 专业服务体系建设实践4.4 模型运营管理实践4.2 运营组织体系建设实践矿山大模型最佳运营实践045.1 拓展创新利益联结机制，协同共生、合作共赢5.3 实现战略、组织匹配，标准动作推动落地5.2 面向煤炭行业构建三种矿山大模型落地途径矿山大模型最佳商业实践056.1“大一统”模式构筑企业智能化基座6.3 通过持续运营，释放大模型的价值与潜力6.4 开放思维合作共赢，赋能伙伴成就客户6.2 模型与业务适配，大小模型协同发展矿山大模型为“AI for Industries”提供最佳实践指导06大模型跑步进入展开期各行业迎来发展新范式大模型跑步进入展开期各行业迎来发展新范式大模型跑步进入展开期各行业迎来发展新范式大模型跑步进入展开期各行业迎来发展新范式大模型跑步进入展开期各行业迎来发展新范式各行业迎来发展新范式各行业迎来发展新范式各行业迎来发展新范式各行业迎来发展新范式各行业迎来发展新范式06近年来，人工智能技术发展迅猛，大模型在人工智能发展方向上发挥了重要的引领作用。大模型以其巨大的模型参数规模、大数据预训练和对强大计算能力的需求而著称。通过对大量数据集的预学习，大模型展现出卓越的模型精度和泛化能力，为众多领域提供了革命性的解决方案。以自然语言大模型为例，大模型在处理自然语言任务时表现出了惊人的能力。当模型参数规模达到600多亿时，大模型在翻译和数学能力方面表现出色。当模型参数增加到1300亿时，大模型具备了上下文学习和处理复杂任务的能力。而当模型参数增加到5300亿时，大模型展示出知识组合和情感感知的能力。大模型的智能化表现不仅仅局限于特定的任务。它还实现了从感知理解到生成创造、从专用到通用的全面智能化探索，为我们带来了无尽的创新空间，引领了一场方兴未艾的科技革命和产业变革。国内外多款生成式自然语言大模型的火热出圈，让大众对大模型能进行对话、写诗、作画等任务不再陌生，但这只是大模型应用的冰山一角。大模型只有深入到工业制造、金融科技、生物医药、科学研究等众多行业领域开展应用，才能真正发挥其巨大潜力。面对行业垂直领域的复杂任务，单一形态的大模型显然难以胜任，这就需要多种形态的大模型，来应对行业不同场景。1.1 大模型引领人工智能发展方向1.视觉大模型视觉大模型（以下简称CV大模型）基于海量图像、视频数据和独特技术构筑的视觉基础模型，赋能行业客户，利用少量场景数据对模型微调即可实现特定场景任务。以煤炭行业为例，视觉大模型在出厂前经过上亿视频、图像数据的预训练，提高了模型的泛化性和精度，让矿山碎片化的长尾场景模型从“作坊式”开发，走向基于一个大模型的持续“工业化”生产，极大的降低了长期运营成本。2.预测大模型预测大模型是面向结构化类数据，基于基础模型空间，通过模型推荐、融合两步优化策略，构建图网络架构的AI模型，实现生产工艺优化、供应链调度优化等场景的最优参数控制。仍以煤炭行业为例，预测大模型结合了采集的原煤检验、精煤检验和生产过程数据，实现模型的自动选择和预测方法的自动优化，最终得到重介质洗选方案的最优化参数，下发到生产自控系统，有效保证了产品质量。1.2 大模型深入行业，引发范式变革073.自然语言处理大模型自然语言处理大模型（以下简称NLP大模型）利用大数据预训练，结合多源丰富知识，通过持续学习吸收海量文本数据，不断提升模型效果。在实现行业知识检索回答、文案生成、阅读理解等基础功能的同时，具备代码生成、插件调用、模型调用等高阶特性。以政企场景为例，NLP大模型帮助政企客户脱离“文山会海”的困扰。利用其阅读理解和文案生成能力，实现15种公文规范化生成，公文撰写从原先耗时周级降至天级，同时原先会议流水账被改写成标准会议议程；利用其语义搜索能力，实现最佳文档资料推荐，海量公文查找从天级降至分钟级。4.多模态大模型多模态大模型融合语言和视觉跨模态信息，实现图像生成、图像理解、3D生成和视频生成等应用，面向产业智能化转型提供跨模态能力底座。以金融行业7*24小时智能自助服务场景为例，多模态大模型结合音视频通话、电话语音、文字交互形式，摆脱单一固定类型的限制，用多模态情感计算替代打分评价，获取客户真实有效的反馈，完善客户的情感分析，实现对客户意图、行为的全方面判断，针对不同客户打造“聊得来”的个性化智能客服，实现精准化、个性化、有温度的金融服务。5.科学计算大模型科学计算大模型采用AI数据建模和AI方程求解的方法，从海量的数据中提取出数理规律，使用神经网络编码微分方程更快更准的解决科学计算问题。以气象领域为例，华为云为行业提供盘古气象大模型，在四十多年的全球天气数据上训练深度神经网络，能够提供全球气象秒级预报，其气象预测结果包括位势、湿度、风速、温度、海平面气压等，由欧洲中期预报中心和中央气象台等实测验证，其在精度和速度方面超越传统数值预测方法。1.人工智能已上升为国家战略，配套政策逐步完善人工智能作为驱动第四次工业革命的重要引擎，深刻影响着经济、产业和各技术学科的发展。为此，世界主要国家纷纷把人工智能在社会各领域的创新发展提升到国家战略地位。2017年，中国发布了新一代人工智能发展规划，旨在构筑人工智能发展的先发优势。2023年，中国发布了生成式人工智能服务管理暂行办法，办法为大模型的产业创新提供了政策导向和法律保障，也为产业监管提供了科学合理和平衡适度的框架。2.人工智能算力网建设，提供基础的算力底座大模型时代，算力是重要生产力，在“东数西算”战略的推动下，智算中心、超算中心和一体化大数据中心已成为国家新基建的重要部分。2022年6月，“中国算力网”一期工程“智算网络”正式上线，以“鹏城云脑”为枢纽节点，跨域纳管了20余个异构算力中心，汇聚算力规模超3E Flops，建成全国智能算力互联体系，实现算力与AI开源服务向全国用户开放。1.3 面向大模型的配套建设已经起步083.数据要素治理探索转向，将促进数据价值释放“十四五”大数据产业发展规划 强调，推动行业数据资产化、产品化，数据要素治理的探索逐渐转向规范数据资源的市场化流通。2023年，国务院组建了国家数据局，负责协调推进数据基础制度建设，统筹数据资源整合共享和开发利用。这些举措将为大模型的发展提供必要的生产资料。4.人工智能进入“百模大战”的新时代科技部新一代人工智能发展研究中心发布的中国人工智能大模型地图研究报告显示，我国研发的大模型数量位居全球第二，目前中国10亿参数规模以上的大模型已发布79个，进入“百模大战”的新时代，充分体现了我国在大模型领域的创新实力和发展潜力。盘古大模型为行业而生赋能矿山转型升级10过以上举措，持续推动智能化建设提档升级。煤炭行业推进智能化建设，依赖人工智能技术的支持，但传统单场景小模型方案存在诸多问题，制约了矿山智能化、规模化建设的发展。以矿山智能应用的业务视角分析单场景小模型方案，存在以下问题：模型可移植性差。传统模式针对一个矿山开发的模型无法直接复用到其它矿山，在一个生产单位训练的模型，转至其它单位应用时准确度明显下降，模型泛化性不足，难以规模化复制。工况变化，精度满足度低。人工智能模型需要响应行业应用的快速变化，工况发生变化时模型的精度、性能、可扩展性等指标无法满足实际生产需求。数据安全风险。传统模式的算法训练需要将煤矿的数据导出到线下开发环境进行训练，过程中数据安全保障困难，存在数据泄露等安全风险。1.政策推动矿山智能化发展煤炭行业按照“四个革命、一个合作”能源安全新战略推进高质量发展。2020年2月，中国发布关于加快煤矿智能化发展的指导意见，明确提出到2025年大型煤矿和灾害严重煤矿基本实现智能化，到2035年各类煤矿基本实现智能化，明确要求将人工智能新技术与现代煤炭开发利用深度融合，实现传统煤矿的智能化转型升级。2.示范案例引导矿山智能化迈向更高水平2023年6月，为加快煤炭行业创新成果应用，国家能源局组织遴选并发布了全国煤矿智能化建设典型案例汇编（2023年），从信息基础设施、智能掘进、智能采煤、智能露天、智能运输、智能防灾、智能洗选等7个方向提出80项智能化煤矿生产建设典型案例，积极引导煤矿智能化建设迈向更高水平。以山东能源为例，作为山东省煤炭行业的龙头企业，自2020年9月全国煤矿智能化建设现场会召开以来，为落实“深化机械化换人、自动化减人，建设一批智能化示范煤矿”要求，树牢“少人则安、高效可靠、实用实效”理念，构建了三项机制，即规划标准引领机制、科学分类建设机制、定期考核评价机制；筑牢了四大支撑，即建好平台支撑、强化技术支撑、筑牢装备支撑、夯实人才支撑；坚持了五个着力，即着力打造示范矿井、着力推进少人无人、着力提升生产效率、着力强化信息建设、着力保障生命安全健康，通2.1 矿山智能化正稳步推进2.3 矿山智能化现状挑战2.2 矿山企业确立智能化发展战略11因此，煤炭行业需要一种更安全、更高效、泛化强、易维护、泛化强的模型解决方案，以应对煤炭行业复杂多变的业务场景，从而推动煤炭行业的智能化建设。针对单场景小模型方案的问题，华为推出矿山大模型解决方案，采用“1 4 N”总体架构，以分层解耦架构为特点，结合数据安全和隐私保护技术，利用无监督或自监督学习方法，从行业数据中提取知识，以满足煤炭行业不同业务场景的智能化需求。具体架构如下图所示：2.4 矿山大模型基于1 4 N 架构推动矿山智能化升级以矿山智能应用的开发视角分析单场景小模型方案，存在以下问题：开发效率低。当前大部分人工智能开发者是采用传统“作坊式”开发，针对每个碎片化场景独立地完成模型选择、数据处理、模型优化、模型迭代等一系列开发步骤，无法积累通用知识，且不同领域的调试方法不同，导致开发周期长、效率低。开发门槛高。人工智能开发的全生命周期包括问题定义、数据接入、数据处理、特征工程、模型训练、模型评估及发布、模型管理等环节，高度依赖人工智能专家的经验和算法能力，且当前人工智能领域开发者专业水平参差不齐，缺乏规范的开发流程和高效的调优技巧，需要专业人员持续支持。1个矿山一站式AI平台图 1 支持矿山企业业务板块智能生产模式创新矿山大模型卡扣式胶带接头损坏识别人员入侵立井提升重质密控焦化配煤防冲卸压N个矿山场景化模型4大盘古大模型能力L2场景化模型专业服务辅助运营训练平台推理平台资源调度框架引擎模型部署井下生产工作流安全监察工作流智慧决策工作流经营管理工作流L1场景化工作流物体检测图像分类视频分类异常检测语义分割目标跟踪实例分割姿态估计事件检测结构化数据预测L1开发套件L0视觉大模型预测大模型自然语言大模型多模态大模型科学计算大模型视图识别：分类|检测|分割智能决策：预测|优化|决策对话问答|文案生成|代码生成图文音视频理解：生成|编辑 科学计算：药物研究|气象研究网络存储计算华为云 Stack12“1”是矿山一站式AI平台：华为云面向煤炭行业的智能化推出一站式AI平台，提供全流程的大模型训练与推理服务，具备训练算法管理、作业管理、多开发框架支持、模型统一管理、服务按需部署能力，支持GPU、CPU资源调度与统一管理，帮助用户管理全周期AI工作流，助力应用开发者快速完成模型开发与上线，使能煤炭行业创新AI业务。“4”是矿山大模型的核心能力：L0层大模型由华为已投入大量算力、人力等资源，并基于海量数据预训练而来，包含视觉、预测、自然语言处理、多模态四大基础通用能力，参数已发展到千亿级别，泛化能力强，作为矿山大模型预训练的模型底座，华为拥有完全的知识产权。以L0层大模型为基础，华为面向煤炭行业开展深度合作，把煤炭行业的海量知识，如数百万张矿山图片，结合矿山通用场景，预训练出L1层矿山大模型，包括物体检测、语义分割等开发套件。这些开发套件可以对外授权，开放使用。L1层是煤炭行业的通用模型，能够与矿山具体业务场景结合，训练出L2层场景化模型。“N”是一系列应用于矿山具体业务场景的专属模型：通过遴选、调研矿山业务领域，选择合适类型的L1场景化工作流（以下简称工作流）。在获得授权情况下，可以选择合适的L1层开发套件（以下简称开发套件），否则工作流只能调用预制的开发套件。工作流定义了训练L2层场景化模型的整体流程，实现L2层场景化模型可视化、向导式的训练。L2层场景化模型的生产层面，会根据用户的模型大小需求，从预训练模型中抽取满足需求的模型结构和权重。然后根据数据特点，在抽取后的模型上进行算法调优，生产可分发、部署的推理模型。矿山大模型的优势在于它不仅能有效提升样本训练效率、降低样本标注的人力成本，还能与矿山业务应用深度融合，通过小样本快速训练出需要的场景化模型。同时，矿山大模型具有高泛化性和移植性，能适应矿山的不同业务场景。此外，矿山大模型实现了全栈自主创新，为煤炭行业智能化建设提供了综合解决方案。矿山大模型最佳建设实践14大型矿业集团在建设矿山大模型的过程中面临诸多挑战。由于下属矿山企业信息化程度不同、基础建设各异、技术团队能力参差不齐、对大模型的认识尚且不足，且矿山大模型作为新生事物，缺少行业内的标杆参照，这些因素都增加了建设过程的难度。在山东能源实践中，为了确保实践成功，我们提出以下关键措施：3.1 关键实践措施阐述1.做好顶层设计，集团中心统建，矿山边缘应用通过在（山东能源）集团层面集约化建设统一的矿山大模型，可以统一思想，通过顶层设计明确项目建设的权责，从全局视角拉通业务与技术，明确目标与措施，协同内部资源，实现多元知识的融合，构筑共享的AI能力，支持集团决策和运营，促进集团业务转型和创新发展。具体的规划设计如下图：图2 客户基于盘古矿山大模型，一站式开发场景模型6大业务创新集团总部中心训练盘古矿山大模型华为云 Stack一站式AI平台生产单位边缘推理AI边缘计算站点40 场景AI辅助煤流运输安全监管皮带跑偏识别人员入侵检测采煤转载装运异常AI智能控制卡扣式胶带接头的AI监测煤仓运行异常状态监控违规穿越皮带检测皮带发烟发火检测煤量分级估计皮带堆煤检测皮带异物检测卡堵预警水煤检测穿仓预警穿仓检测人员摔倒识别巡检合规性监测劳动保护用品穿戴规范性监测关键岗位行为状态监护人员误入危险区域皮带跑偏识别违规穿越皮带检测皮带堆煤检测人员摔倒识别煤量分级估计车辆检测皮带异物检测皮带发烟发火检测掘进安全智能监管其他行业可复制场景敲帮问顶动作监测危险区域人员安全监控临时支护有效性监测截割部落地监测顶板支护作业监测人员摔倒监测煤矿限员立井提升多绳摩擦提升系统尾绳运行监测立井提升井底堆煤监测人员出入井统计人员跟随检测防冲监管焦化煤炭智能洗选重介选煤分选密度智能控制选煤煤泥水浓缩加药智能控制采煤转载装运异常AI智能控制焦化配煤智能应用防冲卸压施工孔深监管关键岗位行为状态监护巡检合规性监测架空乘人装置规范性监控劳动保护用品穿戴规范性监测人员误入危险区域9大专业智能化采煤掘进防冲主运辅运提升安监洗选焦化模型部署样本反馈非正常即异常边学边用云边协同15云边协同是规划的显著特点，在中心实现统一的人工智能开发、训练和运维，训练获得的推理模型被分发部署到位于生产单位的边缘节点，以支撑业务场景应用。在AI服务推理过程中，在边缘节点完成数据获取、推理识别、告警处置的业务闭环，并可通过接口将异常样本回传到中心云，中心接收、存储异常样本，定期启动再训练，生成新版本的推理模型，并重新分发到边缘，形成飞轮效应，实现AI服务的迭代优化。2.结合场景技术选型，采用试点先行策略逐步建设矿山大模型的建设，需要深入了解业务需求和应用场景，分析业务数据特点，规划选用的基模型，适配开发套件，制定可行的技术方案。如防冲卸压场景，通过现场摄像头采集的视频数据开展业务，符合CV大模型能力范畴，经实验证明，钻杆识别准确率高于钻孔识别，适用事件检测开发套件，以此为基础进一步开展场景化模型的训练工作。矿山大模型的建设不是一蹴而就的过程，首先需要全面梳理矿山智能化场景，做好场景分类；然后选取具有代表性的业务场景进行应用试点，树立标杆；最后，横向不断推动新类型业务场景试点工作开展，纵向基于试点开发的模型成果，在更多同类型业务场景中推广应用。在山东能源的实践中，梳理的智慧化场景类型超过40个。以配煤为例，作为炼焦的核心工序，对通过大模型实现降本增效需求强烈，被列为先行试点场景，试点单位也选择了源煤类型多样、业务复杂的炼焦厂，以期通过试点发现和解决各种问题和不足，从而验证大模型的成效，为更广泛的推广和应用打下基础。3.实施标准化的工作流程，有序推进业务场景智能化建设制定标准化工作流程，涵盖需求分析、设计、开发、测试和试运行等各环节，不仅有利于提高场景智能化建设的效率，也有利于（山东能源）集团评估建设所需资源，厘清工作界面，提前开展资源筹备，合理规划进度，从而保障目标达成。矿山大模型建设实践的工作流程可以参考下图：场景业务调研建议人员：解决方案架构师、矿方专家核心工作：调研矿山的业务场景现状、业务流程、业务痛点、智能化价值、现场环境等 现场工勘建议人员：解决方案架构师、算法工程师、矿方专家核心工作：开展现场工勘，输出工勘报告，如对视频点位工勘、对摄像头安装给予指导等 方案设计建议人员：解决方案架构师、算法工程师、应用开发工程师、矿方专家核心工作：开展方案总体设计，含算法模型设计、应用设计、算法对接设计、系统集成对接设计等，输出相关文档后进行三方评审 模型部署调优建议人员：算法工程师核心工作：算法模型持续训练调优 工作流开发建议人员：算法工程师核心工作：开发业务场景下的工作流 环境准备及数据采集建议人员：矿方专家核心工作：组织现场环境整改，如调整摄像头位置；采集样本数据，确保数据满足算法需求 应用开发建议人员：应用开发工程师核心工作：开展应用开发，实现与算法模型的集成对接，输出场景化AI应用的需求说明 测试联调建议人员：算法工程师、应用开发工程师核心工作：在应用与模型算法之间，完成端到端的功能联调 试运行建议人员：业务场景建设、开发、运维、应用的相关人员核心工作：制定试运行计划，保障试运行系统稳定，结合问题持续微调、优化模型算法，收集用户反馈和建议，评估、总结试运行成果等16图3 矿山大模型建设实践的工作流程将“统一标准、统一架构、统一数据规范”落到实处，进一步释放智能矿山工业互联网在行业的价值，最终实现“煤矿工人穿西装打领带采煤”。总之，大型矿业集团建设矿山大模型是实现智能化转型升级的必然选择，有助于实现安全生产和降本增效的目标。我们将通过介绍矿山大模型在煤炭开采、煤炭洗选、煤炭加工三个关键工序中典型场景的应用，详细阐述我们的具体实践。1.防冲卸压煤炭生产过程中的井下作业是煤炭开采中最具挑4.智能矿山工业互联网“三个统一”架构是确保大模型建设取得实效的关键保障近年来，华为矿山军团和大型煤炭生产企业、行业伙伴在矿山智能化建设实践中，探索出“统一标准、统一架构”的智能矿山工业互联网作为煤矿智能化的必经之路，通过“统一数据规范”充分发挥数据作为核心生产要素的价值已经成为行业普遍诉求。华为矿山军团以“少人无人、安全、高效”采矿的愿景驱动，把握工业互联网的特点，与行业共同努力，基于“三个统一”落实“七大转变”推进智能矿山工业互联网建设，将数字技术深度融合到矿山生产流程中。为此，矿山军团不仅将持续投入技术创新，也将以更开放的平台，广泛联合生态伙伴和科研院所，共同服务于矿山智能化建设。同时，华为矿山军团还将分享自身技术，与行业优秀伙伴一道积极参与标准的完善，切实3.2 矿山典型业务场景的建设实践统一接口协议统一数据格式智能物联操作系统F5GIPv6 5GWi-Fi 6IoT工业承载网矿山工业互联网平台数字平台盘古矿山大模型开发使能 数据使能应用使能 集成使能安全生产中心决策指挥中心综合集控中心经营管理中心智能运维中心矿山数字孪生图4 煤矿工业互联网架构统一标准统一架构统一数据规范华为云 Stack17图5 矿山大模型和矿企应用协同、云边协同的智能化解决方案中心云（集团）工业环网边缘节点（矿山）边华为IVS3800视频云存算检平台防冲卸压AI模型（L2层）中心训练平台矿山一站式AI平台华为产品面矿山智能应用面边缘推理模型（Atlas人工智能计算平台）人工智能应用平台（矿端）人工智能应用平台（集团端）网端井下摄像头1视频流视频流样本数据抽取模型下发故障告警上报统计数据回传异常样本回传（边用边学）告警联动设备信号数据采集井下摄像头2视频流井下摄像头视频流井下反控摄像头（矿鸿）视频流控制信号控制流井下设备广播告警样本标注异常样本标注异常样本回传（边用边学）推理结果主动推送（边用边学）视频流战性和危险性的环节，尤其是采掘施工作业。这项作业环境艰苦，且工人流动性较大，因此安全问题尤为重要。在采掘施工过程中，预防冲击地压是重中之重，钻孔卸压是一种有效的防治方法，它能显著改善煤（岩）体的应力状态，降低冲击地压的风险。在钻孔施工中，钻孔深度是防冲卸压工程最关键参数，是人工核验的重点，通过矿山大模型，对钻孔施工情况进行实时监测，对钻孔深度自动核验，对孔深不足及时告警，避免漏检、迟检，可以显著提升矿山安全生产目标。挑战传统的防冲卸压施工监管方式，采用井下录制视频、井上对视频逐个进行人工核验。这种方式无法实时查看井下施工过程，针对突发情况难以做出反应。同时，人工鉴别视频，不仅审核工作量大，效率低，还会导致漏检或误检。此外，面对大量视频资料，监管人员也难以查询和统计钻孔卸压的施工质量。这都影响了防冲卸压施工监管的效率和准确性。方案针对防冲卸压场景，我们提出了一种基于矿山大模型和矿企应用协同、云边协同的智能化解决方案，方案设计如下图：18方案中，首先从井下摄像头的视频流中抽取训练样本，这些样本包含钻机、钻杆、施工人员取杆动作等信息，并对其进行标注。接着，在中心训练平台完成防冲卸压场景化模型的训练。训练好的推理模型被下发到矿山边缘节点，以实现卸压孔施工质量的智能化核验，同时对卸压钻孔进行工程统计。推理结果将通过服务接口推送（云鼎科技）已建的人工智能应用平台，由其进行业务处理。对于不合格的卸压工程，例如孔深不足等问题，人工智能应用平台将及时对现场进行声光数字化告警，甚至直接下发控制指令，以使物联设备自动停机。在日常运行过程中，如果出现误报或未知异常等样本数据，这些数据将经过标注处理后，推送回中心训练平台，定期对模型迭代训练，并重新下发，实现边用边学。整个过程中，仅需少量人工参与。成效矿山大模型在防冲卸压场景实践中，实现了显著的效果。首先，它减少了审核工作量，降低了约80%的人工审核工作量。其次，它实现了从隔天核验变为退杆结束后实时出结果，打钻深度不足时系统会发送告警，井上冲击地压监控中心可以实时查看井下工程作业情况。最后，它的使用也十分方便，可以对所有卸压工程进行100%审核，并自动记录和跟踪识别结果，方便按照卸压工程地点和时间进行快速查找和统计。2.重介密控煤炭洗选是煤炭生产过程中的重要环节，对于清洁生产、节能减排以及提高煤炭价值具有关键作用。重介质分选法因其高效分选、强适应性和低密度分选等优点在煤炭洗选生产现场广泛应用。然而，重介分选密度控制一直是难点，过去依赖人工经验，且缺乏可靠的数据分析系统，容易导致分选指标异常、精煤回收损失，影响到选煤的经济效益。现在，通过矿山大模型实现密度控制智能化，利用预测模型推送设定密度值，能够保证产品质量并提高精煤产率。挑战重介分选系统通过对各个洗选模块的参数进行精细化控制，确保洗选质量的稳定性和可靠性。然而，选煤厂在控制参数调整方面仍面临三大挑战:一是选煤厂多，入选煤种齐全，产线结构多样，工艺基本涵盖了国内所有主导选煤工艺，因此参数调整依赖于个人经验，这导致集团整体上缺乏一致性，洗选质量参差不齐，难以统一标准；二是参数的调优过程需要大量反复迭代，导致调优效率低、成本高，三是人工经验只能提供粗略调整，无法寻找到最优的经济效益控制参数。近年来，智能化选煤厂建设在自动化、信息化方面取得了较大地提高，但在智能化方面可借鉴的成熟技术相对较少。特别是在重介分选密度控制系统利用智能化技术实现产品质量精准控制和增产提效方面，业界虽有探索，目前尚无成功案例，缺少相关经验参考。方案重介分选密度控制系统智能化的关键是构建重介密控算法模型，利用算法模型的预测能力，对生产数据实时分析，预测出最优的工艺参数组合。同时，算法模型要具备自学习能力，不断进化，在保证产品质量的前提下，实现增产提效的目标。我们的解决方案如下图所示：19重介密控模型被分为训练态和推理态两部分。训练态主要负责数据收集、样本构建、模型训练和部署等任务。推理态则负责数据预处理、算法推理、优化求解和最优参数下发等任务。在训练阶段，我们以生产机理和生产数据为基础，通过对煤质、生产工艺和生产数据的深入分析，构建出适应选煤厂需求的重介密控算法模型。在推理阶段，我们以实时生产数据为输入，包括灰分和煤量、介质入料压力、重介悬浮液密度、磁性物含量、精煤的灰分和煤量等数据，利用模型的分析预测能力，提供最优的工艺参数组合。这些参数组合再与矿端智能应用系统整合，通过生产控制系统将结果应用于生产过程中。重介密控算法模型是L2层场景化模型，它是通过L1层结构化数据预测开发套件训练生成，其底层依赖于预测大模型能力。预测大模型由两部分构成:基模型选择和图网络融合。首先，通过基本算法，产生一组候选算法和搜索空间。然后，使用超参数搜索算法来找到最佳的超参数，并将基模型输入到层次网络中进行训练。层次网络的输出会被再次用作下一次基模型选择和超参数搜索的输入。这个过程会重复多次，以便从多个基模型中得到层次网络的输出。最后，通过图神经网络对这些输出进行聚合，以得到最终的预测结果。同时，如果需要，也可以通过添加基础算法算子的方式，将其它训练好的基模型加入到预测大模型中，进行图神经网络的汇聚，而不需要修改其它的基模型和层次网络，以及图神经网络的结构。得益于此，重介密控算法模型具备强大的自学习能力。它可以吸收各种结构化生产数据，持续自我更新，迭代出新的算法模型，以适应生产条件的改变，并能够在众多选煤厂开展推广。成效重介密控场景的实践，是盘古预测大模型技术首次用于选煤生产，对重介密控参数的预测为行业首创，效果达到了国家智能化选煤厂验收办法智能分选的要求。该技术的应用有效保证了产品质量，提高了精煤产率。原煤检验数据精煤检验数据生产过程数据图6 构建重介密控算法模型模型训练：数据知识 专家知识 机理知识模型推理：智能工艺参数推荐 数据知识根据目标切换不同优化模式多目标智能优化决策数据接收数据处理模型预测模型评估模型更新控制决策 决策服务重介密控预测模型 预测服务专家知识机理知识 最优工艺参数反馈20图7 焦化配煤智能化方案数据加密脱敏业务系统库存数据销售数据运营数据机理&经验对象存储服务OBS工艺数据煤化度数据灰成分数据黏结性数据其他检验数据原料煤/配煤数据数据预处理焦化配煤模型求解模型特征工程模型构建一站式AI平台焦炭数据基本组成成分指标数据冷强和热强指标数据边侧（焦化厂）中心云焦炭质量预测配煤比例优化自动配比API接口业务智能多域协同决策人工智能使能云上数据管理数据整合3.焦化配煤焦炭是焦化行业炼焦的产物，炼焦是煤炭加工产业的重要部分。近年来，由于上游炼焦煤资源稀缺和价格上涨，以及下游钢厂对焦炭高质量和稳定性的要求提高，给焦化厂带来了巨大的成本压力。焦化厂的成本中，配煤成本占80%以上，传统配煤技术依赖人工经验，只有几个固定函数关系，实现成本和质量兼顾，具有挑战性。为了解决这些问题，我们通过矿山大模型构建人工智能配煤系统，实现了智能配煤，提高了配煤的准确性和稳定性，达到了降本增效的目标。挑战炼焦生产的炼焦煤煤种多杂，其中焦煤和肥煤品质较好，但稀缺且价格较高，占炼焦煤比重仅约 1/3。实际生产中需要通过配煤，将多煤种按适当比例配合，这直接影响到炼焦主要产品焦炭的质量。然而，焦炭质量的预测目前主要依赖于人工经验或小焦炉试验。人工经验配煤易导致质量波动，难以沉淀配煤经验。小焦炉试验时间长达1-2天，且只能做定性分析。同时，人工配煤在成本和质量之间往往难以实现最优平衡，为保证质量达标，原料煤配比趋于保守，从而增加炼焦原料成本。此外，国内煤炭资源虽丰富但地域差异明显，仅凭人工经验难以及时调整配煤结构，这限制了用煤范围的扩大。方案焦化配煤智能化核心要解决三个目标，即焦炭质量预测、配煤比例优化和自动配比，我们提出的方案与重介密控场景类似，基于预测大模型能力训练出焦炭质量预测模型，但为了快速获得配煤的最优解，还需要构建求解模型来计算，解决方案如下图所示：21部署到焦化厂边缘节点的焦化配煤业务系统，首先将运营数据、焦炭数据、原料煤、配合煤及工艺参数等结构化采集、处理、整合，然后以脱敏加密的方式上传到中心云的对象存储中，用于训练焦化配煤模型和预测焦炭质量使用，业务系统在生产过程中调用中心的API接口，实时获取焦炭质量预测、配煤比例优化和自动配比结果，以实现配煤的智能化。为获得质量和成本平衡的最优解，要考虑所有配煤场景的制约因素和动态变量的交叉及融合,非常复杂。求解模型将运筹学和AI相结合，可以根据上传数据结合配煤师配比方案高效计算出优化配比，并结合焦化配煤预测模型，生成优化前后两个方案产出焦炭的质量指标，由配煤师确认结果，并决定最终下发生产的配煤方案。成效以矿山大模型为基础建设的智能焦化配煤系统，应用于炼焦厂后，切实达到了降本增效目标，炼焦配比验证时间从1至2天缩短至1至2分钟，平均每吨配合煤成本可节约数元。同时，通过端到端的数据的打通、采集、存储，为焦化厂提供了可追溯、可分析的数据，为原料煤采购、煤种选择和煤质评估提供了数据支撑。此外，该系统还辅助了新配煤师快速上岗，扩展了老配煤师的思路，提升了煤种选择的广度。矿山大模型涉及大量的训练数据，同时也会累积众多场景化模型，这些数据和模型都是矿山企业的重要资产，围绕数据和模型的全生命周期，我们构建了安全保障方案，包括以下方面：数据采集：数据生产和采集环节的数据体量大、种类多、来源杂，需要建立数据分级分类管理制度进行管理，对敏感数据进行识别和脱敏处理。同时对数据中可能存在的含偏样本、伪造样本、对抗样本实现过滤，从而保障数据生产安全。数据传输：数据传输过程，需要采用安全传输协议，并对数据进行加密处理，保障数据传输安全。数据存储：运用高效的加密算法对数据进行加密存储，防止未经授权访问、修改或破坏数据等安全问题。部署密钥管理服务，实现密匙全生命周期安全管理。同时通过集群容灾、数据备份和硬盘保护等多种策略保障数据存储安全。数据访问：采用多因子认证机制，对用户身份进行验证和授权，防止因为数据的恶意非法访问，而导致数据泄露、窃取、滥用等严重后果。数据使用：针对数据使用的安全问题，可采用数据匿名化、数据脱敏等技术，保障数据在授权范围内被访问、处理，防止数据窃取、隐私泄露、损毁等安全问题发生。数据销毁：采用数据关联销毁、软销毁与硬销毁结合的方式，彻底销毁或删除数据，防止数据销毁不彻底、数据内容被恶意恢复等情况。模型加密防窃取：使用对称加密算法对参数文件或推理模型进行加密，使用时直接加载密文模型完成推理和训练。模型动态混淆技术防窃取：使用控制流混淆算法对模型的结构进行改造混淆，使得混淆后的模型3.3 数据安全和模型安全实践22即使被窃取，也不会泄露真实的结构和权重。在模型使用时，只要传入正确的密码或者自定义函数，就能正常使用模型进行推理，且推理结果精度无损。模型防攻击：通过对抗样本监测和对抗训练，提升模型安全性。同时，通过差分隐私训练、抑制隐私保护机制，减少模型隐私泄漏的风险。矿山大模型最佳运营实践24为更多业务应用赋能，仍需要厂商（华为）的专业支持，从技术、产品、方案方面给予专家指导。最后，矿山大模型在建设和运营期间，会沉淀、积累大量数据和模型，底层L1层大模型会不定期升级，L2层众多场景化模型需要持续构建、迭代训练和对外提供服务，需要建立起模型运营机制，以有效运营管理这些资产。为保障矿山大模型运营工作的开展，我们建立了运营组织，由集团公司（山东能源）、运营公司（云鼎科技）、华为共同组成。集团公司负责运营的总体统筹和决策，提供智能化场景支持、业务专家指导和集团政策支持；运营公司作为运营主体，负责运营的日常管理、工作开展、运营场景模型的开发和交付；华为提供辅助运营支撑，参与到运营管理中，为运营公司持续赋能，提供技术专家支撑。组织构成和责任分工如下图：矿山大模型具备巨大潜力，需要通过持续迭代和不断进化去挖掘。这就要求矿山企业必须重视对矿山大模型的持续运营，构建起常态化运营体系。日常，能够根据业务需求，快速生成满足要求的算法模型，促进矿山企业降本增效和安全生产。同时通过智能化管理，实现从事后被动管理向事前主动管理的转型，并不断扩展在众多领域的应用，以提升企业的科技影响力，促进企业数字化转型。矿山大模型在矿山开展运营实践，面临着一系列的挑战。首先，推动矿山大模型在集团（山东能源）下属众多厂矿应用，并与各领域生产经营业务深入结合，需要新建立强有力的运营组织进行保障。其次，矿山企业缺少AI专业人才，伴随矿山大模型深入应用，这需要做好运营规划，评估人才缺口，建立起有效培训机制，同时，也要注重引入外部优秀资源，帮助企业完善智能化能力。然后，随着矿山大模型不断在新场景中应用,4.1 目标与挑战4.2 运营组织体系建设实践图8 矿山大模型运营组织构成和责任分工人工智能管理中心运营中心运维中心构成单位：运营公司（云鼎）职 责：运营中心总体管理运营经理构成单位：运营公司（云鼎）职 责：运维中心总体管理运营经理构成单位：集团（山东能源）/运营公司（云鼎）/华为职 责：整体运作与管理项目管理办公室PMO构成单位：运营公司（云鼎）/华为职 责：技术团队管理和能力建设技术管理办公室TMO业务拓展组构成单位：运营公司（云鼎）职 责：场景拓展、业务协调和满意度管理等持续运营组构成单位：运营公司（云鼎）职 责：解决方案设计、技术支持、模型训练、使用、管理服务监控台构成单位：运营公司（云鼎）职 责：巡检监控、故障受理和跟踪、服务质量管理云服务运维组构成单位：运营公司（云鼎）职 责：平台运维，保障应用安全可靠运行和持续优化网络运维组构成单位：运营公司（云鼎）职 责：网络、安全运维，组网方案输出25矿山大模型并非一成不变，而是持续在进化。首先，L1层大模型是经过华为预训练而来，在系统中体现为开发套件，是训练L2层场景化模型的基础。L1层大模型会不定期迭代升级版本，以持续提升矿山大模型的能力。L1层大模型迭代更新后，需要使用新版开发套件，对已有L2层场景化模型重新训练，并下发使用，因此影响范围较大。然后，L2层场景化模型，不仅受开发套件迭在运营实践中，华为打造了一套矿山大模型专业服务体系，开展辅助运营，帮助集团（山东能源）和运营公司（云鼎科技）构建起矿山大模型的持续运营能力。具体如下图所示：专业服务具体被划分为五个类别:基础运营、产业赋能、人才培养、生态发展和运维。基础运营是矿山大模型运营的基本内容；产业赋能为矿山企业提供专项技术支持，以促进企业利用大模型的能力；人才培养包括认证体系和培训班，旨在培养和识别人才，并赋能集团和运营公司的各层人员；生态发展则是与外部建立连接，以获取外部运营支持，扩大行业视野，实现跨领域合作；运维服务可以由华为提供驻场支持，为矿山大模型的正常运行保驾护航。4.3 专业服务体系建设实践4.4 模型运营管理实践图9 矿山大模型专业服务体系运营体系规划产品运营客户运营伙伴运营安全运营数据运营运营支撑基础运营产业圈层数据圈层院士引入产业峰会展厅策划沙龙/大赛圆桌座谈生态发展人工智能总裁班工业智造专家班人工智能专家班人工智能高研班开发者培训师资培养华为云人工智能工作级开发者认证华为云人工智能入门级开发者认证人才培养客户支持及专项服务运维驻场服务运 维煤炭行业AI咨询设计矿山大模型技术支持订阅L1行业大模型开发L2场景化模型开发AI应用集成支持服务应用/模型迁移支持服务应用/模型开发支持服务一站式AI平台开发支持服务产业赋能（技术支持）运营期26代影响，为了实现边学边用，降低误识别和误告警率，并提高模型精准率，同样需要定期迭代升级。因此各层模型都需要不断迭代更新，这是运营工作的重点，需要建立工作机制进行规范。经过实践，我们建议的工作机制如下表：图10 矿山大模型工作机制规范迭代流程发起知会相关生产单位，反馈本周期内新场景样本、难例样本等数据样本收集各相关生产单位，将数据反馈给运营公司（云鼎），运营公司做好数据收集，版本归档样本标注运营公司（云鼎）将收集的样本数据，按AI场景类别，进行数据标注新增样本收集到训练数据集运营公司（云鼎）需将标注好的数据集，分类汇总，及时归纳到训练数据集启动训练运营公司（云鼎）协调好中心云训练资源后，启动训练，如果是L1大模型迭代，还需要利用新版本的开发套件全部重新训练L2层场景化模型模型评估运营公司（云鼎）需对新版本大模型进行技术评估，如果是L1大模型迭代，需验证基于此版本训练的L2模型是否能覆盖新场景、新难例数据版本归档运营公司（云鼎）对当前大模型版本修复情况进行说明，并做好归档推广使用运营公司（云鼎）应在后续L2层场景化模型训练时，据实按需选择最新版本的开发套件进行训练阶 段建议工作矿山大模型最佳商业实践28矿山大模型帮助企业智能化转型升级是一个系统工程，在商业模式上，需要符合参与各方的诉求，建立长效合作模式。以在山东能源的实践为例，山东能源、云鼎科技、华为作为实践过程中的主要参与方，梳理了各自核心诉求，清晰了各自定位，明确了各自角色职责，制定建设规划与预算，分阶段建设，对内持续拓深、拓宽智能化场景，加速智能化建设，对外形成合力，通过能力外溢，形成行业影响力，助力行业开展矿山大模型实践。矿山企业（山东能源）的定位山东能源是矿山大模型方案的投资方，其对煤炭行业的需求和痛点是实践开展的前提，同时也是实践成功的受益者。山东能源高层领导全力支持5.1 拓展创新利益联结机制，协同共生、合作共赢矿山企业（山东能源）应用盘古大模型，为数字化、智能化转型提速增效华为盘古大模型平台、算力、技术提供商第三方技术公司（云鼎科技）盘古大模型煤炭行业解决方案和服务提供商山东能源诉求深化机械化换人、自动化减人，建设一批智能化示范煤矿持续推动智能化建设提档升级云鼎科技诉求打造一流的能源行业数字化解决方案提供商成为煤炭行业的“宝信”华为诉求盘古大模型致力于深耕行业，打造煤炭、金融、政务、制造、气象、铁路等领域行业大模型和能力集，将行业知识know-how与大模型能力相结合，重塑千行万业，成为各组织、企业、个人的专家助手图11 拓展创新利益联结机制了矿山大模型的实践，关注矿山大模型的价值、商业模式和风险控制，明确将矿山大模型作为企业智能化升级转型重点建设方向；各级领导积极推动，实地考察大模型成功案例，论证技术大方29大模型的大参数、大数据、大算力特性，注定矿山大模型高投入的特性，针对行业客户特点，华为提供了三种矿山大模型落地途径：途径一：大型矿业集团企业“自己做大厨”大型矿业集团企业（山东能源）拥有庞大的数据资源，面临各类严格的行业监管，对数据安全有着较高的要求，建设私有化部署的矿山大模型可以充分利用企业数据，沉淀行业经验，提升自身智能化能力，从而在市场竞争中占据优势地位。矿山大模型在山东能源的实践过程中，山东能源在中心全套投建了华为云Stack云底座、矿山一站式AI平台，本地化部署了L1层矿山大模型，由第三方技术公司（云鼎科技）、华为共同面向业务领域建设L1场景工作流和定制行业开发套件，并训练生成L2层场景化模型，分发、部署推理模型到矿山端侧，辅助实际生产。途径二：大型矿业集团企业自加工“预制菜”不同于途径一，不支持矿山企业自主开发L1场景工作流，第三方技术公司采用华为预制的L1场景工作流和通用开发套件，帮助矿山企业完成L2层场景化模型的训练、开发，帮助矿山企业完成L2层场景化模型的训练、开发，部署推理模型到矿山端侧，辅助实际生产。途径三：中小型矿山企业“下饭馆”考虑中小型矿山企业难以承担途径一、途径二的高投入，华为构建了基于公有云运营的矿山大模型商业模式，构建煤炭行业AI算法“1 N统一大市场”，在华为公有云部署大模型基座版本，中向可持续，梳理痛点需求，选取典型落地场景；山东能源积极的态度和合作精神，为实践的成功提供了有力保障，通过实践也为煤炭行业提供新的解决方案和发展方向。华为的定位华为是矿山大模型平台的提供商，提供超大规模人工智能模型训练平台和先进的基础设施，专注矿山大模型的产品研发、升级，提供大规模算力，完成海量数据的预训练，持续开展前沿技术探索和研究，保持大模型平台的先进性。华为提供算力平台、云服务、开发套件和专业服务等完整的AI生产链，积极寻求与深耕行业的服务商合作，将行业知识know-how与大模型能力相结合，通过合作共赢，为行业客户创造价值，携手做大、做强行业市场。第三方技术公司（云鼎科技）的定位云鼎科技是矿山大模型实践的服务提供商，在实践中，云鼎科技充分发挥自己对行业深刻理解的优势，帮助华为开发矿山定制化的解决方案，并提供了专业的技术支持，使山东能源能够有效地应用矿山大模型。云鼎科技依靠华为在人工智能、大模型上的平台赋能、技术赋能，专注于打造大模型L2层场景化方案，不断挖掘煤炭行业需求，帮助山东能源用好、用深大模型，帮助华为识别实践中有价值的需求，促进盘古大模型持续的技术创新。同时在矿山大模型的实践过程中，云鼎科技以盘古大模型作为自身产品智能化的基座，孵化行业通用解决方案，深化与华为的伙伴关系，共同推进行业市场的拓展，努力向打造一流的能源行业数字化解决方案提供商迈进。5.2 面向煤炭行业构建三种矿山大模型落地途径30小型矿山企业根据自身需求，在公有云上购买训练、推理服务，订阅模型，集成到自身的智能化应用中去，完成企业智能化建设。矿山大模型的成功实践，需要矿山企业从战略、组织上做好转型准备，通过三步标准动作完成商业落地。1.组织洞察矿山大模型的商业实践是为了实现煤炭行业的数字化和智能化转型，这需要矿山企业在战略层面同样以此为目标，把智能化转型作为提高生产效率、降低成本、提升安全性的途径。以山东能源为例，山东能源构建的“三项机制、四大支撑、五个着力”是矿山大模型成功实践的基本保障。矿山大模型的实践，因为其创新性，以及对企业工作方式的深刻改变，势必面临众多挑战，需要客户高层充分理解和支持，与华为达成战略合作5.3 实现战略、组织匹配，标准动作推动落地意愿或签署战略合作协议，做好中长期规划、预算，高层参与推动，这是实践成功的重要保障。2.专项调研、公有云PoC验证大模型全面建设前，企业可以选择拨出预算开启PoC验证，验证方式可以选择在公有云开展，期间全面梳理企业人工智能建设的现状、诉求、痛点及需求，内部达成共识，明确PoC的范围、验收标准。矿山大模型在山东能源的实践中，联合团队做了充分的调研，确定了联合创新课题方向，通过PoC验证了矿山大模型小样本能力、泛化能力、样本筛选能力和新场景算法精度等。3.规划设计、集团统建大模型项目落地前，企业要通盘考虑大模型在企业中的落地、布局，做好规划预算。矿山大模型在山东能源的实践中，确认了大模型的价值后，确立了集团统建，混合云部署，二级公司、矿山边缘推理应用，云边协同的建设方向。联合华为、云鼎，完成了战略对齐，梳理了大模型的业务架构、信息系统架构、技术架构及演进思路，然后根据需求给出详细部署方案，通过了三年的预算规划。矿山大模型为“AI for Industries”提供最佳实践指导32台统一纳管，填补大模型的空白领域；二是可以与大模型融合，如预测大模型在模型融合阶段，可以加入已有的小模型算法；三是可以通过大模型训练小模型，提升小模型的能力。矿山大模型实践表明，虽然建设阶段投入了大量资源，但是建成后，仍需要通过持续运营，不断发现和解决模型存在的问题，不断优化和改进模型，推进“边用边学”，持续沉淀集团经验知识。同时，只有通过持续运营，才能将大模型与企业的各业务板块进行深度融合，实现大模型在各业务板块广泛应用。只有在广泛应用的基础上，才能充分发挥大模型的价值和潜力，才能推动企业的数字化、智能化转型的加速实现。华为云打造的盘古大模型，是为行业而生，这里的行业是千行万业，这决定了华为在深耕行业过程中，重心是为行业提供大模型的平台、算力、技术，寻求与深谙行业的伙伴合作，通过对伙伴进行平台、技术赋能，帮助伙伴构筑基于盘古大模型的方案能力、产品能力、运营能力，借助伙伴的力量，实现在行业场景下的精耕细作，为行业客户提供专业服务，助力达成企业智能化战略目标。大模型具备的泛化性能力，使其具备在不同场景下的通用性。矿山大模型通过实践，证明基于一套大模型底层框架，可以帮助集团企业实现经验、模型在内部的共享、共用。同时，通过在中心平台为二级公司开设“租户”账号，二级公司可以自行开展模型训练，通过推理模型下发，实现二级公司边端推理，这又保持了二级公司的自治性。大模型初始建设投入大，其中训练成本的占比最大，而训练平台十分适合中心化建设。集团建设统一的大模型底层框架，在中心部署大模型训练的算力平台，二级公司及产线仅需在边端部署推理机，无需独立承担数据、算法、算力的高门槛，专注于场景的智能化建设，从而实现企业智慧化建设的集约化。大模型有多种形态，包括自然语言、视觉、预测、科学计算和多模态等基础大模型，每种形态适应不同业务领域，矿山大模型实践证明，根据业务适配不同的基础大模型十分重要，需要充分考虑业务场景特点、训练数据特性、模型扩展需求等多方面因素。矿山大模型实践过程中发现，企业在AI建设方面已经累积了众多成果，这些小模型的AI成果在大模型出现后，并非是要被全面替代，而是可以继续发挥自己的价值，一是可以由一站式AI开发平6.1 “大一统”模式构筑企业智能化基座6.2 模型与业务适配，大小模型协同发展6.3 通过持续运营，释放大模型的价值与潜力6.4 开放思维合作共赢，赋能伙伴成就客户33版权所有 华为技术有限公司2023。保留一切权利。非经华为技术有限公司书面同意，任何单位和个人不得擅自摘抄、复制本手册内容的部分或全部，并不得以任何形式传播。免责声明商标声明 、华为、是华为技术有限公司商标或者注册商标。在本手册中以及本手册描述的产品中，出现的其它商标，产品名称，服务名称以及公司名称，由其各自的所有人拥有。本文档可能含有预测信息，包括但不限于有关未来的财务、运营、产品系列、新技术等信息。由于实践中存在很多不确定因素，可能导致实际结果与预测信息有很大的差别。因此，本文档信息仅供参考，不构成任何要约或承诺，华为不对您在本文档基础上做出的任何行为承担责任。华为可能不经通知修改上述信息，恕不另行通知。扫码了解更多扫码获取电子版

0人已浏览 2023-12-11 35页 5星级

请务必阅读正文之后的免责声明及其项下所有内容证券研究报告证券研究报告|20232023年年1212月月0707日日超配超配AIAI 终端行业专题终端行业专题从大模型到智能体，端侧算力助力从大模型到智能. 

0人已浏览 2023-12-11 28页 5星级

西南证券研究发展中心西南证券研究发展中心 通信研究团队通信研究团队 20232023年年1111月月 人工智能专题研究 LPO光模块 1 2 4 核心要点 算力成为AI时代主引擎，高速光模块持续放量。.

0人已浏览 2023-12-11 31页 5星级

本报告由中信建投证券股份有限公司在中华人民共和国（仅为本报告目的，不包括香港、澳门、台湾）提供。在遵守适用的法律法规情况下，本报告亦可能由中信建投（国际）证券有限公司在香港提供。同时请务必阅读正文之.

0人已浏览 2023-12-11 82页 5星级

大模型大模型可信赖研究报告可信赖研究报告（2 2023023 年）年）上海商汤智能科技有限公司中国信息通信研究院云计算与大数据研究所2023 年 12 月版版 权权 声声 明明本报告版权属于上海商汤智能科技有限公司与中国信息通信研究院，并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的，应注明“来源：上海商汤智能科技有限公司和中国信息通信研究院”。违反上述声明者，编者将追究其相关法律责任。编编 制制 说说 明明本研究报告自 2023 年 09 月启动编制，分为前期研究、框架设计、文稿起草、征求意见和修改完善五个阶段，针对大模型可信赖问题面向大模型的技术提供方、服务应用方开展了深度访谈和调研等工作。本报告由上海商汤智能科技有限公司和中国信息通信研究院云计算与大数据研究所共同撰写，撰写过程得到了人工智能关键技术和应用评测工业和信息化部重点实验室的大力支持。本报告主要贡献单位(排名不分先后)包括:蚂蚁科技集团股份有限公司、阿里巴巴集团、阿里云计算有限公司、北京百度网讯科技有限公司。前前言言近年来，深度学习技术取得了突破性进展，大模型作为其中的典型代表，已经在自然语言处理、图像处理、多模态应用等领域取得了令人瞩目的成果，为经济社会发展带来新机遇。但随着大模型应用规模扩大、应用场景拓展，其风险问题也逐渐凸显，如安全漏洞、隐私泄露、易受攻击、偏见歧视、侵权滥用等，如何有效防范治理大模型风险、推动大模型可信落地引起社会各界高度关注。全球各界对大模型的可信赖问题展开了广泛的探索研究。在国际层面，政府间国际组织从人工智能伦理准则等基本共识出发，逐步深入推动大模型政策法规监管和产业治理实践落地。在国家层面，各主要经济体正加快推进大模型治理监管相关政策制定步伐。在产业层面，各行业机构与科技企业积极关注大模型风险，通过行业自律、技术及管理等具体实践措施推进大模型可信赖落地。本报告重点针对产业界大模型可信赖实践开展研究。首先，重点梳理了大模型发展现状，点明大模型的风险来源。其次，从大模型涉及的关键要素和可信维度出发，全面分析大模型面临的各项风险并进行整理归纳，形成大模型风险全景视图。再次，针对大模型在框架、数据、模型和生成内容等层面的风险，系统梳理了产业界保障大模型可信赖的关键举措。最后，本报告指出了当前大模型可信赖发展面临的问题及挑战，从多个维度提出了参考建议。大模型与行业融合正不断加深，风险问题仍在不断暴露，相应的可信赖实践也在持续涌现。本研究报告对大模型可信赖实践的认识和理解还有待加强，报告中如有不足之处，还请各方专家读者不吝指正。目目录录一、大模型发展现状.1（一）大模型驱动新一轮科技革命.1（二）大模型加速赋能产业应用.1（三）大模型可信赖备受关注.3二、大模型风险分析.7（一）大模型风险视图.7（二）框架层面，软件漏洞是现有深度学习框架短板.8（三）数据层面，隐私风险与有害数据导致模型不可靠.9（四）模型层面，提示词攻击诱发模型脆弱性风险.11（五）生成内容层面，安全风险和不可追溯是重点难题.14三、大模型可信赖实践.17（一）框架层面，可信框架与执行环境保障运行安全.17（二）数据层面，安全检测及处理助力大模型可靠.19（三）模型层面，全流程防控增强大模型可信.21（四）生成内容层面，过滤与标识实现内容可控可问责.25四、总结与展望.27（一）总结.27（二）展望.28附录.31可信赖实践案例 1：商汤科技 SenseTrust 可信 AI基础设施.31可信赖实践案例 2：蚂蚁集团蚁鉴 2.0-AI安全检测平台.35可信赖实践案例 3：阿里巴巴生成式人工智能发展与治理探索.37可信赖实践案例 4：百度大模型安全解决方案.40图图 目目 录录图 1 2023年企业大模型可信赖实践汇总.7图 2 大模型可信赖实践方案.8图 3 微软“Bing Chat”提示泄露事件.12图 4 大模型健壮性风险.13图 5 大模型预训练阶段的长尾问题.14图 6 数据安全沙箱技术.20图 7 商汤伦理风险分类分级管理评估.22图 8 思维链技术.24图 9 大模型“机器 人工”内容审核机制.27图 10 数字水印技术流程图.27图 11“SenseTrust”商汤可信 AI基础设施.31图 12 蚁鉴 2.0-AI安全检测平台.35图 13 阿里巴巴生成式 AI治理实践及探索概览.37图 14 百度大模型安全解决方案.40图 15 百度大模型内容安全与评测体系.411一、一、大模型发展现状大模型发展现状（一）（一）大模型驱动新一轮科技革命大模型驱动新一轮科技革命近十余年间，人工智能技术泛化能力、创新能力及应用效能不断提升，成为了推动经济及社会发展的重要引擎。2015 年前后，人脸识别算法达到接近人眼的识别能力，被视为人工智能技术工业级应用水平的代表性事件。2022 年，以 ChatGPT 为代表的大模型为用户带来了全新交互体验。通过其在内容生成、文本转化和逻辑推理等任务下的高效、易操作表现，大模型正逐步成为当前主流应用程序的重要组成部分。随着数据、算法和算力的不断突破，大模型将不断优化演进。在数据方面，海量、多模态数据将持续应用于大模型预训练，提升大模型的知识、理解和推理能力。在算法方面，将转向跨知识领域、跨语种、多模态特征的海量知识挖掘及执行等复杂任务的处理。在算力方面，智算中心及算力网络等基础设施加速建设，为大模型的开发和服务提供充足性能支持。到 2026 年，Gartner 预测超过 80%的企业将使用生成式人工智能的 API 或模型，或在生产环境中部署支持大模型应用。以通用智能体、具身智能和类脑智能等为代表的大模型应用可能会带来新一轮的科技革命和产业变革。（二）（二）大模型加速赋能产业应用大模型加速赋能产业应用“大模型 ”模式加速应用赋能，助推人工智能产业升级。当前，人工智能已经成为全球新兴技术领域的核心竞争力，各国政府加快2研发、部署人工智能技术，推动产业高速发展。据统计1，我国人工智能核心产业规模已达 5000 亿美元，企业数量超过 4300 家。2023年始，我国大模型市场火爆，百度、商汤科技、科大讯飞、阿里巴巴等单位先后发布自研大模型，并于 2023 年下半年逐步面向用户提供服务。大模型广泛应用于能源、金融、教育、医疗、交通、政务等领域，主要应用场景聚焦数据分析、客服、营销、办公等。其中，以能源、金融为首的两大行业结合行业数据建设基础，积极布局大模型应用落地，加速行业智能化转型。大模型技术生态逐步完善，大幅降低行业应用门槛。一方面，开源大模型加速大模型应用渗透，打通预训练、微调、部署、评测等开发阶段，进一步降低大模型研发应用成本。2023 年 7 月，上海人工智能实验室正式开源了书生浦语大模型 70 亿参数的轻量级版本 InternLM-7B，并推出首个面向大模型研发与应用的全链条开源体系，同时提供免费商用，受到了学术和产业界的广泛关注。同年 7月，OpenAI 向用户正式开放了代码解析插件 Code Interpreter，使得ChatGPT 和 GPT-4 可以根据用户问题来编写和执行代码，从而拓展了模型在数据分析、复杂计算与功能调用方面的能力。另一方面，大模型正在逐步向智能体方向进化，从理解生成迈向复杂任务处理能力。通过将大模型与动作执行器结合，智能体可以在接受用户输入后，通过大模型进行规划和决策，并对第三方插件或工具进行调用，从而实现复杂的任务处理能力，进一步降低了应用门槛。1https:/ 年 11月，联合国教科文组织通过了人工智能伦理问题建议书，旨在促使人工智能系统造福人类、社会、环境和生态系统、防止危害，同时促进和平利用人工智能系统。2023 年 6 月，联合国秘书长安东尼奥古特雷斯明确提出计划在今年年底建立一个国际人工智能监管机构，定期审查人工智能治理工作。2023 年 11月，在英国人工智能安全峰会期间，包括中国、美国、英国等 28个国家和欧盟共同签署了布莱切利宣言，确保人工智能以人为本、值得信赖并负责任，通过国际伦理和其他相关倡议促进合作，应用人工智能带来的广泛风险。同年 11月，世界互联网大会发布了发展负责任的生成式人工智能研究报告及共识文件，就发展负责任的生成式人工智能提出十条共识。在标准4方面，ISO/IEC JTC1/SC42 人工智能分委会正在开展人工智能可信赖国际标准研制工作，为指导利益相关方研发、使用可信赖人工智能相关技术和系统提供参考，主要标准包括 ISO/IEC TR 24028:2020人工智能的可信赖概述、ISO/IEC 38507:2022组织使用人工智能的治理影响等。全球主要经济体加快推进大模型治理和监管相关政策制定步伐。中国在人工智能监管方面主张“包容审慎的分类分级监管”原则，国家网信办已于 2023 年 7 月 10 日颁布了首部面向大模型监管的生成式人工智能服务管理暂行办法，后续将进一步针对生成式人工智能技术特点及其在有关行业和领域的服务应用，制定相应的分类分级监管规则或指引。2023 年 10 月 8 日，中国科技部发布科技伦理审查办法（试行），提出从事人工智能科技活动的单位，研究内容涉及科技伦理敏感领域的，应设立科技伦理（审查）委员会，并建立伦理高风险科技活动的清单制度，对可能产生较大伦理风险挑战的新兴科技活动实施清单管理。2023 年 10 月 18 日，国家网信办发布全球人工智能治理倡议，提出发展人工智能应坚持相互尊重、平等互利的原则，各国无论大小、强弱，无论社会制度如何，都有平等发展和利用人工智能的权利。在标准方面，中国信息通信研究院已经启动大规模预训练模型技术和应用评估方法系列标准研制的工作，全面覆盖大模型的开发、部署和应用环节，其中第四部分可信要求是目前国内首项针对大模型领域的可信赖标准。与此同时，全国信息安全标准化技术委员会已经启动包括5信息安全技术 生成式人工智能服务安全基本要求在内的三项生成式人工智能安全国家标准编制工作，以支撑大模型的监管落地。欧盟现行人工智能立法仍主要集中在传统人工智能，但已经开始关注通用人工智能以及生成式人工智能的问题，主张尊重人格尊严、个人自由和保护数据及隐私安全。2023 年 6 月 14 日，欧洲议会投票通过人工智能法案，该法案基于风险等级将人工智能系统分成四类，并制定了不同程度的监管要求。该法案提出生成式人工智能系统通常属于有限风险的人工智能系统，需遵守最低限度的透明度义务，但可能会因其适用的领域和生成的内容而落入高风险人工智能系统的范畴，并明确了通用人工智能、生成式人工智能以及基础模型提供者等不同主体的合规义务。为配合法案落地，欧洲电信标准化协会（ETSI）正在计划将人工智能安全工作组重组为人工智能安全技术委员会，进一步加强法案配套标准的研制工作。美国主张监管需以促进人工智能负责任的创新为目标，应通过监管和非监管措施减少人工智能开发和部署的不必要障碍，同时保护美国的技术、经济和国家安全、公民自由、人权、法治、隐私和尊重知识产权等核心价值观。2023 年 5 月 13 日，美国白宫总统科技顾问委员会（PCAST）成立生成式人工智能工作组，以帮助评估关键机遇和风险，并就如何更好地确保这些技术的开发和部署尽可能公平、负责任和安全提供意见。2023 年 10 月 30 日，美国总统拜登签署人工智能行政令，旨在加强对人工智能潜在风险的监管，发展安全、可靠和值得信赖的人工智能，促进人工智能创新，确保美国6在人工智能领域继续领跑全球。同时行政令在标准方面，提出美国国家标准与技术研究所（NIST）将制定严格的人工智能安全测试标准，人工智能系统在公开发布前需根据这些标准进行广泛的测试以确保安全。业界人士积极呼吁加强人工智能监管，企业加速大模型可信赖技术落地。2023 年 3 月，特斯拉首席执行官埃隆马斯克、苹果联合创始人史蒂夫沃兹尼亚克以及其他上千名 AI 研究人员签署公开信，呼吁暂停研究比 GPT-4 更先进的 AI 技术，提醒更多的用户关注大模型的潜在危险。由微软等企业发起的商业软件联盟（BSA）公开发文，呼吁在国家隐私立法基础上制定管理人工智能使用的规则。2023 年 7 月 21 日，亚马逊、Anthropic、谷歌、Inflection、Meta、微软和 OpenAI 七家企业自愿向美国政府做出围绕安全、保障和信任等原则的自愿性承诺，主要内容包括开发部署面向生成内容的数字水印技术，公开披露模型或系统的功能、局限性和适用领域，以及优先研究人工智能系统带来的社会风险等。目前，微软、谷歌、OpenAI、百度、商汤科技、蚂蚁等企业都发布了面向大模型的可信赖工具或平台，例如商汤科技的可信 AI 基础设施平台 SenseTrust 包含完整覆盖数据、模型、应用治理环节的可信 AI 治理工具，助力打造可信赖的大模型服务。7图 1 2023 年企业大模型可信赖实践汇总大模型治理和监管已经成为全球国际组织和主要经济体的首要目标，各国的监管机构正在尝试通过法律法规以及标准文件对大模型进行治理和监管，行业各界也积极推动人工智能治理工作。但与传统人工智能的风险相比，大模型的风险来源涉及框架、数据、模型、生成内容等多种因素，因此更加具有不确定性，亟需通过技术、管理和监管等手段进行协同治理。二、二、大模型风险分析大模型风险分析（一）（一）大模型风险视图大模型风险视图大模型快速部署和广泛应用的同时，也诱发了更多的风险隐患：一是框架风险，深度学习框架面临物理、网络层面的恶意攻击，导致大模型所依赖的基础设施稳定性和安全性难以保障；二是数据风险，采集及处理海量、多模态的训练数据可能会引入更多的有害数据，容易引发个人隐私泄露、知识产权侵权、数据偏见等问题；三是模型风险，现阶段，大模型抗干扰能力相对较弱，存在遭受恶意攻击、决策偏见以及模型运营风险等问题；四是生成内容风险，大模型存在“幻觉”现象，答非所问、违规不良信息生成等问题成为大模型最受关注的风险。大模型高效、便捷的内容生成能力大幅降8低了诈骗、钓鱼邮件等恶意行为的门槛，而针对生成内容的追溯保障机制目前尚未完善，使得恶意内容生成的监管更加困难。本报告以可靠性、健壮性、安全性、公平性、可问责、可解释等大模型可信赖目标为重点方向，从框架、数据、模型、生成内容等大模型风险要素角度分析，并结合数据采集、模型预训练、模型微调、部署运行、优化更新等大模型全生命周期治理理念，提出大模型可信赖实践方案，全面提升大模型的可信赖表现。图 2 大模型可信赖实践方案（二）（二）框架层面，软件漏洞是现有深度学习框架短板框架层面，软件漏洞是现有深度学习框架短板大模型领域的基础设施风险主要包括深度学习框架和开发套件等软件层面的漏洞，以及运行环境的不稳定性。可能的风险涵盖物理攻击、网络攻击、运行环境篡改、运维故障等多个方面。在大模型训练阶段，深度学习框架、开发组件以及第三方依赖库存在潜在漏洞，增加了受到外部恶意攻击的风险。在这个阶段，9攻击者有可能通过恶意程序入侵等手段，窃取模型、训练数据以及训练脚本等核心资产，从而导致大模型的训练数据和模型参数文件的泄露。早在 2020 年 9 月，TensorFlow 就被曝出多项安全漏洞，其中危险等级严重的漏洞 2 个，高危漏洞 8 个，中危漏洞 12 个，低危漏洞 2 个。这些漏洞可能导致任意代码执行、信息泄露以及拒绝服务等。深度学习框架的运行环境容错性低，核心资产保护面临挑战。大模型的运行环境不稳定性风险主要来自大模型服务的运维以及模型迭代更新时稳健性较差所导致的服务等级协议（SLA）服务水平不足，从而可能影响大模型服务可用性。在训练和推理过程中，由于设备、网络或通信故障，可能导致模型训练或推理任务中断。此外，大模型的运行环境同样面临安全性风险。一方面，缺乏基础设施与其他系统的严格网络隔离可能导致来自内部其他系统的横向渗透风险。如果攻击者成功侵入基础设施系统并注入后门、木马等恶意程序，整个系统将面临严重的安全风险。另一方面，大模型的运行环境缺乏面向训练数据、模型和网络通信的安全防护措施，使得训练数据、模型参数文件等核心资产容易受到泄露、篡改和窃取等威胁。（三）（三）数据层面，隐私风险与有害数据导致模型不可靠数据层面，隐私风险与有害数据导致模型不可靠大模型的训练依赖于大规模、多样化且高质量的数据集。这些训练数据通常涵盖各类网页、公共语料库、社交媒体、书籍、期刊等公开数据来源，其中未经筛选和审核的数据成为大模型不可忽视10的潜在风险。因此，在大模型的全新范式下，数据来源不可信、数据违规处理、投毒攻击、数据内容有害、数据偏见、数据样本不足正逐步成为大模型在数据方面的主要风险。大模型训练数据的采集、预处理等数据处理活动可能涉及数据来源管理困难、隐私泄露等相关风险。在数据来源管理方面，主要问题集中在数据来源的不可靠性和不可追溯性。大模型训练数据通常涵盖图像、视频、文本、音频等多种数据类型，涉及自采集、商业采购、公开数据集等多种渠道。然而，部分公开数据集的来源缺乏充分的验证和审核，导致预训练数据集中存在来源不清、被恶意投毒的数据。大量训练数据采集的同时难以避免带毒数据的引入，增加了数据来源管理的难度。在隐私泄露方面，数据采集阶段可能会由于采集方式、采集工具的不合规，导致未获取个人信息授权，使得预训练数据集含有未授权个人信息。在数据预处理阶段，由于数据脱敏机制的不完善，个人信息未完全去标识化，致使预训练模型学习、理解到含有个人信息的知识，其生成内容可能会含有个人信息或关联个人信息，存在个人信息泄露的风险。有害内容、低质量数据导致模型生成违规内容。大模型通过学习海量数据中的知识、理解常识并生成内容，数据中存在有害内容和数据偏见等质量问题可能导致模型生成内容存在违规信息或决策偏见等问题。11在数据内容有害性风险方面，模型预训练阶段使用大量无监督学习预训练数据集，如果其中存在一定量的有害内容，将影响预训练模型的理解和生成能力。同时，在模型微调阶段，微调数据若包含不准确、虚假信息等内容，可能导致模型无法正确对下游任务模型进行价值对齐。数据偏见风险主要源自大模型的预训练和微调阶段。一方面，模型预训练所使用的数据集样本分布可能缺乏均衡性，包括性别、民族、宗教、教育等相关样本比例关系不当。另一方面，模型微调阶段可能由于人工标注员的主观意识形态偏差，引入对微调数据的构建和价值排序的偏见，从而导致微调数据存在价值观上的偏见歧视问题。（四）（四）模型层面，提示词攻击诱发模型脆弱性风险模型层面，提示词攻击诱发模型脆弱性风险大模型在模型开发和运营阶段都会面临多种模型内外部的风险，主要包括提示注入攻击等安全性问题、健壮性不足、偏见歧视以及模型运营风险等问题。提示注入攻击成为大模型安全性首要风险。提示注入攻击是一类以输入提示词作为攻击手段的恶意攻击。攻击者精心构造和设计特定的提示词，达到绕过大模型过滤策略的目的。根据窃取目标和攻击手段不同，可将提示注入攻击细分为以下三类。一是目标劫持，攻击者通过输入恶意示例的方式劫持模型的输出结果，并要求模型输出与其原输出内容不同的特定结果，从而恶意篡改生成内容。二是提示泄露，攻击者通过一些诱导性的上下文12提示，窃取大模型预制的初始化提示内容，包括模型应该遵循的规则和特定敏感话题。攻击者可以通过该类攻击手段了解大模型的行为模式或者过滤策略。三是越狱攻击，攻击者通过模拟对话、角色扮演等虚构场景和行为方式，设定一系列特定的问答规则，尝试分散大模型的注意力，规避过滤策略，生成带有恶意目的的特定输出结果。除直接对大模型的输入内容进行提示注入攻击，攻击者也可以通过文件中内嵌恶意代码等形式间接进行提示注入攻击。以微软New Bing Chat 为代表的大模型，其结合检索和 API 调用功能的新组件引入了间接提示注入的风险。攻击者有可能通过在提示词中嵌入含有恶意代码或有害内容的网页链接或文件等手段，试图规避输入和输出端的过滤机制，以生成特定的恶意内容。图 3 微软“Bing Chat”提示泄露事件13大模型在健壮性和泛化性方面仍然面临挑战。与传统的小参数量机器学习模型相比，虽然大模型通过使用亿级参数的训练数据进行无监督学习表现出对抗样本攻击和外部干扰的相对强健性，但仍存在健壮性和泛化性不足的潜在风险。例如，在大模型的输入提示词中引入一定程度的错别字符或文字、逻辑错误的词句以及段落等内容，会导致大模型理解偏差以及生成内容错误。图 4 大模型健壮性风险大模型的决策偏见歧视问题愈发突出。大模型的算法决策公平性是可信赖能力的重要指标，尤其在金融、医疗、教育等特殊行业中，这一指标对于处理关键问题的理解和生成任务至关重要。首先，预训练数据自带的偏见歧视会导致预训练模型进一步放大偏见问题，长尾问题仍然是潜在偏见之一。其次，大模型本身可能根据数据样本的分布和属性，进一步提升对某类样本的敏感度，从而间接放大对这些偏见性知识的感知，进而导致更为严重的歧视性内容生成。14图 5 大模型预训练阶段的长尾问题大模型运营面临多方面挑战，API 安全问题至关重要。当前，模型即服务（MaaS）等高效而敏捷的部署方式正逐步成为现有大模型系统与服务的主流形式。一方面，在大模型服务实际运营环节，存在诸多服务运营相关的风险，包括但不限于批量注册、盗号、撞库等账号安全性问题，以及恶意使用、机器作弊、审核资源浪费等运营安全性问题。以 ChatGPT 为例，该服务推出仅两个月，注册用户已超过 1 亿。随着用户规模不断增长，各类违规账号也在不断活跃。于是自 2023 年 4 月起，OpenAI大规模封禁各类违规注册账号。另一方面，大模型主要通过 API 提供对外服务。在服务运营阶段，攻击者可能通过注入漏洞利用攻击、未授权漏洞利用攻击、越权访问漏洞利用攻击、代码设计漏洞攻击以及第三方组件漏洞利用攻击等方法，引发 API崩溃、数据泄露以及拒绝服务等严重问题。例如，研究人员发现通过提示词混合 Python 代码的模板函数可以利用大模型应用框架 LangChain的接口远程执行任意 Python代码。（五）（五）生成内容层面，安全风险和不可追溯是重点难题生成内容层面，安全风险和不可追溯是重点难题当前，大模型的生成内容中仍然存在一定程度的内容安全和不可追溯风险，主要包括虚假有害内容、上下文逻辑性错误、问答与15提问的相关性较差、与社会主流价值观冲突等风险，进一步降低了以大模型为生产工具的恶意行为的门槛，对个人、组织以及社会的稳定发展造成严重影响。其主要风险包括以下几方面：生成内容“幻觉”现象频发。大模型对输入的问题生成不真实、与现实世界常识相违背的虚假有害信息的现象，被称为“幻觉”问题。大模型常见的幻觉主要有三类：第一是和用户输入冲突的幻觉，大模型的理解能力极大依赖于训练数据集的规模、种类、样本的丰富度，理解能力的不足将会导致大模型无法准确生成用户输入的问题答案，影响大模型的生成内容可信度。第二是和已生成的上下文冲突的幻觉，尽管目前大模型具备广泛的世界知识，但其仍是一个黑盒、逻辑推理不够精确的系统。大模型通过理解输入内容的 token，预测并逐字逐句生成输出结果，其生成的内容虽符合训练数据中语句的表达连贯性，却可能缺乏合理、清晰的逻辑性，与上下文内容冲突或生成重复性内容。第三是和事实知识冲突的幻觉，这一类幻觉的研究难度更大，对用户实际使用体验的干扰也最大。例如，大模型在生成医疗建议时可能会捏造错误的药品剂量，误导缺少专业医学知识的用户，直接危及用户健康。生成内容与社会主流价值观冲突。大模型的生成内容的安全性问题至关重要，如果大模型生成民族仇视、偏见和歧视、政治和军事敏感、淫秽色情以及恐怖暴力等恶意内容，会对传统道德和社会核心价值观造成冲击，对个人、组织和社会都具有极其严重的负面影响。16生成内容欠缺合理、科学的推理过程。目前大模型的可解释性问题仍然研究学者重点关注的方向，针对大模型的可解释性研究主要分为事前解释和事后解释，其中事前解释是通过研究不同特征对预测结果的影响程度进行解释说明，事后解释更加侧重利用规则以及可解释性强的算法评估原有大模型的可解释性。然而，大模型所使用的训练数据和算法结构仍然是黑盒，难以完全解释目前大模型的内在机理和决策依据。生成内容不易追溯和保护。大模型由于具备通过学习海量的世界知识生成内容的能力，因此在训练数据和生成内容方面会产生一系列的版权归属和保护难题。目前大模型服务通常会采用数字水印技术在生成内容中嵌入不可见、具备可追溯能力的标识，该类标识一般内含用户 ID 信息、大模型服务信息以及时间戳等信息，用于追溯不良违规生成内容，但目前仍然面临生成内容被二次创作、剪辑和裁切之后，标识内容可能会无法读取等问题，导致无法正确追溯到原始的大模型服务，难以明确界定责任归属。在知识产权的溯源方面，由于现有大模型的学习机制，其生成的内容有可能与原始的训练数据具有一定相似度，难以界定生成的内容是否对原始作品产生侵权行为。生成内容误用滥用现象对个人、团体以及社会造成不良影响。由于目前仍然缺乏对于使用大模型生成能力的有效监督手段，部分用户在未充分进行培训和教育的前提下，可能将隐私信息误输入到大模型中，导致个人信息泄露。例如，2023 年 3 月，三星半导体部17门员工因三起利用 ChatGPT处理办公文件和修复程序源代码等事件，导致公司机密泄露。部分恶意使用者利用 FraudGPT 等恶意大模型作为违法活动的工具生成诈骗短信和钓鱼邮件，通过代码生成工具开发恶意程序、脚本等，窃取他人敏感个人信息。三、三、大模型可信赖实践大模型可信赖实践（一）（一）框架层面，可信框架与执行环境保障运行安全框架层面，可信框架与执行环境保障运行安全针对深度学习框架面临的软件漏洞风险与运行环境不可靠问题，一方面通过采用漏洞管理、恶意程序检测以及访问控制等技术措施，降低深度学习框架受恶意访问和攻击的可能性，另一方面通过构建AI核心资产保护机制，保障深度学习框架运行环境的安全可信。1.可信赖框架降低恶意访问与攻击风险可信赖框架的实现需要从框架自身管理层面、框架外的平台层面以及用户管理层面进行安全保障。安全漏洞管理机制通过对 AI 框架进行定期的漏洞扫描，识别并记录框架漏洞信息，定时更新安全补丁修复漏洞，提升框架安全能力。恶意程序检测机制通过将检测模块直接集成在深度学习框架或者基础设施中，实现检测在训练或者推理任务执行的容器或虚拟机是否存在恶意攻击宿主机、宿主机上其他容器或者执行越权访问等容器逃逸行为。判别是否存在勒索病毒以及恶意程序，并产生告警信息。访问控制和身份鉴别机制有效管理并核验登录用户的真实身份，对于多次登录失败的用户，应启用结束会话、限制非法登录次数等措施，以降低未授权操作所引发的风险。182.核心资产保护机制保障运行环境安全可信为保障深度学习框架的运行环境安全可信，通过构建加解密机制、完整性校验机制、训练任务中断恢复机制以及运行环境隔离机制等方式保障运行过程中 AI 核心资产的安全。加解密机制通过在深度学习框架和人工智能基础设施中添加加解密模块，实现对训练和推理过程中的数据和模型参数文件等 AI 核心资产进行保护，防止未授权人员进行非法访问、篡改数据。完整性校验机制通过对数据和模型相关文件进行完整性校验，提升大模型在预训练、微调以及后续部署运行阶段的可靠性，通过密码算法或者完整性校验机制对数据和模型参数文件进行加解密处理，核验各阶段的文件完整性。训练任务中断恢复机制可以在故障发生后及时保存训练任务上下文及模型参数等信息，并且可支持在新的训练节点加载训练任务上下文及模型参数等信息，正常恢复原始训练任务，大幅提升大模型在训练阶段的可靠性。运行环境隔离机制通过设置独立的安全区域保障 AI 资产在训练和推理过程中的安全性。以可信执行环境技术（TEE）为例，TEE 是处理器中一个独立的安全区域，用于保护程序与数据的机密性和完整性不被外部窃取和破坏。与存储加密和网络通信加密一起，TEE 可以保护落盘和通信过程中的数据隐私和安全。随着 TEE 技术的发展，在计算核心与内存之间增加安全处理器，以保护被计算核心使用的数据安全和隐私的机密计算技术出现。19（二）（二）数据层面，安全检测及处理助力大模型可靠数据层面，安全检测及处理助力大模型可靠数据的使用贯穿大模型全生命周期，安全保障与有效处理是保障大模型可靠的关键举措。在数据层面，可信赖实践主要涉及数据全流程的安全合规处理、数据安全沙箱技术、投毒检测以及数据分析等措施。1.安全合规的数据处理机制降低数据处理风险大模型的数据处理活动主要包含数据采集、数据预处理及模型训练等环节。在数据采集环节，通常会建立数据采集来源管理、数据采集业务评估、数据采集审批流程、采集合规审批等管理机制，确保数据采集的合规性、正当性和执行上的一致性。针对数据来源问题，知识产权部门和信息安全部门协助业务部门对数据来源信息的合理性、正当性进行审查，去除含有大量不良违法信息的有害数据来源，并对数据来源信息进行备案管理。在数据预处理环节，数据处理人员会将收集到的原始数据进行清洗、去重、格式化等多步骤的预处理以确保数据质量。在该过程中，数据处理人员会严格筛查，去除那些不完整、错误、带毒或含有敏感信息的数据。随后数据处理人员通过自动化工具和人工相结合的方式，对预处理后的数据进行标注和筛选，以识别训练数据中是否包含敏感信息。此外，业务部门通过构建敏感内容反馈机制，利用生成内容自身特性，将敏感内容作为负面样本训练敏感信息鉴别模型，持续提升模型性能。20在大模型训练阶段，通常会首先进行个人信息安全影响评估，确保大模型的研发和运营过程满足现有个人信息保护的合规要求。通过核对个人信息保护评估清单，推动面向个人信息保护的产品功能设计，确保人工智能产品设计流程合规，保障数据收集和处理（包括使用、披露、保留、传输和处置）限于所确定的必须的目的。2.数据安全沙箱技术实现数据可用不可见数据安全沙箱是一项通过构建可隔离、可调试、运行环境安全等功能来分离数据、模型使用权和所有权的技术。在大模型微调场景中，数据拥有方可通过沙箱客户端将数据通过加密信道上传到沙箱中，随后通过数据安全沙箱对加密数据进行预处理和模型微调，并通过安全信道反馈微调后的模型，保证了模型拥有方的预训练模型不出私有域的前提下，数据拥有方可以安全的完成模型微调任务。图 6 数据安全沙箱技术3.投毒检测与数据分析识别有害内容在数据投毒检测方面，通过数据去毒工具在数据预处理环节检测训练数据是否存在异常。数据投毒检测可采用多种不同的检测手段。基于规则、关键词进行检测是一种常见但有效的方式，可在丰富完善检测规则的基础上，以较高的效率将被投毒的、危害安全的21训练数据进行截获去除。也可采用传统语言模型或大语言模型的手段，针对数据投毒问题进行相应的设计和优化，通过语义相似度等指标进行检测，从而判定出更隐蔽、更难以察觉的数据安全问题。在数据分析工具方面，可采用分类统计、向量聚类、大模型识别等方法，对数据内容门类、语料形式、语料来源、作者等数据分布进行统计和分析，使参与到模型预训练中的训练数据配比均匀、优质来源和优质形式的数据占比较高，修正性别、民族、宗教、教育等统计偏见，使模型在运营阶段避免可能存在的安全性、公平性等问题。（三）（三）模型层面，全流程防控增强大模型可信模型层面，全流程防控增强大模型可信在模型层面，可信赖实践可从设计开发、模型训练和部署运行三个阶段展开。设计开发阶段主要涉及大模型研发前期的安全和伦理设计评估；在模型训练阶段，主要涉及大模型预训练、微调过程的可信赖能力检测、加固措施；在部署运行阶段，主要涉及大模型在运营过程中的运维能力，以增强用户对于模型运营的信任度。1.安全和伦理设计评估为大模型研发提供全方位保障大模型的安全性设计评估是面向大模型设计初期的一项安全性评审工作，主要涉及安全审核和安全功能设计两方面。在安全审核方面，通常会根据大模型设计需求构建威胁模型，并生成安全设计核查表对大模型安全性设计进行评审，保障大模型的设计需求满足安全合规要求。在安全功能设计方面，大模型研发人员会根据安全22审核结果，对大模型进行安全功能设计，包括但不限于生成内容过滤机制、生成内容标识、投诉反馈功能等。大模型的伦理设计评估主要依据人工智能伦理治理相关法律法规和标准文件，面向数据、算法以及应用管理风险三方面，围绕产品设计、开发、部署、运营的全生命周期，分阶段、分目标的对大模型伦理风险进行分类分级管理，并根据风险的等级进行内部自评估以及外部专家评审，以确保大模型的训练数据、决策机制以及生成内容符合伦理道德。目前，针对大模型伦理评估工作，商汤建立了覆盖产品全生命周期的风险控制机制，初步形成了大模型的伦理治理闭环。通过建立数据风险、算法风险以及应用风险三方面的伦理评估机制，对产品设计、开发、部署、运营的全生命周期实施分阶段、分目标的伦理风险分类分级管理，并建立了配套的风险自查、评估、审查和跟踪审查流程。图 7 商汤伦理风险分类分级管理评估2.评测与对齐是模型训练可信赖的关键技术措施23大模型的模型评测和对齐技术是目前解决模型安全性、健壮性、公平性不足的主流方法，通过将评测结果作为奖励模型的反馈优化数据，对模型进行针对性的微调与对齐，大模型能够在模型层面更可靠、可信。大模型可信赖评测是提升模型抵抗外部恶意攻击、干扰信息以及决策偏见的重要手段。大模型可信赖的重点评测对象是安全性、健壮性以及公平性。在安全性测试方面，评测人员通常采用对抗性提示的方式对大模型进行目标劫持、提示泄露以及越狱等安全性评测。在健壮性测试方面，评测人员通常会采用错别字、同义替换、无关提示、修改语义等方式，对生成内容的一致性、稳定性进行评测。在公平性测试方面，评测人员会根据模型业务特性，针对年龄、国家、性别、种族等敏感属性进行公平性评测，通过比对输入内容中是否含有敏感属性的输出结果差异，统计模型的公平性表现。在评测完成后，评测人员会协同研发人员共同构建面向安全性、健壮性和公平性的模型加固方案，包括但不限于增量学习、设计针对性的微调提示问答对、增强奖励模型的针对性训练等。思维链技术有效提升模型逻辑表达能力。为保障大模型的生成内容具备更加合理的推理性逻辑表达，微调阶段的标注人员可通过思维链技术，在同一提示词中引入多项解释性示例，引导模型生成具备一定推理逻辑的回答。比如，在数理逻辑任务中，可在示例部分编写步骤分解形式的解释说明内容，指导模型更容易生成推理步骤清晰，准确性高的回答内容。24图 8 思维链技术人类反馈强化学习（RLHF）是现阶段大模型对齐研究的主要方法。RLHF 是一项通过人工反馈回答内容的好坏顺序指引大模型的价值观与人类对齐的技术。目前，包括 OpenAI、谷歌、百度、商汤科技等主流大模型均采用了 RLHF技术对大模型进行价值对齐调优。比如，商汤科技已经将模型评估测试与 RLHF 技术结合，将相关测试结果反馈于模型强化学习的过程之中，帮助进一步提升大模型风险防御能力。3.投诉反馈、风险监控以及应急处置构建模型运营能力投诉反馈机制是针对大模型生成内容优化更新的重要手段。目前投诉反馈机制主要是通过成立投诉反馈监管治理机构，对所有的不良违法生成内容进行处理。为了更好的推动模型的持续优化，模型更新的研发人员会定期对生成内容的投诉和举报进行分析和总结，以便发现问题的根源，并采取措施防止类似问题再次发生。风险监控有效助力大模型良性运营。在模型运营能力建设方面，运营人员会持续对大模型的运营情况进行风险监控并对有害内容进25行溯源，通过对大模型记录的用户上传内容、用户上传时间、IP 地址、设备信息等信息进行核查，可实现对该内容的制作者和使用者进行追溯。应急处置用户恶意行为抑制有害内容生成与传播。大模型运营期间运营人员会对用户异常行为、违规用户帐号进行监控处置。针对用户异常行为，运营人员通过对用户行为进行分析，根据异常活跃度、登录情况以及输入内容进行判断处置。针对违规用户帐号，运营人员通过帐号管理功能实现对恶意用户的限期改正、暂停使用、终止帐号等措施，防止有害内容的进一步生成和二次传播。（四）（四）生成内容层面，过滤与标识实现内容可控可问责生成内容层面，过滤与标识实现内容可控可问责在生成内容方面，可信赖实践主要涉及生成内容评测、内容审核机制以及内容可追溯能力的建设，实现内容安全可控并具备一定程度的可追溯能力。为缓解大模型“幻觉”现象，生成内容评测主要聚焦真实性、准确性以及安全性。为降低生成内容的安全性风险，内容审核机制通常会采取机器审核和人工复审结合的形式。为进一步提升二次编辑导致生成内容难以追溯的问题，数字水印技术正在逐渐提升健壮性能力。1.生成内容评测为模型优化更新提供反馈样本生成内容真实性测试抑制深度合成图像等恶意攻击。评测人员可通过内容真实性测试检测图像中面部表情一致性与动作序列连贯性，并结合频谱、声音和文字等多模态信息，准确鉴别包括图像编辑、换脸、活化以及各种先进扩散模型合成的人像图像。26生成内容准确性测试客观反馈大模型“幻觉”水平。在生成内容准确性测试方面，评测人员可采用人工打分或自动化评估等形式，对生成内容的质量进行评估，目前商汤科技主要采用整体评价、相关性、可读性、拟人性、专业性等五个指标对文本生成质量进行评价，并从生成内容事实性错误，生成内容逻辑性错误，生成内容和问题相关性错误等三个方面对文本生成准确性进行评价。生成内容安全性评测守卫大模型生成内容红线。在生成内容安全性测试方面，评测人员可采用“红队测试”的方法，通过构建恶意问题数据集对生成内容安全性进行评测，其评测的维度包括但不限于身心健康、隐私财产、伦理道德、偏见歧视、违法犯罪、政治敏感等话题。2.内容审核机制有效过滤有害输入及输出内容大模型的生成内容审核机制主要由机器审核和人工复审构成。机器审核是一种对大模型有害输入、输出内容进行检测、识别的机制，可以有效识别并过滤有害、不准确、不恰当的内容，通常采用关键词和语义分析等技术。人工复审机制是目前实现大模型生成内容安全的重要保障。通过人工复审的方式，对大模型输入、输出的内容进行再次核验。人工复审需记录审核时间、审核覆盖度、抽检方式、审核处置结论等信息。除人工复审机制外，还可以采用巡查审查等方式，定期对经过了机器审核、人工复审的内容进行整体巡查，并及时根据巡查结果优化调整审核规则及策略。巡查审核需记录审核时间、审核覆盖度、抽检方式、审核处置结论等信息。27图 9 大模型“机器 人工”内容审核机制3.健壮性数字水印助力实现内容可追溯可问责数字水印技术是一种将信息嵌入到数字媒体（如图像、音频和视频）中的技术，以便在不改变原始媒体质量的前提下，对其进行标识或保护。这种技术目前被广泛应用于版权保护、内容认证和数据管理等领域。数字水印的健壮性是指其在面对压缩、滤波、剪切、旋转、缩放等攻击时仍能被正确检测的能力。为保障生成内容的可追溯性，通常会采用纠错编码、多重水印、深度学习等水印嵌入方案进一步提升数字水印的健壮性。图 10 数字水印技术流程图四、四、总结与展望总结与展望（一）（一）总结总结大模型的发展虽然仍处于初期阶段，但大模型显现的风险问题使大模型治理已经成为社会关注焦点。随着业界纷纷发布大模型服务，大模型产业正在逐步迈向百家争鸣的时代，但伴随着大模型参28数量、上下文理解能力、生成任务能力以及多模态支持能力的不断更新换代，其引发的相关风险日益突出。与传统判别式模型相比，目前大模型的风险主要集中在低质量训练数据、提示注入攻击以及生成内容的“幻觉”现象，导致用户对于大模型的使用仍然保持谨慎态度。因此，大模型治理的呼声也随之而出，甚至部分业界人士呼吁暂停先进大模型的研发工作，社会各界对于大模型可信赖的实践诉求日益强烈。本研究报告对如何实现大模型的可信赖目标给出了一系列的实践方案，基于可靠性、安全性、公平性、健壮性以及可解释性等可信赖属性，从技术、管理、监管等维度对大模型的可信赖目标实现进行了分析研究，并初步梳理了现有产业的可信赖实践案例。但大模型的可信赖目标仍然需要产业各界人士达成共识，采用包容审慎、敏捷治理的态度，通过技术、管理相互协同的治理手段，共同构建安全、可靠、可信的大模型产业生态。（二）（二）展望展望1.技术维度聚焦大模型的可解释性、价值对齐研究。一方面，大模型由于算法“黑箱”问题，目前仍然存在可解释性问题，需要加强事前、事后可解释的技术措施和监督，探索生成个体预测的局部解释和总体模型推理逻辑的全局解释。比如，部分研究学者正在通过指令微调的方式解释单个生成内容的预测结果，以及 OpenAI 正在尝试采用 GPT4.0 解释 GPT2.0 的神经元激活过程了解大模型内部的工作机29理。另一方面，由于大模型的生成内容具有价值属性，其价值观需要符合主流社会价值观念，但现有的对齐技术主要是基于人类反馈强化学习技术，同样也受制于人类反馈的数据质量和时效性，以及现有部分对齐手段很可能被奖励模型通过学习欺骗式的奖励策略实现“欺骗式”对齐，因此需要探索与人类水平媲美的、同时具备高可靠性的自动对齐机器，使对齐工作从人工反馈逐渐转向具备可扩展监督能力的自动化对齐系统，进一步提升大模型的更新迭代效率与生成内容的质量。鼓励大模型可信赖技术多方协同。大模型可信赖目标的实现需要面向框架、数据和算法多项要素，综合开发、测试、运营等多种技术人员的协调配合，通过数据来源管理、预训练处理、指令微调、人类反馈强化学习、内容审核等技术进一步降低大模型风险。与此同时，需要加强技术人员与监管方的沟通，共同建立可信赖大模型监管体系，遵循大模型治理思路，从技术、管理、监管多方面根本性提升用户对于大模型的信任度。2.生态维度构建评测标准生态，推动大模型测评体系建立。目前多家大模型企业、研究机构和高校正在积极构建大模型的可信赖技术能力，并积极参与可信赖标准的研制工作，加快推动大模型可信赖标准文件出台。但当前针对大模型测评的标准项目仍然比较欠缺，同时也缺乏科学有效的测评工具和测评方法，难以科学、高效评估大模型的生成内容质量。因此，需要加强构建大模型测评体系，研制大模30型测评标准，打造权威大模型测评工具与平台，保障大模型的安全、可靠、可信。构建可信产业共识，细化行业大模型可信赖能力建设。当前大模型的发展重心已经从通用大模型面向行业进行细化发展，多家企业纷纷发布针对金融、医疗等领域的行业大模型，比如商汤科技医疗健康大模型“大医”。但目前针对大模型可信赖的研究仍然比较初期，需要产业形成可信赖共识，并将可信赖理念与行业特性结合，从行业大模型全生命周期的维度考虑如何实现可信赖目标，探索打磨行业领域的可信赖风险与对策。3.治理维度遵循“包容审慎、分类分级”监管原则，探索大模型分类分级治理模式。一方面，大模型治理的落地需要遵循“包容审慎”原则，兼顾技术多样性发展与可信赖目标的实现。另一方面，目前特定行业大模型用户对于风险的敏感度不同，加强探索大模型风险分类分级治理，通过沙箱、自动化评测、MLOps 等工程化技术手段推动大模型治理的体系化发展，共同构建可信赖大模型产业生态。31附录附录可信赖实践案例可信赖实践案例 1：商汤科技：商汤科技 SenseTrust 可信可信 AI 基础设施基础设施为迎接大模型的全新挑战，加强全行业、全社会的人工智能风险治理能力已成为全球各方亟待解决的紧迫命题。我们正式推出“SenseTrust”商汤可信人工智能基础设施，并将持续通过“商汤 AI 安全治理开放平台”等多种形式，为行业提供 AI 治理公益技术服务，推动建设安全可信的人工智能产业生态。图 11“SenseTrust”商汤可信 AI 基础设施在数据层面，商汤“SenseTrust”能够提供数据脱敏、数据去毒、数据合规审查及偏见评估等治理工具。数据脱敏工具能够面向活体检测、车牌检测、文字文档信息检测等广泛应用场景，提供高水平的数据脱敏技术，并且具备接口灵活，平台覆盖面广，实时脱敏等优势。数据脱敏服务还可根据实际业务需求实现是否具备重标识的能力，在特定场景下可还原已去标识化的敏感数据。数据去毒工具32能够在数据预处理环节对训练数据进行带毒性检测，判定数据是否存在异常，对毒性进行判断并提出去毒方案，同时进行溯源调查。此外，面向数据要素可信流通，商汤创新打造了“数据沙箱”工具。通过沙箱包装后，结合隐私计算集群协同调度，实现数据可用不可见，在保证数据隐私安全的前期下实现数据价值转化，促进数据要素流程利用。目前数据沙箱可面向两个应用场景：一是多用户拥有不同场景分布的数据，提供联合训练方案，并且具有携带离线模型可以完成不泄露数据的反演；二是针对用户端拥有大量数据的场景，可使用数据加密训练方案，可以在保护隐私的前提下完成数据回流。在模型层面，商汤“SenseTrust”基于自研的模型体检系列平台，能够针对传统“小模型”、生成式“大模型”，以及基础模型提供标准化和定制化的模型评测能力。我们针对传统“小模型”开发的模型体检平台，能够面向活体识别、图像分类、目标检测等商业化需求提供一键式评测，用户只需提供模型和评测数据即可进行。目前已在商汤的大量商业化模型检测方面获得验证。模型体检内容包括对抗安全、鲁棒安全、后门安全、可解释性和公平性评测。同时，我们针对生成式“大模型”和基础模型测评建构了百万体量的测试数据集，能够实现对大模型的伦理属性、安全属性，以及模型能力的评测评估。针对模型体检出的问题，商汤“SenseTrust”还能够进一步提供模型加固解决方案，主要包括鲁棒性训练和 AI 防火墙两个部分。鲁33棒性训练模块可以在不损失精度的情况下强化模型的安全性和鲁棒性，当前主要包括对抗训练和针对性的数据增强。鲁棒性训练模块是模型开发的代码插件，已融入商汤目前的模型开发流程。AI 防火墙模块主要用于过滤可疑攻击样本，可以在不重新训练模型的情况下提升模型部署的安全性。当前 AI 防火墙可以有效抵御主流的黑盒攻击和物理攻击方式。AI 防火墙和部署的质量模型相结合，在提升安全的同时不引入格外的计算开销。在应用层面，我们在涉及数据保护、数字取证及伪造检测等技术领域有着深厚的积累，并逐步开发了基于生成、鉴伪和溯源三位一体的综合解决方案。在深伪鉴别方面，商汤“SenseTrust”提供包括数十种先进攻击手段的伪造生成平台，为鉴伪检测和溯源提供丰富多样的攻击案例和海量数据支持。并可通过持续集成先进伪造算法，在 zero/few-shot 场景下快速响应难例样本和长尾类型，帮助提升鉴伪算法的泛化性。商汤“SenseTrust”伪造检测大模型，可充分利用面部表情一致性、动作序列连贯性，并结合频谱、声音和文字等多模态信息，准确鉴别包括图像编辑、换脸、活化以及各种先进扩散模型（如：Stable Diffusion）合成的高清人像。主流评测数据集上算法检测精度可达到 99%以上，在应对新技术复合伪造方法上（如：通过MidJourney），检测能力也高出行业同类产品 20%以上。为实现伪造数据溯源，商汤通过自研基于解耦-重建的伪造检测算法，能够从伪造数据中分离出真实内容及伪影痕迹。在针对 10 余种主流伪造算34法溯源上，准确率超过 90%，同时还可给出数据中的相关伪造痕迹，提高检测算法的可解释性和可信度。这一技术为行业首创，并作为数字取证技术成功落地司法领域。目前，商汤“SenseTrust”综合鉴伪解决方案已投入实战，为十余家银行的安全系统提供服务，对各类灰黑产攻击拦截成功率超行业同类产品 20%以上，有效防范了灰黑产身份盗取、支付盗刷等网络诈骗。在确权溯源和内容保护方面，商汤“SenseTrust”数字水印结合频域分析、深度学习、扩散模型等技术，将特定信息嵌入到数字载体中，同时不影响载体的使用价值，也不易被人的知觉系统察觉，只有通过特定的解码器和专属密钥才能提取，可实现篡改内容的检测且水印不可窃取。具体应用中，商汤数字水印技术可用于版权保护，防伪溯源等场景，支持图像、视频、音频、文本等各种模态的数字载体，在不同程度的干扰下(裁剪、压缩等)能保证 99% 的水印提取精度，且不影响数据本身质量(如高清图画质)，在保证水印信息容量大(256 位)以及安全性(通过密钥加密)的同时具备足够的隐蔽性以及鲁棒性。目前，商汤的数字水印技术已服务于“商汤秒画SenseMirage”、“商汤如影 SenseAvatar”等多个产品，以及内容创作、大数据客户。35可信赖实践案例可信赖实践案例 2：蚂蚁集团蚁鉴：蚂蚁集团蚁鉴 2.0-AI 安全检测平台安全检测平台图 12 蚁鉴 2.0-AI 安全检测平台人工智能作为一种创新性的技术，在快速发展和广泛应用的同时，也引发了一系列如数据安全、隐私安全、算法偏见、责任归属、伦理道德等风险和问题，这不仅威胁到 AI 技术的可靠性和安全性，也影响到 AI 技术的社会接受度和用户信任度。蚂蚁集团从 2015 年开启可信 AI 的实践与探索，2023 IPRdaily 发布的人工智能安全可信关键技术专利报告显示，蚂蚁集团专利申请和授权数连续两年全球第一。从释放 AI 价值、服务产业发展出发，蚂蚁联合清华大学研发推出了“蚁鉴”AI安全检测平台，具备以下几种测评能力：1)大模型安全测评：支持最常见的文生文、文生图数据类型，在大模型安全领域，依据国内法律法规、学术研究、企业需求，构建36一套涵盖数据安全、内容安全、科技论坛 3 大类超 200 子类标签的检测分类标准。基于这套标准，平台开发和集成了基于诱导对抗技术的大模型生成内容的自动化安全测评。2)AIGC 检测：支持图像、文本类数据检测，基于生成模型构建TB 级样本，覆盖常见的 AIGC 应用和算法基座的多种交互场景和生成模式，通过对各模态内容的深度特征进行建模感知，完成对指令生成、深度合成等 AI 生成痕迹的检测覆盖，完成 AI 生成痕迹、深度合成痕迹等多个指标检测并反馈。3)健壮性评测工具：支持文本、图像、表格、序列四种数据类型，集成对抗攻击组件和健壮性检测组件，检测 AI系统在面对噪声、攻击、故障等干扰时的稳定性和可靠性。4)可解释性评测工具：支持图像、表格两种数据类型，通过可视化、逻辑推理、因果推断等技术手段，提供 AI 系统的输出结果的依据和原因，在完整性、准确性、稳定性等 7 个评测维度及 20 项评估指标对 AI 系统的解释质量进行全面客观的量化分析，帮助用户更清晰地验证与优化可解释方案，提升模型性能。未来 AI 的应用和价值是颠覆性的，蚁鉴 AI 安全检测平台 2.0作为实现产业级应用、覆盖全风险类型和全数据模态的 AI测评平台，将通过能力开放助力大模型的可信安全，助力 AI 时代的发展。37可信赖实践案例可信赖实践案例 3：阿里巴巴生成式人工智能发展与治理探索：阿里巴巴生成式人工智能发展与治理探索阿里巴巴践行“技术管理技术”原则，形成了覆盖生成式 AI 全生命周期的解决方案，针对生成式 AI 研发服务全流程的风险从模型训练、服务上线、内容生成、内容传播四大阶段入手，提出了一系列具体的治理措施，详情见下图。图 13 阿里巴巴生成式 AI 治理实践及探索概览在模型训练阶段，应该加强对数据的监管和保护，确保训练数据的合法性和安全性。同时，需要加强对算法和模型的审查，防止出现偏差性或歧视性结果。在服务上线阶段，要加强对算法和模型的安全测试和评估，确保其稳定性和安全性。同时，需要加强对用户数据的隐私保护，避免用户数据被滥用或泄露。在内容生成阶段，应该倡导人机合作，加强对生成内容的引导和审核，防止出现违法不良信息、歧视与偏见。在内容传播阶段，对生成的信息嵌入隐藏的标识，通过技术手段进行溯源和回溯传播者，从而在一定程度上解决虚假信息在内容传播方面的问题。38对于个人信息安全、内容安全、模型安全、知识产权四个重点安全域，应充分考虑 AIGC 与 UGC（用户生成内容）、判别式 AI的差异性，提出针对性的有效解决方案。例如：1)在个人信息安全层面，生成式 AI 相对于算法推荐服务对个性化要求不高，可主动采用技术手段从源头减少个人信息收集、降低个人信息在训练数据中的比例和真实性；对于输出的合成内容，算法服务可拒绝生成个人信息内容；可采用数据匿名化机制，在保护个人隐私的同时，激发更多数据价值。2)在内容安全层面，AIGC 相比 UGC 在主体责任、交互性、时效性、内容复杂度、多语言、风险范围等多个维度都有较大差异，因此在风险评测定位、模型内生安全、应用安全机制、生成内容追溯机制等方面全面设置针对性的治理机制。3)在模型安全层面，生成式人工智能模型因其输出空间的自由度更高、网络结构复杂、模型参数和训练数据规模巨大等特点，在鲁棒性、可靠性、公平性、可用性、可解释性等方面都带来了新的风险挑战，应相应的提升治理技术能力，提出针对性治理解决方案。4)在知识产权层面，对于生成式 AI 中的知识产权问题目前仍在热议中，尚未形成统一解决方案。知识产权问题不宜片面化，既要保护作为训练数据的现有人类智力成果，也需注意创新公平和创造力延续。由于针对爬取的知识产权内容，法律角度主要涉及竞争问题，可将是否违反 robots 协议和竞争秩序作为审查要点，可39使用数字水印等溯源技术助力生成合成内容的合法合规使用和确权。40可信赖实践案例可信赖实践案例 4：百度大模型安全解决方案：百度大模型安全解决方案百度围绕“文心大模型”安全实践经验，推出以 AI 安全为核心的大模型安全风控解决方案，从大模型全生命周期视角出发，方案涵盖大模型训练、精调、推理、大模型部署、大模型业务运营等关键阶段所面临的安全风险与业务挑战，提供全套安全产品与服务，助力企业构建平稳健康、可信、可靠的大模型服务。图 14 百度大模型安全解决方案该方案针对大模型训练阶段、部署阶段和业务运营阶段所面临的安全挑战，给出了完整的应对方案。一方面，围绕数据安全与隐私保护方案、模型保护方案、AIGC 内容合规方案、以及业务运营风控方案四个维度详细阐述大模型安全能力建设；另一方面，结合以攻促防守的思路详细阐述如何建立 AIGC 内容安全蓝军评测能力，对大模型实现例行化的安全评估。41图 15 百度大模型内容安全与评测体系

0人已浏览 2023-12-10 48页 5星级

AI PC 产业（中国）白皮书1AI PC 产业（中国）白皮书目 录 Table of Contents序言 .2第一章AI PC 的历史使命：AI 普惠首选终端 .41.1 个人大模型的特征和普惠要求.51.2 PC 承载个人大模型的四大优势.6第二章AI PC 的未来定义：个人 AI 助理 .102.1 AI PC 的用户价值.102.2 AI PC 的核心特征.15第三章AI PC 的产业生态：以人为本、终端主导、AI 原生 .233.1 用户：生态话语权显著提升.243.2 终端厂商：进阶为生态组织者.273.3 AI 技术厂商：发展混合人工智能技术和服务.293.4 应用厂商：AI 应用生态崛起.313.5 算力厂商：普惠混合 AI 算力.35第四章AI PC 市场预测：2024 成为 AI PC 元年，加速 PC 升级 .394.1 中国 AI PC 的进化旅程.394.2 中国 AI PC 终端预测.404.3 中国 AI 平板电脑及边缘主机市场预测 .494.4 中国 AI PC 生态参与者发展预测.504.5 中国 AI PC 投资价值预测.51结语 .52AI PC 产业（中国）白皮书2序言PC（个人电脑）近几十年的发展历史中，经历了多次大升级。从大型机时代到个人电脑的普及，再到互联网时代的爆发和如今的智能化浪潮，每一个时代都为 PC 产业注入了新的活力，使之成为每一个时代创新技术普惠的第一终端。上世纪 70 年代，大规模集成电路和新型 CPU 架构的引入，计算机逐渐迈向小型化，成本也随之大幅下降。紧接着，80 年代初苹果公司率先推出了全球首台图形界面计算机，随后 Windows 操作系统面世，图形化的展现和交互方式大大降低了普通人使用计算机的门槛。在中国，包括联想在内的众多终端公司相继成立，快速推出个人电脑产品，迅速形成个人电脑产业链，也正式宣布人类进入个人电脑(PC)时代。1992 年，联想在国内第一个推出家用电脑的概念，并于 1996 年又第一个推出“万元奔腾电脑普及风暴”，个人电脑正式走入千家万户，实现了计算和应用技术的普惠。世纪之交，PC 迎来网络化和移动化技术突破所带来的第二次变革。互联网技术的爆发推动 PC 从独立的工具转变为连接世界的纽带，让传统的计算机能够通过互联网实现信息的快速传递和共享，把中国个人电脑的发展推向了一个新的高峰。1999 年联想率先推出“天禧”因特网电脑，具有 一键上网 功能，实现了中国家用电脑的亲密“触”网。同时，随着高性能处理器进一步微型化，个人电脑（PC）朝着更轻便、更便携的方向发展，笔记本电脑的普及使得计算机成为人人拥有的必需品。可以看到，PC（个人电脑）的每一次重大产品升级，背后都伴随重大技术创新。而每一次重大的技术创新，PC 都成为最佳的技术普惠载体，3AI PC 产业（中国）白皮书在技术普惠的道路上承担起先锋角色。其中，PC 终端厂商从用户体验角度出发，将各类创新技术有效整合、创新产品、规模化交付，进一步加速普及进程。2022 年以来，以大模型为主的生成式 AI 技术取得重大突破并快速发展，大模型展现出令人惊叹的智能涌现能力，表现出更为强大的创造性和通用场景适用性。首先取得重大突破的公共大模型，从人类社会大量的公共数据中学习，进而生成高质量的文本、图像、声音、视频等内容，为多领域的智能创新提供了巨大潜力。然而，出于数据安全和隐私保护的考虑，以及更高效率、更低成本响应用户需求的考虑，人们既希望获得公共大模型强大的通用服务，又希望 AI 能够真正理解自己、提供专属个人的服务，并且能够充分保障个人数据和隐私安全。为此，公共大模型和个人大模型混合部署、满足用户需求正愈加成为产业共识，混合人工智能日益成为未来 AI 更好、跟专属地服务于每一个人的发展趋势。通过云端的公共大模型和本地大模型之间的混合，可以让每一个人都拥有自己的个人大模型，实现 AI 真正惠及到每一个人。这样的混合人工智能，对承载本地大模型的终端的交互能力、智能算力、应用场景、安全保护等方面都提出更高要求。在历史的召唤下，PC 再一次成为 AI 普惠的首选终端，将承担起为用户带来划时代全新 AI 体验的历史使命，使 PC 再一次焕发新的活力，使 AI 真正成为每个人的专属助理（Personal AI Twin）。本白皮书旨在探讨 AI 与 PC 结合的历史必然性，以及新一代 PC AI PC的基本定义、价值及产品特征，以及对 AI 及 PC 产业生态带来的改变，并对未来的市场发展做出概要性预测，为 AI PC 加速发展、产业生态共创升级提供框架性指导。4具备全模态人机自然交互条件承载最多场景的个人通用设备存储容量最大、最受信赖的安全终端最强的个人计算平台能进行多模态自然语言交互压缩后依然具备通用场景服务能力需要基于个人数据和隐私 信息进行微调和个性化服务需要强 AI 算力进行推理第一章AI PC 的历史使命：AI 普惠首选终端人工智能的需求正在爆发，大模型开启了普惠于人的路程。用户不仅需要公共的大模型服务，更需要的是专属自己的个人大模型。个人大模型将依托混合人工智能的方式，逐步实现普惠。我们看到，个人大模型的普惠要求和 PC 的承载优势完美契合，显示着 PC 将再一次承载技术普惠的历史使命，成为 AI 普惠的首选终端。图 1 PC 与 AI 大模型的 天然匹配来源：IDC,2023个人大模型PC5AI PC 产业（中国）白皮书1.1 个人大模型的特征和普惠要求大模型的计算负载不断从云端向终端下沉，公共大模型和本地大模型混合利用，组合形成个人大模型。个人大模型既要继承公共大模型强大的能力，又要能够为个人所有、提供个性化专属服务，从而满足用户多方面的需要。能够进行多模态自然语言交互大模型已经在内容生成方面体现了突出的优势，大模型具备卓越的语言理解、上下文感知、生成性语言、处理多模态数据等能力，这使得大模型能够准确理解用户输入，保持上下文对话的连贯性，生成自然且富有表达力的文本，实现自然交互，为用户提供更智能、个性化、更自然的交互体验。这种交互体验要得到大规模落地和广泛普惠，必须依赖于多模态交互的设备和软硬件联合优化，这包括文字输入、语音输入、身体语言、触控、键鼠等。这样，才能充分发挥大模型自然语言交互的优势，以友好、直观的方式降低用户使用门槛，让每个用户都能够轻松上手，自然地与 AI 互动。压缩之后依然具备通用场景服务能力个人大模型需要具备强大的 AI 能力，满足用户日益增长的 AI 需求和任务复杂度。这需要本地、公共大模型互为补充、各有所为。模型终端化的关键是将大模型压缩到适合终端的规模，以便实现本地推理和实时响应。为此，模型蒸馏、压缩等技术变得至关重要。模型蒸馏通过训练“教师”网络监督“学生”网络进行学习；模型压缩则是通过剪裁、量化等方法对模型进行压缩。这些技术可以减小模型的尺寸和复杂度，同时保留其核心能力，而不会显著牺牲其 AI 能力。在保证模型性能的同时，大模型可以在资源有限的设备上运行，再辅以云端强大 AI 能力的支持，个人大模型的通用场景服务能力才能得以保证。AI PC 产业（中国）白皮书6需要强 AI 算力进行推理对于个人大模型的普及应用而言，终端侧算力支持是关键。即便本地大模型经过了压缩从而降低了其算力需求，但仍然需要强大的本地算力支撑。在通用的算力平台上，CPU 为主的算力结构，难以满足 AI 神经网络的并行计算负载的要求，也不具备经济性。随着用户使用 AI 应用的频次提高，对个人大模型的依赖程度越来越大，本地推理类 AI 任务的总量也将迅速提升。这要求端侧计算架构的升级和 AI 算力的同步提升。需要基于个人数据和隐私信息进行微调和 个性化服务个人大模型的普及，必然带来用户对大模型的专属化需求的提高。而云端公共大模型无法满足用户千人千面的需求，专属化的成本也相当高昂。因此，个人大模型将需要用户根据自己的数据和业务需求，在一定程度上进行自主微调，以适应特定的应用场景，提供相对个性化的服务。无论是企业客户还是个人客户，数据安全和隐私问题都是重中之重。个人大模型还必须消除用户对数据安全和隐私保护的担忧。基于本地的知识库与以本地为主的推理是极致安全的保障。1.2 PC 承载个人大模型的四大优势个人终端设备包括 PC、平板、手机、TV、汽车、可穿戴设备等丰富形态，但要完成个人大模型的普惠，需要能够同时满足个人大模型普及的各项要求。个人电脑（PC）具有强大的计算和存储能力，丰富的交互方式以及广泛的应用场景，使其成为适合承载大模型的理想平台。AI 与 PC 的结合将实现人人都有拥有专属的个人大模型，拥有更个性化、实时的服务，这将带来AI 技术的真正普惠。AI7AI PC 产业（中国）白皮书PC 具备全模态的人机自然交互条件个人电脑（PC）是拥有最多样化交互方式的终端设备，既包括相对直接的触控交互、语音交互、手势控制等，又具备更加专业复杂的键鼠交互、数字笔交互等，这种多元化的交互方式使得个人电脑在承载创新的人工智能（AI）交付方式方面具有巨大潜力。通过触控、语音和手势等自然交互方式，个人电脑能够更直观地与用户进行沟通，提供更符合人类习惯和期望的使用体验。这种直观性为个人大模型创造了更为广泛的应用场景，使得用户能够更轻松地与个人大模型进行互动和合作，也使得 AI 更好地适应用户的需求，更灵活的提供服务。与此同时，传统的键鼠交互和数字笔交互为用户提供了更为精准和专业的操控手段。这对于 AI 在专业性的任务，如图形设计、编程等领域发挥作用，创造了更为理想的环境。个人电脑作为高精确度的交互平台，使得个人大模型能够准确接收和处理高度复杂的用户任务。PC 是承载最多场景的个人通用设备个人电脑（PC）作为一种通用生产力平台，既能够承载以消费内容为主的生活娱乐场景，且具有更优质的体验感，也能够承载以创作内容为主的工作、学习等场景，且具备显著优势。个人电脑作为一个多功能、多交互方式的平台，不仅丰富了用户的综合交互体验，同时也为创新的 AI 应用场景开辟了更为广泛的可能性。PC 与 AI 大模型结合，推动着人机交互领域的不断进步。AI PC 产业（中国）白皮书8在内容消费的场景中，PC 和手机各具特点。这取决于用户的需求、使用场景和个人偏好。相对其他终端，PC 具有大屏幕和更高分辨率、多任务处理、键鼠交互、大容量存储等优势。这让 PC 在移动互联网内容消费时代依然扮演着不可或缺的重要角色。在内容创作的场景中，PC 具有最广泛的应用场景，可以承担远程会议、图形设计、编程开发、多媒体制作等多项任务。PC 具有更多的专业工具的支持，如图像处理软件、视频编辑工具、音频编辑软件等，这些软件通常在 PC 平台上具备更多功能和高级选项，为专业创作者提供更丰富的工作环境。大模型具备强大的通用 AI 能力，能够完成文档创作、图像创作等多种任务，大模型的引入使 PC 作为“最全场景个人通用设备”的属性进一步强化，相对优势进一步拉大。从而实现内容消费体验和内容创作效率的全面提升，工作、学习和生活的全场景覆盖。PC 是迄今为止最强的个人计算平台PC 自诞生以来始终代表了个人计算平台的能力巅峰，PC 的通用计算能力强劲，并得到长期优化，在性能、成本、体验方面达到最佳配置，是个人计算设备中拥有最强性能的通用计算平台，兼具强算力与便携性的平衡。在 AI 时代，异构算力（CPU 中央处理单元 NPU 神经网络处理单元 GPU 图形处理单元）协同运用，为 PC 提供了强劲的并行计算能力。异构混合计算利用不同类型指令集和体系架构的计算单元组成本地计算系统，对于不同的 AI工作负载匹配最合适的计算单元。并行算力的飞跃使得 PC 能够轻松执行复杂的 AI 模型推理任务，从而展现出更高级的智能能力。随着终端侧 AI 芯片计算能力和能效的提升，算法和存储方案的优化，终端侧能够部署的 AI 模型参数规模越来越大，持续进阶。PC 相对于手机、可穿戴设备等其他终端，是当之无愧的算力之王，这使其成为 AI 模型实时推理和高性能计算的理想平台，也将抢先具有“智能涌现”的能力。9AI PC 产业（中国）白皮书PC 是存储容量最大、最受信赖的安全终端随着用户使用 AI 应用的频次大大提高，个人交互数据量快速增加，个人数据安全和隐私保护的重要性日益凸显。首先，AI 模型在推理阶段，需要用户输入具体任务和提示词。其次，AI 应用中一般也将涉及到终端本地数据被模型读取和调用，从而能够让 AI 更好地理解环境，理解上下文，吸收实时数据，从而产出更准确、更个性化的答案。第三，AI 生成的内容，其数据量也十分可观。这些将带来私人领域数据的迅猛增长。PC 通过拥有大容量的本地安全存储解决了这一挑战。用户在本地终端设备上进行数据分析、模型推理和计算，个人数据不再需要存储在云端或远程服务器上，可以安全地保留在用户的设备上。这样，个人数据的控制权就在用户手中，不仅提高了数据的安全性，还使得用户对个人数据的控制更加直观。通过采用安全的硬件模块和数据加密技术，PC 能为用户提供更为可靠的数据隐私保护。总之，大模型多模态自然语言交互、多场景内容创作和生成能力，强 AI 算力依赖、频繁的个人数据输入输出的属性，都与交互模态丰富、全场景承载能力、具备本地超强算力和本地安全强大存储的 PC 具有很强的匹配性。AI 个人大模型与 PC 结合，是一次天然般配。PC 最有可能成为 AI 普惠的首选终端，与此同时，AI 也将成为 PC 开启第三次大升级的关键技术驱动力。AI 与 PC 的结合，将形成算力平台 个人大模型 AI 应用的新型混合体，即：AI PC，将 AI 的能力真正惠及每一个人。10PC 长久以来都是人们最重要的生产力工具和内容消费的计算与交互平台。AI PC 不仅承担原有的生产力工具和内容消费载体的职能，更在硬件上集成了混合 AI 算力单元，且能够本地运行“个人大模型”、创建个性化的本地知识库，实现自然语言交互，这将深刻颠覆传统 PC 的定义。AI PC 是为每个人量身定制的个人 AI 助理，不仅提高生产效率，简化工作流程，而且更好的掌握用户的喜好，保护个人隐私数据安全。仿佛是用户的数字化拓展，如同用户的智能双胞胎。2.1 AI PC 的用户价值AI PC 能够为用户提供通用场景下的个性化服务，提供即时、可靠的服务响应，更低的大模型使用成本以及可信、安全的个人数据和隐私保障。第二章AI PC 的未来定义：个人 AI 助理图 2 AI PC 的用户价值来源：IDC,2023通用场景下个性化服务可信、安全的个人数据和隐私保障更低的大模型使用成本即时、可靠的服务相应11AI PC 产业（中国）白皮书提供通用场景下的个性化服务AI PC 能够针对工作、学习、生活等场景，提供个性化创作服务、私人秘书服务、设备管家服务在内的个性化服务。基于终端厂商的定制化设计，场景化的功能预设以及对用户需求的不断探索，在一个丰富的模型和应用生态支持之下，AI PC 所具备的个性创作、秘书服务以及设备管家等能力，能够在工作、学习和生活娱乐等场景中分别体现出多样的独特价值。工作：打造智能工作新常态个性化创作服务助力工作效率提升AI 大模型在工作领域已经有了相对广泛的应用，在效率提升方面已经展现出了极强的能力和潜力，能够帮助用户快速生成特定主题的文档，例如起草会议通知、会议材料准备、会议记录和纪要、邮件起草和专业文件创作等。AI PC 具备更加个性化创作的能力，能够有效的解决当前公共模型在专业文档制作中的问题。AI PC 能够更准确的理解用户的创作意图，掌握用户的历史创作习惯及个人风格，并通过调用多种模型和应用、互联网公共资源等方式共同完成任务创作。图 3 通用场景下的个性化服务来源：IDC,2023工作 会议材料准备 会议总结和纪要 专业 PPT/Word/Excel.个人日程表 同声传译.主动调优 专业模式.学习 AI 课堂笔记和记录 文献翻译和总结.个人课程表 选课和提醒.智能防护 学习模式.生活 游戏攻略 AI 游记.AI 旅行计划 AI 实时游戏指导.智能互联 游戏模式.个性创作秘书服务设备管家AI PC 产业（中国）白皮书12私人秘书服务提供专属高效体验通过对个人和企业私域信息的调用，AI PC 能够智能生成个人日程表，自主推荐会议时间，生成会议邀请并预定会议室。在会议中可以进行实时同声传译，会议结束后，也能够基于讨论总结主题、未决事项，并生成会议纪要，提供秘书般的贴心体验。设备管家服务为工作提供安稳保障 AI PC 能够针对不同的工作场景主动进行设备调优，无论用户处于会议、视频创作、移动办公还是其他场景，AI PC 都能够根据当前的设备使用状态、用户的使用习惯智能调配性能与算力，为用户带来最佳的设备使用体验。同时在软件、系统和设备升级方面，AI PC 也能够主动给出建议，智能推荐用户下载更为适合的软件来完成相应的任务。学习：带来智能学习新体验个性化创作服务为学生提供智能学习体验在课堂等学习场景中，AI PC 能够基于课堂内容生成笔记，并提炼课程要点，能够不断优化笔记的质量和呈现方式，使其符合学生的个人专属需求和习惯。在练习中，AI PC 能够为学生提供跨学科的知识讲解、对话练习与内容拓展。通过分析学生的学习进度和错题情况，AI PC 也能够帮助学生有针对性地练习疑难点和易错点，加深对知识点的掌握程度。不止对于学生，AI PC 同样能够为老师提供效率和创作方面的帮助，帮助老师更高效的生成个性化的教辅材料和备课材料等。私人秘书服务提供专属学伴与专属家教体验对学生来说，AI PC 能够成为专属学伴，适时提醒学生参加并完成各项课业活动，帮助学生监控各项任务的完成进度，协助他安排好自己的学习与娱乐生活。针对家长群体，AI PC 能够帮助他们更好地管理子女的教育日程，帮助家长自动记录和整理孩子的校内外活动安排，及时智能提醒。13AI PC 产业（中国）白皮书设备管家服务提供更安全的学习设备管理方案设备管家服务能够让 AI PC 的设备管理更为智能、安全和便捷。根据学生的学习计划、学习状态进行应用管理与设备模式切换，保障学生在安全无忧的设备环境下高效学习。生活：提升生活娱乐全体验个性化创作服务全面提升娱乐体验游戏中，AI PC 也可以成为玩家专属的“电竞教练”，个性化创作服务能够为用户提供专属的游戏攻略，帮助玩家进行比赛分析、对局复盘，提供专业的游戏技巧指导。出行中，AI PC 也能够根据用户心仪的航班、酒店、路线、餐厅等制定个性化的出行计划。私人秘书服务带来家庭智能管理体验AI PC 将成为整个家庭的 AI 管家。通过 AI 家庭主机、家庭内各类 AI 终端和公共大模型的协同配合，根据每个家庭的需求与特点，成为家庭专属的生活秘书，为每个家庭成员进行日程规划与管理。设备管家服务提升生活全场景体验在日常生活中，用户能够通过自然语言和设备管家进行交互，实现智能控制屏幕亮度，关闭摄像头，特定快捷功能，清除缓存，清除垃圾，杀毒，调整散热方式等操作。设备管家还能够主动感知环境变化，智能调整设备。AI PC 也能够支持家庭打造更智能的家居生态，通过与家庭主机配合，根据家庭成员的习惯对空调、灯光、热水器等终端进行智能管理，确保家居环境的温馨与舒适。提供即时、可靠的服务响应生成式 AI 带来了很多关于极致效率的想象空间，但是在实际的使用中，云端的公共大模型较为缓慢的响应和反馈速度又影响了很多用户的实际体验。在2023 年 IDC 实施的针对用户 AIGC 平台使用体验的调研中，“响应速度慢”“反AI PC 产业（中国）白皮书14馈时间长”是用户主要的负面反馈。AI PC 以本地推理为主，边缘和云端推理为辅，能够在混合算力、混合模型之间智能、合理的调配任务，有效缩减响应时间。由于本地化的大模型能力，离线状态下的可操作性成为 AI PC 不可忽视的优势。AI PC 在没有互联网连接的情况下依然能够发挥作用，在任何时间、任何地点都能为用户进行创造性的工作，让用户不再受制于网络条件的约束。除了避免了网络依赖以外，本地大模型通常与本地的知识和数据有更便捷的集成和充分的利用，能够有效避免“幻觉”的产生。且能够针对用户风格喜好，精准生成符合用户需求的作品。这种准确、可靠的服务是 AI PC 所特有的优势。更低的大模型使用成本随着生成式 AI 使用频次的提升，完全依靠云端将面临着线性的成本提升。而AI PC 以本地推理为主，云端公共推理为辅，用户一次性购买 AI PC 后即可享受全生命周期的本地免费推理服务，再加上有限的云端订阅，可显著降低个人用户使用 AI 大模型服务的成本。AI PC 终端厂商也能够通过紧密的生态合作，一站式解决用户的需求，为用户提供具有竞争力的综合服务价格。除此之外，用户还节省了额外的带宽成本。不仅用户可以享受到 AI PC 的红利，对于应用厂商也是如此。将一些处理从云端转移到终端，可以大大减轻云基础设施的压力并减少运营开支。独立应用开发商和应用开发者也将依托 AI PC 更经济、高效地探索和打造应用。可信、安全的个人数据和隐私保障AI PC 的个性化本地知识库作为安全的基础保障，有专门用于存储用户特定类型文件与数据的安全空间，确保个人用户与企业用户的隐私与涉密信息能在本地实现安全隔离，仅在受信任的环境下才可以被调用。15AI PC 产业（中国）白皮书同时隐私数据的本地推理机制避免了敏感信息在远程服务器上的处理。AI PC本身可以通过个人智能体有效甄别和管理用户隐私数据，并通过本地化的模型与充足的 AI 算力在本地完成大部分数据的处理与模型运算，仅有不涉及用户隐私的公共请求才需调用云端的服务。设备管家服务也可以提供额外保险，通过对设备情况的实时监控以及用户行为的学习，设备管家能够提前识别用户的风险行为，并进行主动干预与防护。通过与第三方应用的合作，AI PC 还能够不断强化对风险行为的识别与风险内容的拦截，为用户带来极致的安全体验。2.2 AI PC 的核心特征为了实现上述用户价值，AI PC 将不仅是硬件设备，而是一个包含 AI 模型和应用以及硬件设备的混合体。AI PC 产品拥有本地部署的大模型与个性化本地知识库组合构成的个人大模型，第一交互入口为个人智能体，可实现自然语言交互，AI PC 将通过内嵌 AI 计算单元的方式提供混合 AI 算力，还可以依靠开放生态来满足不同场景的需求。在满足生产力提升的同时，通过本地数据存储和隐私及数据保护协议来保护个人隐私和数据安全。图 4 AI PC 核心特征来源：IDC,2023自然语言交互的个人智能体 多模态自然语言交互 UI 基于本地大模型的个人智能体设备级个人数据&隐私安全保护 本地隐私推理&非敏感任务调用云端大模型 硬件级安全芯片保护&个人数据加密/脱敏传输开放的 AI 应用生态 AI 原生应用、AI 赋能应用 能够被智能体任务调度、适配混合 AI 算力平台等标配本地混合 AI 算力 CPU&NPU&GPU 本地混合计算架构 个人终端和家庭主机/企业边缘主机协同计算内嵌个人大模型 本地为主，边缘与云为辅的大模型 个性化本地知识库AI PC 产业（中国）白皮书16第一交互入口：自然语言交互的个人智能体多模态自然语言交互 UI 改变交互体验传统的终端在交互模式上有着较大的限制。早期的终端设备需要依靠硬件外设才能实现人机信息的传递。图形化 OS 出现后，交互效率实现提升，但可视化程序交互也涉及到复杂的菜单和功能操作，有较高的学习成本。而 AI PC 能够做到自然语言交互，允许用户以口头或文字形式使用自然语言与 PC 进行沟通，并通过自然语言的方式给予用户反馈，这种交互方式更自然、更直观，更贴近人类沟通本能，替代了复杂繁琐的指令语言。同时，AI PC 精准的语言识别与语义分析功能，与身体语言、触控、键鼠等交互方式结合在一起，进而形成多模态的自然交互。AI PC 将提供多模态自然语言交互 UI，该 UI 是用户与 AI PC 进行自然对话的界面，减少了用户对特定界面和命令的依赖，有望成为 PC 的第一交互入口，用户所有和设备的交互请求均可在与该界面的沟通中完成。个人智能体提升终端易用性自然语言交互 UI 的能力主要依赖于常驻其中的个人智能体，其承担着对用户的意图进行理解与分发任务的重要作用。个人智能体基于内嵌于终端的本地大模型而打造，当收到用户请求后，本地大模型会精准理解用户意图，并将意图转换为相应的任务组合，分解任务并识别任务完成的路径，从而进一步查询本地知识库、调用设备 API、调用合适的模型或应用来执行相应的任务。设备、模型或应用执行完成任务后，会将相应的结果返回给智能体，智能体完成整合后再反馈给用户。未来，个人智能体还能够通过智能感知和主动服务来进一步提升 AI PC 的自主性与易用性。随着知识库中信息的丰富，个人智能体能够根据用户的习惯，结合时间和位置等信息，智能感知用户的潜在需求，并在特定的场景下主动进行服务请求。17AI PC 产业（中国）白皮书图 5 个人智能体提升 AI PC 的自主性与易用性来源：IDC,2023个性化本地 知识库意图理解&多任务分发平台（基于个人本地大模型）自然语言交互 UI本地模型云端模型应用设备查询 知识库反馈新的 prompt个人智能体模型 调用反馈 结果模型 调用反馈 结果反馈 结果应用 API 调用操作设备 功能返回 操作结果终端内嵌个人大模型本地为主，边缘与云为辅的大模型方案随着用户对 AI 能力和大模型的调用变得像使用办公软件一样频繁，仅依赖云端提供相应的能力就变得昂贵、复杂且不够安全。因此，以模型的本地化推理为主，以边缘和云端推理为辅的混合大模型架构成为 AI PC 解决这一问题的关键。用户的大部分任务将能够依托 AI PC 本地模型完成。例如，用户能够在离线的情况下依靠本地大模型完成通过文字描述生成文档和 PPT 的任务。同时，本地模型还将承担意图理解和任务分配的功能，是个人智能体的底座。AI PC 产业（中国）白皮书18当用户的任务请求并不私密、且极其复杂的情况下，AI PC 将在用户同意的情况下，调用云端公共大模型的能力，从而极大的扩展了本地模型的能力范畴。在很多情况下，边缘设备的出现，进一步分担了本地模型推理的负载，并且能够帮助 AI PC 完成个人大模型的微调，为本地模型的个性化提供了一种可行的解决方案。混合大模型的优势在于，它能够根据终端设备的性能、资源限制以及用户的网络状况和任务复杂度，动态地调整端侧和云端的计算负载，实现最优的性能和效率。满足用户的使用需求、适应不同的应用场景，同时，兼顾快速响应、即时反馈和数据隐私安全。从而，带来成本、能耗、性能、隐私、安全和个性化等方面的综合优势。个性化本地知识库除了混合大模型之外，AI PC 还拥有本地向量知识库以及相应的管理工具，能够储存从用户的行为与本地数据中获取的信息。知识库能够将特定的文件进行分块与向量化，并进行向量数据的存储。在 AI PC 执行任务时，知识库能够通过对向量数据的检索，来匹配并强化用户提供的提示词，以帮助模型更准确地了解用户的意图，从而提供更个性化、高准确度的反馈。通过这一方式，本地知识库能够使得 AI PC 了解和熟悉用户个性化的语言习惯和操作模式。在企业应用背景下，本地知识库可以在较短的周期内强化企业内对特定任务的完成效率与精准度。例如生成与企业既往设计风格与调性一致的图片，创作符合企业特定专业语言的文稿，或是生成符合企业内部汇报习惯与需求的 PPT文档。终端标配本地混合 AI 算力算力是 AI PC 各项功能得以实现的前提，终端异构混合（CPU NPU GPU）算力是 AI 规模化落地的必然要求。异构混合计算利用不同类型的指令集和体系架构的计算单元组成本地计算系统，可以通过 CPU（中央处理单元）、NPU混合大模型与个性化本地知识库的完美组合，使得“个人大模型”成为 AI PC 的核心模块。19AI PC 产业（中国）白皮书（神经网络处理单元）、GPU（图形处理单元）等计算设备的组合应用充分发挥各硬件性能，对于不同的 AI 工作负载提供灵活的解决方案。CPU 在通用计算上表现出色，NPU 专门针对神经网络工作负载进行了优化，GPU 则在图形和并行计算方面表现出色，异构运算将不同处理器的优势充分发挥，最终达到提升终端侧 AI 算力的效果，实现更快速、更高效的 AI 模型推理。芯片提供商集成了 NPU 计算单元的 CPU 已经陆续推向市场，并在与终端厂商联合开发的过程中共同确定产品的需求和规格，协作研发，共同推广产品。这种合作方式有助于提高产品的性能和品质，降低成本，缩短研发周期，并提高市场竞争力。异构的混合 AI 算力不仅保证了终端模型推理的可行性，而且算力正在快速提升，使得终端设备可以承载越来越大的 AI 模型，执行越来越复杂的任务。当端侧内嵌的混合 AI 算力能够达到 10TOPS 时，已经能够在本地完成特定场景的 AI模型推理，可以在设备智能管理，图像增强，游戏调优等方面作出贡献。当端侧的混合 AI 算力达到 40TOPS 时，能够使 AI PC 支持普通参数规模的本地模型推理，尽管依然需要 GPU 或云端配合才能完成更复杂的任务，但已经能够满足工作、学习、娱乐等场景的大部分 AI 创作类的需求。当端侧的算力进一步提升，不仅 AI PC 能够在端侧独立模型推理的能力得到进一步增强，可以完全离线处理大部分复杂任务，终端在功耗控制、影像呈现、复杂运算、游戏体验等方面的表现也能够得到充分的 AI 优化。作为承载本地混合 AI 算力的设备，AI PC 也涵盖多种产品形态，包括 AI 笔记本电脑、AI 平板电脑、AI 台式机等几种形态，其中 AI 台式机不仅包括传统的桌面台式电脑、工作站、一体机（AIO）等形态，也包括与终端紧密协同的边缘设备家庭 AI 主机、企业 AI 边缘主机。以及，未来随着 AI PC 的发展，也将涌现出更多创新形态。端侧算力的每一步提升能够带来显著的杠杆效应，撬动 AI PC 在任务理解，个性化反馈和复杂任务处理能力与速度方面更大的提升。由于AI PC 对计算和存储的需求非常高，存算一体技术也将在 AI PC 上发挥其重要价值。AI PC 产业（中国）白皮书20图 6 AI PC 产品型态来源：IDC,2023台式机型态AI 平板电脑AI 笔记本电脑AI 工作站企业 AI 边缘主机AI 台式电脑家庭 AI 主机一体机（AIO）笔记本电脑型态平板电脑型态这些产品形态可以在家庭和企业场景中灵活组合，以满足不同用户的需求。例如，在家庭场景中，用户可能更多选择 AI 笔记本电脑和 AI 平板电脑进行日常生活和娱乐；而在企业场景中，AI 台式机具备更高性能，与 AI 笔记本电脑、工作站集群配合，更适用于专业的生产力创新任务。连接开放的 AI 应用生态为了完成用户相对复杂的任务，AI PC 往往需要调动不同的模型和应用，作为AI PC 能力的补充和延伸。因此，AI PC 功能的发挥需要一个开放的行业生态作为支撑。开放的应用生态应当包括 AI 原生应用、AI 赋能应用和公共大模型。AI 原生应用指的是那些从基础架构和设计开始就以 AI 能力为核心、直接依托AI 算法构建的应用程序，在大模型时代将越来越多见。AI 赋能应用指的是传统的应用也将插件化增强，成为被大模型调起或调用的功能能力。开放的 AI 应用生态还应当具备以下特征：AI 原生应用、AI 赋能应用及公共大模型都能够被智能体调度，完成智能体分配的任务。个人智能体作为与用户的第一交互入口，在理解用户意图的基础上，需要能够根据具体情境选择合适的能力来执行任务，只有各类应用都面向智能体开放 API，个人智能体才能实现综合调度，实现更为复杂和深度的任务，以满足各类场景下的用户需求，提供更加灵活、高效的体验。21AI PC 产业（中国）白皮书 必须深度适配 AI PC 的混合 AI 算力平台。充分适配和利用硬件平台的特性，从而实现应用的整体性能优化和能耗优化。符合 AI 应用商店的各项准入标准，包括个人隐私和数据保护等。AI 应用商店汇集了基于不同大模型的原生应用，以及由 AI 赋能的各类场景应用。一方面方便用户根据自己的需求寻找所需的应用，另一方面也可以通过独立的审核机制，对应用的隐私保护协议与安全性进行更好的把控。AI 应用商店有机会为行业内带来新的商业合作与分成模式，这些都需要应用、模型与终端合作伙伴之间进行共同的探索。设备级个人数据和隐私安全保护用户请求公共大模型执行任务时，最为担忧的问题之一便是个人数据甚至隐私，还有企业的商业机密变成了公众信息的一部分。因此，确保设备级个人数据和隐私的安全性，不仅仅是技术发展的要求，更是对用户权益和数字社会稳定的迫切需求。首先，个性化本地知识库提供本地化的个人数据安全域，同时在用户授权下，支持读取云端私域数据。终端的日常使用会产生海量的用户行为信息与痕迹，其中包含大量的隐私数据。个性化本地知识库包含专属的存储空间，用来存储用户允许个人智能体查询或调用的文件与数据，确保个人用户与企业用户的隐私与涉密信息能在本地实现安全的隔离，仅在受信任的环境下才可以被调用，有效保障 AI PC 的数据安全。个人在可信云端存储的个人隐私数据，也可以通过可信的网络通道进行读取和本地向量化，并入本地安全域来对待。在企业中，本地知识库可以与企业 AI 边缘主机相配合，既实现对私域内设备敏感数据的闭环管理，又可以集中对本地知识库数据进行安全可控的调用和训练。其次，本地推理机制可以实现本地闭环完成隐私问题的推理，避免了敏感信息在远程服务器上处理，只有非敏感任务才会调用公共大模型处理。AI PC 本身可以通过个人智能体的能力有效甄别和管理用户隐私数据，并通过本地化的模在使用终端设备时，用户期望能够得到充分的隐私保障，确保个人信息不被滥用、泄露或用于未经授权的目的。AI PC 产业（中国）白皮书22型与充足的 AI 算力在本地完成大部分数据的处理与模型运算，仅有不涉及用户隐私的公共请求才需调用云端的服务。用户隐私数据完全控制在本地，本地大模型不保存、不传输、不利用这些数据进行模型的训练。第三，AI PC 还配置了硬件级的安全芯片，在硬件层面确保只有经过授权的程序和操作才能够读取、处理个人隐私数据。并通过个人数据加密/脱敏传输标准进行多层保险，防止数据在传输过程中被未经授权的第三方窃取，来加密和保护个人隐私数据的读取和使用。随着技术的不断创新，未来 AI PC 仍有巨大的想象空间。更强劲的算力、更智能的算法、更丰富的生态将为 AI PC 带来更多可期待的新特性，AI PC 也将更好地融入用户的工作、学习、生活中，为个人、家庭和企业创造更多价值。23第三章AI PC 的产业生态：以人为本、终端主导、AI 原生在 AI PC 的推动下，PC 产业生态将从应用为本转向以人为本，从应用驱动转变为意图驱动。传统 PC 产业生态以操作系统为基础，用户在系统界面中直接进行操作，并管理和应用各式各样的应用程序。AI PC 产业生态中，个人智能体将成为第一入口，在大模型与应用生态的支持下，准确理解用户指令，给出恰当的反馈，跨应用进行调度，进而完成相对复杂的任务。模型、应用、算力厂商都需要围绕 AI PC（终端）形态下新的以人为本的需求做出改变，在研发工作中对 AI 的高效运行予以充分的考量，以适应 AI PC 新时代。图 7 PC 产业生态变革图来源：IDC,2023传统 PC 产业生态AI PC 产业生态用户应用操作系统功能数据用户个人 智能体应用模型通用 计算/芯片混合 算力/芯片24图 8 产业内供给关系变化来源：IDC,2023随着 AI 技术的不断进步，越来越多的企业加入 AI PC 的开放生态，形成用户、终端厂商、模型、应用、算力多层开放的繁荣生态。用户视野将发生变化，模型与应用的新关系将改变用户需求的底层逻辑。用户的需求是推动整个生态发展的关键要素，而终端厂商以场景需求为基础面向用户整合产业资源，提供软硬件一体的混合交付体验。模型厂商、芯片厂商也将与终端厂商产生更加紧密地联结。3.1 用户：生态话语权显著提升用户成为行业生态创新的驱动者和创造者PC 行业的前几次产业变革主要由终端、OS 或是芯片厂商推动，用户被动接纳新的技术和产品，调整和适应自己的使用工具的习惯、提升使用工具的熟练度。应用终端厂商芯片模型应用/插件终端厂商芯片大模型现 在未 来具备 AI 环境25AI PC 产业（中国）白皮书但是在 AI PC 时代，用户的话语权提升，用户的能动性将越来越多的影响产品进化和产业生态的发展。用户驱动产品创新、影响产业生态主要体现在以下几个方面：低成本自创应用流行：AI 技术的发展将进一步降低程序的开发门槛，用户可以通过问题 解决方案的导向思路，利用 AI PC 直接“开发”应用，也可以在 AI 大模型的帮助下，自制应用和软件。用户在端侧和云端开发的众创应用（UGAUser Generate Application）有可能成为行业生态内的一种潮流。OpenAI 近期发布的 GPTs 提出了专属定制模型的概念，允许用户基于自身的需求自行构建云端的定制化模型。在端侧，通过边缘 AI 主机提供的算力，用户也可以实现专属个人大模型的微调和定制。新型用户社区兴起，应用生态供需关系翻转：随着 UGA 的增加，还将形成全新形态和运作模式的社区。用户可以在社区上分享自己利用 AI 创作的APP 供其他用户下载和使用；用户可以在社区上对 UGA 进行点评交流，发布有偿需求，获得收入等。出于和终端进行适配的需要，UGA 类社区用户有很大可能按照所使用的终端设备自然分群。市占率最高的终端品牌，将拥有最具影响力的UGA社区。社区的出现可能会彻底颠覆现有的应用供需模式。部分软件的生命周期（需求洞察，开发测试，上线发布等）将在用户侧完成闭环。UGA 社区也将成为应用厂商了解客户需求的重要途径。日常体验反馈驱动下的自动化服务迁移：基于个人大模型的智能体通过插件调用各类应用，用户的评价和使用行为将成为智能体应用分发的关键依据。用户仅仅需要对体验结果予以反馈，就能影响应用的被调用优先级和触达用户的频次。个人智能体能够根据用户行为反馈随时选择和切换应用背后的服务供应商，形成用户驱动应用创新的形态。AI PC 产业（中国）白皮书26用户与 AI PC 的关系将被重新定义为“类伙伴”关系AI PC 将颠覆现有的人机交互模式与人机关系的本质。用户与 AI PC 终端会形成一种复杂的“类伙伴”关系，而不是现有的生产者与生产工具之间的关系。人机关系的核心将不仅限于用户与终端的关系，而是涉及到用户、终端和终端承载的智能体之间的复杂关系。需要包括用户在内的各方强力配合，才能形成个人 AI 助理的综合体验，用户在其中的话语权得到提升。可以预见的是，这种特殊的人机关系可能会在短期内影响用户的换机意愿。用户将难以割舍一个和自己相互“理解”的伙伴。因此，智能体在不同终端的继承方式、技术与规则将成为行业内的前沿议题。智能体对终端的依赖可能会进一步提升用户对终端品牌的忠诚度，行业内龙头终端厂商的地位将会更加巩固。用户对于终端产品的选择与评估方式也会随之出现变化，能否发挥出个人智能体最佳的性能，能否提供与智能体最佳的交互体验等都将成为用户评估终端产品的重要维度。因此，能够更好地搭载 AI PC 智能体的终端设备会获得更多用户的青睐。如果智能体在不同 AI PC 之间，尤其是不同品牌、技术路线的终端之间传输存在着不可避免的技术阻碍和困难，整个行业会形成类似当前不同OS 系统之间互相区隔的新生态圈。数据主权和隐私保护意识大为提高不容忽视的用户数据主权随着用户话语权的提升，用户数据主权将成为一个不容忽视的议题。AI PC 的交互方式使得用户的任务指令、请求与反馈都通过个人智能体集中。相比于现在的 PC 终端，用户的信息和数据同样有着集中化的趋势。为了提供专属的智能化服务，AI PC 也需要访问用户私密知识库的数据，以及分散存储在不同软件的本地和云端应用中的私人数据。在新的生态环境下，无论是对于终端、模AI PC 不再是一个冷冰冰的机器工具，而是升级成一个能够切实陪伴用户工作、学习与生活的个人 AI 助理。27AI PC 产业（中国）白皮书型还是应用厂商，对用户数据安全的重视程度都必须进一步提升。但除了用户，没有任何一方能够拥有对用户数据的处置权。因此，在 AI PC 带来的冲击之下，用户数据主权将不仅停留在概念层面，而将形成一套规范的政策、机制和管理体系。在这个新的体系下，用户将能够更主动地决定自己数据的处置权，包括是否开放部分调用和分析权限以获取更为智能和专属的服务体验。3.2 终端厂商：进阶为生态组织者终端厂商将承担起行业生态组织者的使命，以场景需求为基础面向用户整合产业资源，成为 PC 产业生态的核心中枢。AI PC 技术整合创新交付者在 AI PC 时代，终端设备、个人大模型与个人智能体成为了一个不可分割的组合，共同运作，为用户带来智能体验。AI PC 技术和体验的迭代需要设备硬件和软件同步进行，且能够步调一致，目标统一，整体交付和迭代。AI PC 的混合架构使得这一过程需要设备硬件和软件同步进行，且能够步调一致，目标统一，整体交付和迭代。AI PC 的创新需要以用户需求满足和体验提升作为第一驱动力，对“设备 个人大模型 个人智能体”这一组合进行整合创新。在全新的行业格局下，终端厂商作为用户与整个产业沟通的核心枢纽，以及算力、模型和应用生态的变革推动者与统合者，是完成这一整合创新的最佳交付者。如何更好地保护和利用用户数据主权，将成为需要整个行业进行研讨的重要议题。随之，隐私加密技术也将得到进一步的发展。AI PC 产业（中国）白皮书28新一代个人智能体及 AI 入口创造者和用户 体验维护者在 AI PC 上，个人智能体将作为用户通向 AI 功能的集成化入口，而终端厂商凭借着数十年对用户交互和体验习惯的研究与积累，将成为这一入口体验的创造者和维护者。个人智能体独立于操作系统，直接由终端厂商设计并完成开发，终端厂商将直接对个人智能体的界面 UI 和交互逻辑进行设计，并能够根据用户的反馈以 OTA 的方式进行迭代，对用户的体验“总负责”。联想的未来人工智能设备将永不停止学习，并承载个人大模型，通过更自然、更直观的交互功能，为用户提供更好的体验。Luca Rossi联想集团执行副总裁、智能设备业务集团（IDG）总裁本地化个人数据及隐私安全守护者作为存储用户隐私数据的重要载体，终端将成为用户数据保护和管理的第一阵地。终端厂商作为面向用户的统一出口，在安全标准方面具备充分的实践积累与行业信誉，因而将在 AI PC 的生态中发挥信息处理与保护的核心作用。架构层面安置于 PC 设备的个性化本地知识库将使用户数据主体储存于本地，基于安全性与必要性原则，对外部与本地的交互设置严格的协议标准，保证充分脱敏，在最大程度上将服务于“个性化”与“定制化”的隐私数据留置于本地。终端厂商以保护个人隐私和数据安全为目的，协同模型与应用厂商，共同制定数据安全标准和隐私保护协议，明确规定数据收集、使用、存储和共享的方式，以保证用户数据的合法性和安全性。29AI PC 产业（中国）白皮书开放的 AI 应用生态标准制定者和推广者终端厂商在 AI 应用和模型生态建设中也起着关键作用。在技术层面，终端厂商需要定义标准化的接口和 API，以便大模型与应用可以与终端设备进行互操作，并针对终端设备的性能和资源限制，对需要接入的大模型进行性能优化，进而使不同的模型和应用之间无缝互通，有效协作。终端厂商通过制定、发布接口标准，促进模型、应用间的能力获取，并通过使用通用接口规范、转换工具和通用的模型部署格式，提高模型开发和部署的效率，从而更快地在 AI PC中引入更多模型能力。此外，终端厂商还需要设计合理的商业模式，包括应用开发者的收益模式、合作伙伴关系、广告、许可费用等。3.3 AI 技术厂商：发展混合人工智能技术和服务基于公共大模型打造轻量化本地大模型，并提供个性化微调服务在当前的模型爆发期过后，大模型赛道将出现整合，基础大模型的数量会减少。同时，为了提供真正可信、个性化的服务，模型的落地将走向“公共 个人”在企业和个人数据安全和隐私保护问题上，联想进行了巧妙的设计。在使用个人大模型时，根据不同的任务隐私级别，用户的任务会被分类采取不同的处理方式。对于不涉及隐私的任务，会被发送到公共大模型进行处理。而对于敏感信息，则在本地处理，或经过任务拆解、数据脱敏后，由公共、私域、个人大模型共同完成任务，达到保护企业、个人数据安全和隐私的目的。AI PC 产业（中国）白皮书30的混合 AI 架构，针对不同形态和性能的终端进行调优和端侧的适配，以混合模型架构走端边云协同路线，实现模型的本地化部署。为了实现模型的本地化部署，AI 技术厂商将通过模型的蒸馏、压缩等技术将大模型“瘦身”，形成轻量化的模型。使得相对小规模的模型能够基本保留与大模型相似的性能，同时压缩模型的大小，从而减少对计算资源的需求。在 AI PC 的推动下，用户对于模型的专属化需求会进一步提高。用户希望根据自己的数据和业务需求，对模型进行微调以适应特定的应用场景。然而，自主微调的参与门槛较高，用户需要具备足够的技术和能力才能进行正确的微调操作。还需要具有足够数量级的数据，以及充足的边侧算力。同时，微调过程中还可能会存在的风险和问题，需要用户进行充分的测试和验证，以确保模型的性能和准确性。因此，AI 技术厂商还可能推出面向用户的个性化微调/自主微调服务。解耦和适配 AI PC 的个人智能体，为用户提供开放选择无论是 AI PC 本地模型还是云端公共模型，模型技术厂商都需要在终端厂商定义的标准化接口和 API 下，与智能体做好对接和交互，从而成为个人智能体所调用的能力的组成部分。模型与个人智能体之间、模型与模型之间解耦的设计，可以使得模型更加易于优化和调试，从而提高 AI PC 的综合性能。在适配 AI PC 个人智能体的过程中，模型厂商需要确定个人智能体所运行的环境，并针对个人智能体的运行环境，调整模型复杂度、优化模型结构、压缩模型大小等，进行性能、稳定性、可靠性等方面的适配，以确保模型能够满足实际应用的需求。模型厂商需针对个人智能体的反馈和实际应用效果不断调整模型参数、结构，持续对模型进行优化和更新，以提高模型的准确率。模型的充分解耦可以有效提升本地适配效率，以便用户根据自己的需求和偏好进行选择和定制。31AI PC 产业（中国）白皮书大小模型技术和服务相互配合、共同发展，释放 AI PC 本地混合 AI 算力价值相比于大模型在推理和复杂任务处理方面的优势，小模型能够更好地承担专门场景的推理任务。在一些用户常用场景，例如图片的优化，会议视频背景虚化等，AI PC 提供的本地算力已经能支撑小模型高效地完成这些任务。大小模型需要在混合架构之下进行合理的任务分配，实现多任务的协同处理和结果整合。大模型和小模型对复杂任务的共同处理可以充分利用大模型的通用性与专业小模型对特定任务的精准效果，得到更加全面和准确的解决方案。并在这一过程中，提高模型的适应性和稳定性，更好地应对不同的任务需求和数据分布变化。大小模型共同配合的 AI 功能设计中，需要充分考虑不同任务之间的关联性和差异性，以便进行合理的任务划分和集成，还需要充分考虑不同模型的优缺点和局限性，以便进行合理的模型选择和优化。此外，为了确保模型的性能和准确性，充分的实验验证和对比分析同样必不可少。在大模型技术高歌猛进的主旋律之下，小模型同样会进行持续的迭代，在效率、便捷度以及和端侧的协同调优方面有进一步的发展。大模型更高的准确性和更强的表示能力需要以更多的计算资源和存储空间为基础。而小模型则相对轻量级，可以在更短的时间内完成训练和部署，同时对计算资源和存储空间的需求也较小。3.4 应用厂商：AI 应用生态崛起AI PC 的升级将推动下一代 AI 应用生态的崛起。传统的应用生态是围绕着操作系统框架开发形成的，在 OS 之上提供专业的业务功能。在新的生态下，应用的开发，使用方式和评估机制都将发生颠覆性的改变。通过将大模型与小模型相结合，可以更好地利用计算资源，加快模型的响应速度，提高本地算力的利用率。AI PC 产业（中国）白皮书32大模型驱动的应用将快速发展本地大模型的 AI 能力并非无所不能，要想拓展大模型的能力边界，必须构建丰富的应用生态。大模型厂商一般采用“插件化”的方式来调用其他应用的模块化能力。应用插件化并与大模型对接，意味着第三方应用可以成为大模型能力的一部分，为用户提供服务。大模型结合生态化的插件功能，才能实现“无所不能”。AI 原生应用将快速增长随着 AI 应用生态的不断发展，围绕公共大模型和本地大模型的 AI 原生应用的占比将持续上升。AI 原生应用在开发阶段即以大模型为核心，并在开发过程中使用各种 AI 工具和框架，以实现 AI 的功能和特性。随着 AI 技术的不断发展和完善，AI 原生应用的适应性和稳定性也将不断提高，能够更好地应对不同的场景和需求，为人们的生活和工作带来更多的便利和效益，实现 AI 对应用生产流程的重塑。传统应用将升级为大模型赋能应用在 AI 原生应用成为市场主流的同时，众多传统的应用也将以云端调用等方式获得大模型的赋能，来提升任务完成的效率及智能化程度。同时，AI PC 带来的全新交互方式对传统应用同样构成冲击，除少数专业性应用外，以插件的形式被个人智能体调用将成为应用的主要启动和使用方式。在用户使用习惯变迁的推动下，传统应用也需要在这一方向进行快速的迭代，开放更多的 API，并33AI PC 产业（中国）白皮书提升自身作为插件被调用时的表现与反馈效果。传统应用厂商还需要和模型厂商合作，短期内通过对模型调用逻辑和输出反馈的调试来优化反馈效果；长期则进行更为彻底的重构，将自身转型为 AI 原生应用，以更好的获得在 AI PC 时代的表现。新型 AI 应用商店将形成全新的应用开发和调用方式也将变革应用的供给和分发模式。在插件化调用成为主流的 AI PC 时代，新的 AI 应用商店将提供一种新的商业模式为应用厂商和用户提供支持。AI 应用商店将聚合 AI 原生应用和由 AI 赋能的应用，并提供便捷的检索和下载支持。当个人大模型基于意图理解平台完成将用户指令编排为系列任务时，需要调取的插件化应用均可在 AI 应用商店中获取。AI 应用商店也将通过独立的审核机制，对应用的隐私保护协议与安全性进行更好的把控。插件化应用的上线，订阅，反馈收集与用户评价体系都与传统的应用不同。这些新的需求都将在全新的 AI 应用商店中得到探索和发展。AI 应用商店也将对“众创应用”(UGA)提供更多的开放性与包容性。AI 应用商店将能够与不同的用户社区打通，为众创应用提供一个认证，交易，下载与评价的平台，为开发者和使用者提供更稳妥的保障。形成以意图服务反馈驱动的新型应用评价和 迭代创新机制意图任务更多以插件化模式调用应用的“插件化”意味着：随着用户逐渐习惯通过个人智能体交互方式，应用被用户直接使用的场景会大大减少，除了少数专业性应用仍可通过传统方式进行调用外，大部分应用将通过个人智能体与意图理解平台被调用。这也对应用AI PC 产业（中国）白皮书34厂商提出了全新的要求。应用厂商应与终端厂商紧密合作，制定并发布应用程序编程接口（API）标准，包括数据交互、功能调用、界面设计等方面的规范，以确保个人智能体与应用能够顺利的协同完成用户的需求。在这种情况下，应用厂商将持续加大对自身插件化的投入。形成以用户意图反馈采纳次数为标准的应用评价机制“插件化”调用方式也意味着，一个不同于传统打分和定期发版更新的、基于对用户意图的理解的调用和反馈机制的应用评价和迭代机制将会形成。传统的链路中，应用厂商通过对用户的使用行为进行采集，结合调研分析的手段进行优化和新产品的开发。而 AI PC 通过任务分解与分发完成用户指令，在遇到专业性与复杂度较高的任务时，完成某些特定任务的应用可能会出现表现不佳的情况。开发人员可以基于大模型任务执行的反馈去识别应用迭代方向与新的开发需求。上述情况意味着应用的评估机制将迎来彻底的革新。以个人智能体为核心，根据用户的需求和输入，自主地做出相应的决策和推荐，从而提高服务的效率和准确性，并根据用户的使用情况和反馈，自主地优化和改进自身的服务和算法，从而不断提高自身的性能和准确性。行业将形成新的应用评估机制，评分指标将以用户调用次数、用户重新生成次数、主动采纳次数等为主。“众创应用&专业应用”共同发展的全新格局伴随着用户产业生态话语权的提升，应用还将进入自开发时代，非专业的个人用户也可以参与应用开发，通过基于模型的简单适配调整，生成新的应用。可扩展的 AI 框架和工具具备强大的功能和灵活性，使得用户可以根据自己的需求和数据进行简单的适配和调整。用户可以使用自动化开发工具和平台，快速构建和部署 AI 原生应用，或通过与个人智能体对话，进行应用或插件的开发。与此同时，以往专业的应用开发方式也仍然会继续沿用。行业将形成众创应用与专业应用共同发展的新格局。35AI PC 产业（中国）白皮书众创应用对行业造成冲击：AI 技术的进一步发展使得应用的开发门槛得到了极大的降低。众创应用（User Generate Application）将在应用市场上占据愈发重要的地位。在一些专业复杂度低的场景下，众创应用将对传统应用厂商造成巨大的冲击。专业应用仍留有一席之地：针对特定场景，仍有部分专业性极高的任务需要用特定的应用和软件来完成。出于效率和成本的考虑，个人智能体也不会构建针对此类任务的理解和解决能力。因此，在此类应用的使用上，用户仍将使用传统的方式与应用发生交互。用户将绕过个人智能体直接使用应用，但是会在应用内置的专业 AI 助手帮助下完成相关的任务。因此，无论是应用的开发，分发，使用场景还是评估方式，行业都将迎来“众创应用”和“专业应用”并行发展，共同繁荣的全新格局。3.5 算力厂商：普惠混合 AI 算力算力是 AI 技术的基础，是整个 AI PC 产业生态的血液。随着 AI 终端的爆发式发展，算力供给成为了制约 AI 快速普及的关键短板。为了应对行业对算力爆发式增长的需求，算力厂商将进行一系列彻底的转型，以提供普惠的混合 AI算力作为发力方向，推动 AI PC 的全面普及。混合 AI 算力成主流创新方向、智算性价比 将成核心评价指标云端算力的高昂成本是 AI 技术快速普及的主要阻碍。目前的算力供给模式以云端为主，主要满足大模型厂商对模型训练的巨额算力需求。但在 AI PC 到来之际，大模型将成为每一个人必不可少的助手，其用户规模将快速增长，对推理的算力需求势必将超过训练的算力需求。在这种情况下，算力集中于云端的在缺乏技术壁垒保护的领域，众创应用依靠成本低，数量多，时效性强和社区传播效应强等多种优势的加持，可能会成为用户（模型）的首选。AI PC 产业（中国）白皮书36模式将变得不可持续。因此，无论是模型的推理计算还是 AI 算力都需要向端侧和边侧下沉。而在端侧与边侧构建足够的 AI 算力，提升本地模型推理能力，从而形成端-边-云协同的混合算力是行业内不可阻挡的趋势。在搭建本地智能算力上，以 CPU NPU GPU 异构式架构方案提供本地算力是目前最为成熟的方案之一。CPU 厂商：CPU 将更普遍的集成 NPU。通过对 NPU 等强化 AI 运算和推理的单元进行集成来提升 CPU 在 AI 运算和任务分配上的性能将成为主要的发展趋势。CPU 厂商还能够进一步优化不同计算单元的调用机制，使得处理器的功耗能够进一步降低，即使在运行复杂的本地 AI 推理时也能够胜任。GPU 厂商：在传统的图像处理和运算性能的提升之外，GPU 厂商也将进一步加强对智能计算方向的优化。AI 芯片厂商：AI PC 为行业内带来一系列新的 AI 应用场景。这些不断发展和变革的场景也需要更强大的专属 AI 芯片提供支撑。AI 芯片厂商的行业地位将得到进一步提升，并在可信计算和增强智能计算方面为行业提供更多支持。智算性价比将成为核心评价指标在算力行业发展的初期，相对单一的评估指标有利于市场建立统一的评估基线。以云端算力供给为主要目的时，算力厂商更追求性能，因此 TOPS 等衡量算力性能的指标成为了主要的评估标准。但是在 AI PC 时代，端-边-云的混合算力架构成为主流，算力产品在终端设备上的表现将成为行业内评估其性能的新标准。在有限的成本与供给下达到最极致的智算性能，将是算力厂商发力的方向。在对智算性能的评价中，混合算力性能，算力产品在终端设备上的调优表现，功耗和成本都是重要的评估指标。智算性价比可以通过一个简单的公式进行描述智算性价比=性能 x 适配性/(功耗 x 价格)。其中，算力性能不再是唯一的正向因素，通过和终端厂商的合作，进行混合算力调优，提升算力产品在端侧的表现同样重要。通过更优秀的架构设计和机制提升功耗表现，并控制产品的最终价格也能有效的提升智算性价比。37AI PC 产业（中国）白皮书模型适配与 AI 开发框架的通用化趋势算力厂商还将建立通用、兼容的 AI 开发框架，并降低大模型和应用开发适配门槛模型。适配性对于 AI PC 产品来说是非常重要的因素。对于 AI PC 来说，依靠有限的算力能够推动更大参数规模的模型推理才是 AI PC 功能实现的关键。因此，算力产品与各类模型的适配将成为标准化的流程。模型适配程度将直接影响应用了算力产品的 AI PC 在模型推理方面的表现。同时，算力厂商不能只针对特定的应用进行调优，鉴于 AI PC 中应用将主要以插件的形式被大模型调用，对各类大小模型以及其调用的应用进行综合适配才最为重要。AI 开发框架的通用化则可以显著提升 AI 系统的效率与可扩展性，同时降低开发与维护成本。普惠与快速普及是算力发展的优先方向算力产品的效能对 AI PC 的购买与使用成本都有着决定性的作用。其中，算力成本的高低直接影响了 AI 技术的普及和推广，如果算力成本过高，那么 AI 技术就只能成为少数人的专利，而无法惠及每一个人。而算力产品的功耗同样对其续航表现和其他基础体验有着重要的影响。可以预见，在 AI PC 时代，提供高效能的普惠性智能算力将是算力厂商的优先发展方向，这将推动 AI PC 的快速普及。低功耗决定体验，长续航扩展场景：功耗的高低将影响到终端设备的整体成本。功耗较高的算力产品会提升终端设备其他组件的负担，从而对终端设备的形态，规格和成本产生整体性的影响。对消费者来说，高功耗的算力芯片可能意味着厚重的机身，高昂的成本，不够用的续航以及潜在的发热卡顿问题。AI PC 的终端形态本身就对算力产品提出了低功耗的要求。除此以外，通过与终端和系统的共同调优，提升其续航能力同样是算力厂商需要发力的重点。更长的续航能力可以直接提升用户的体验，也能够引领 AI PC 在移动办公等场景发挥出更关键的作用。在 AI PC 上，AI 开 发 框架的通用化也有利于后续大模型与应用之间的生态开放，通过提供统一的接口和工具，能够允许开发人员更敏捷的进行开发和调试。AI PC 产业（中国）白皮书38普惠性算力是算力发展的必然选择：对于整个行业来说，算力是大模型训练和迭代的基石，行业内对算力的巨大需求将倒逼算力厂商提供更充足的普惠性算力。对于未来的价格是决定产品市场定位的重要因素，对于 AI PC 来说，算力的价格高低直接影响了终端产品的定价，从而影响到潜在消费客群的规模。另外，AI PC 作为将 AI 技术惠及每一个人的跨时代产品，会将“算力消费”的概念带给整个消费市场。在大模型推理成为像连接 WIFI 一样普遍的未来，昂贵的算力将是不可想象的。39第四章AI PC 市场预测：2024 成为 AI PC 元年，加速 PC 升级4.1 中国 AI PC 的进化旅程AI PC 的发展是一个动态概念，各项价值和核心特征互相支撑，互相促进，逐步走向成熟。AI Ready 阶段AI ready 阶段基本具备了对 AI 任务更具针对性的本地混合 AI 算力，能够为AI PC 的软件及服务创新提供基本保障，开启体验创新。最初阶段主要表现为芯片计算架构的升级，集成了 NPU 计算单元的 CPU 陆续推向市场，以更高的能效比实现计算速度的提升，并在运行过程中具备更高的稳定性和可靠性。终端设备的混合 AI 算力，使 AI 软件能够更快地处理数据和任务，这对于一些如语音识别、图像处理等需要实时响应的 AI 应用尤为重要。2023 年，处在 AI Ready 阶段的 AI PC 将陆续上市。这类 AI PC 在硬件上具有一定的 AI 加速算力，但尚不具备完整的 AI PC 特征。AI PC 产业（中国）白皮书40AI On 阶段软件与硬件两方面的积累带来产业的跃变，AI On 阶段具有完整的 AI PC 核心特征，并且在核心场景提供划时代的 AI 创新体验，成为每一个人的个人 AI 助理。随着核心技术创新、产品体验优化、AI 应用生态繁荣，AI PC 能够服务于更加广泛的通用场景，并且能够实现端边协同计算、跨设备互联接力，甚至能够基于个人数据和使用历史，在边缘私域环境下实现个人大模型的微调训练。2024 年开始，符合 AI On 阶段标准，也即具备完备 AI PC 核心特征的 AI PC 将陆续进入市场，这将进一步拉动市场的快速增长，为整个产业发展注入新的活力。因此，2024 年将成为 AI PC 元年。4.2 中国 AI PC 终端预测AI PC 销量及 PC 终端新机装配占比预测2024 年 AI PC 快速登陆市场后，随着应用场景的不断拓宽，AI PC 将拉动 PC市场进入新一轮增长。IDC 对 AI PC 的预测数据包括处理器集成 AI 加速引擎的笔记本电脑和台式机。IDC 预测，AI PC 在中国 PC 市场中新机的装配比例将在未来几年中快速攀升，将于 2027 年达到 85%，成为 PC 市场主流。41AI PC 产业（中国）白皮书图 9 AI PC 市场规模及占比预测来源：IDC,2023注：本图中的 AI PC 预测数据仅含 AI 笔记本电脑和 AI 台式电脑，不含 AI 平板电脑。2023 年的 AI PC均为 AI Ready 设备。AI笔记本电脑和台式机 普通笔记本电脑和台式机 AI 笔记本电脑和台式机占比100 %单位：百万台占比202320242025202620278.1T.7t.6.3.6%PC 市场的增长来自消费与商用两部分市场的共同支撑。IDC 认为，在个人消费市场，AI PC 将缩短用户换机周期，加速换机潮的到来，同时改变 PC 市场的用户人群结构；中小企业将借助 AI PC 加速智能化转型，优化客户体验，提升运营效率；而大型企业的变化将体现于更长的时间跨度，AI PC 将长期与大型企业智能化转型相结合，充分释放企业内部活力。消费市场：加速换机潮提前，人群结构高端化AI PC 与个人效率的提升联系最为直接，对需求的拉动也将快速体现于消费市场。自媒体的兴起为个体用户的自我表达提供了更加丰富的形式与更加有力的渠道，消费者创造图片、视频等内容的需求空前膨胀，亟需功能强大的 AI PC帮助提高创作效率。同时，全方位、个性化的服务将使 AI PC 深度参与到用户的生活、工作当中，与用户产生情感联结，极大提升用户的使用粘性。AI PC 产业（中国）白皮书42IDC 认为，AI PC 的独有价值对用户的强大吸引力将大大缩短既有 PC 用户的换机周期，加速换机潮的到来。IDC 的研究数据显示，目前 PC 消费市场的主流换机周期为 3-5 年，2022 年仅有 10%左右的用户有 2 年内置换 PC 的计划。而 AI PC 的到来将加速这一换机潮的到来。越来越多的用户将因为 AI PC 而做出提前置换 PC 的决定。而 IDC 预测 2 年内置换 PC 的用户占比将翻倍，提升至 20%甚至更高。IDC 数据显示，目前 PC 消费市场的人群结构偏保守，对价格敏感且注重实用功能的节俭从众型用户和精明自主型用户合计占比接近 6 成。随着 AI PC 的到来，IDC 预测 PC 消费市场人群结构将发生变化。对新技术敏感且愿意尝试新科技的品味达人型用户将是 AI PC 的首批尝鲜用户；之后，越来越多注重生活品质和工作效率的稳重体面型的用户会在品味达人的影响下，置换旧机，成为AI PC 的主流用户并拉动 PC 消费市场人群结构的高端化；2025 年以后随着 AI PC 的普及，越来越多对技术参数和价格变化敏感注重性能和功能的精明自主型用户会成为 AI PC 的消费者主体。图 10 中国 PC 消费市场用户细分人群占比来源：IDC,20232025202420230 0%节俭从众型 精明自主型 稳重体面型 品味达人型24%01&)$#%IDC 预测，AI PC 会最先在消费市场快速增长，AI PC 在中国消费市场中新机的装配比例会略微高于 PC 整体市场。IDC 预测，在 AI PC 的带动下，中国消费市场个人电脑在居民家庭中的渗透率将突破瓶颈期，实现持续增长。未来几年，越来越多的家庭会因为 AI PC 独有的多模态交互、全场景适用、强劲算力、43AI PC 产业（中国）白皮书安全存储等优势选择将 AI PC 作为家庭内办公、学习、娱乐、创作的第一终端；甚至会有更多的家庭因为 AI PC 的专属性，每个家庭成员人手一台 AI PC。未来，AI PC 不仅将成为家庭的必需品，还会成为最了解家庭需求和生活习惯的“智能管家”，成为不可或缺，难以割舍的“家庭成员”。中小企业：借助 AI PC 加速智能化转型，优化客户体验，提升效率IDC 针对中小企业的研究显示，26%的中小企业 PC 用户了解并在工作中使用过大模型和生成式 AI 技术。其应用场景主要集中在协同办公和市场推广。媒体、医疗卫生、互联网行业对于增加 AI 方面的投资表现出了较高的意愿，“专业服务”领域的企业对 AI 方面的投资已经达到了较高的水平。中小企业体量较小，管理层级较少，组织结构相对简单，以低成本运营模式为主，在法务、财务、品宣、IT 等专业服务领域，通常不像大型企业一样具备完整的职能部门。AI PC 对各类资源的充分整合可以有效弥补这一短板，使中小企业得以最大程度提升自身的独立性。AI PC 还可以对远程平台实现赋能，通过强化远程沟通，帮助异地团队成员更好地协作，共享资源和信息，还可以帮助管理者更高效地组织和管理工作任务。通过对远程协同效率的提升，一方面减少业务人员的差旅成本，另一方面提升居家办公的生产力，减少企业在办公室空间方面的成本投入。在这一过程中，员工在差旅、通勤中投入的时间成本亦得以节省，间接帮助企业进一步实现运营效率的提升。AI PC 对市场推广与客服人员的支持将增加单个员工在单位时间内能够应对的客户与业务量，为企业达到提升效率的效果。同时，AI PC 也可以帮助中小企业实现流程管理自动化，放大其在灵活性方面的优势，从而为业务增加内生性推进因素。AI PC 产业（中国）白皮书44IDC 预测，AI PC 在中国中小企业 PC 市场中新机的装配比例提升速度将高于消费市场，在 2027 年达到 88%。随着 AI PC 的到来，中小企业将加大 IT 支出的投入，2024 年以后，53%的企业的 IT 投资额年增长率将超过 5%。大型企业：领先企业率先导入 AI PC，长期与智能化转型 相结合IDC 预测，由于数据安全等方面的要求较高，且体量大部署复杂，AI PC 给大型企业带来的变化将体现在更长时间的跨度。AI PC 在中国大型企业 PC 市场中新机的装配比例将于 2027 年达到 74%，其中 IT、互联网、金融和专业服务等科技领先行业的大型企业将率先导入 AI PC。AI PC 拉动 PC 市场稳定增长在 AI PC 的带动下，PC 的应用场景将得到进一步拓展，拉动市场规模进入新一轮增长。IDC 预测，中国 PC 市场将因 AI PC 的到来，结束负增长，在未来5 年中保持稳定的增长态势。台式机、笔记本电脑市场总规模将从 2023 年的3900 万台增至 2027 年的 5000 万台以上，增幅接近 28%。图 11 中国个人电脑市场规模预测来源：IDC,2023单位：百万台 市场规模2023202420252026202739.540.644.348.050.645AI PC 产业（中国）白皮书整体 AI 终端市场也将迎来爆发。IDC 将具有 AI 处理功能的芯片的终端设备定义为 AI 终端。IDC 预测，2024 年中国终端设备市场中，将有超过半数的设备在硬件层面具备针对 AI 计算任务的算力基础，至 2027 年，这一比例将进一步攀升至接近 80%的水平，并进入平稳提升阶段。图 12 中国 AI 终端占比预测来源：IDC,2023100 %AI终端 非AI终端59AEU5e%u!y 232024202520262027AI PC 单价和销售额预测消费市场：价格稳步上涨，销售额增长 8.3 倍IDC 预测，未来五年在主要面向个人和家庭的消费市场，AI 笔记本电脑平均单价在 5500-6500 元之间，AI 台式电脑平均单价在 4000 元左右，2024 年以后随着需求的增长和 AI 性能的提升，价格会稳步上涨。AI PC 产业（中国）白皮书46IDC 预测，未来五年在主要面向个人和家庭的消费市场，AI PC 的销售额将以笔记本电脑 为主，AI 笔记本电脑和 AI 台式电脑合计销售额将从 2023 年的141 亿快速攀升至 2027 年的 1312 亿，增长 8.3 倍。图 13 消费市场 AI PC 平均单价预测 AI笔记本电脑 AI台式机电脑来源：IDC,20238000600040002000单位：元2024202520262027图 14 消费市场 AI PC 销售额预测 AI笔记本电脑 AI台式机电脑来源：IDC,20230900006000030000单位：百万元202420252026202747AI PC 产业（中国）白皮书中小企业市场：价格稳中有涨，销售额增长 16 倍IDC 预测，未来五年在中小企业市场，AI 笔记本电脑平均单价在 5000-6000 元之间，AI 台式电脑平均单价在 3500 元左右，价格稳中有涨。图 15 中小企业市场 AI PC平均单价预测600050004000300020001000 AI笔记本电脑 AI台式机电脑单位：元来源：IDC,20232024202520262027IDC 预测，未来五年在中小企业市场，销售额 AI 笔记本电脑高于 AI 台式电脑，AI 笔记本电脑和 AI 台式电脑合计销售额将从 2023 年的 32 亿元快速攀升至2027 年的 547 亿元，增长 16 倍。图 16 中小企业市场 AI PC销售额预测40000300002000010000 AI笔记本电脑 AI台式机电脑单位：百万元来源：IDC,20232024202520262027AI PC 产业（中国）白皮书48大型企业市场：AI 笔记本和 AI 台式机同步普及，销售额增长190 倍IDC 预测，未来五年在大型企业市场，AI 笔记本电脑平均单价在 5500-6000 元之间，AI 台式电脑平均单价在 4000 元左右，价格稳中有涨。图 17 大型企业市场 AI PC平均单价预测8000600040002000 AI笔记本电脑 AI台式机电脑单位：元来源：IDC,20232024202520262027图 18 大型企业市场 AI PC销售额预测2500020000000来源：IDC,2023 AI笔记本电脑 AI台式机电脑单位：百万元2024202520262027IDC 预测，未来五年在大型企业市场，AI 笔记本和 AI 台式机将并驾齐驱，同步普及。AI 笔记本电脑和 AI 台式电脑合计销售额将从 2023 年的 2.3 亿元快速攀升至 2027 年的 449 亿元，增长 191 倍。49AI PC 产业（中国）白皮书 AI PC 应用价值预测AI PC 时代，PC 将不再是单纯的硬件设备，而是具备了可持续运营的价值。用户的购买行为将不再仅限于硬件本身的购买和使用，AI PC 生态相关的应用、模型及收费标准都会成为购买决策链中需要考虑的因素。由于个人智能体在全场景下都将发挥出不可或缺的作用，用户对 AI PC 的使用时长将超过传统 PC，而应用市场将作为这些新增使用时间的主要承载方。插件化的 AI 原生和 AI 赋能的应用将极大的拓展 AI PC 的智能化表现，使得应用将成为 AI PC 的主要附加品。因此，在 AI PC 时代，除了硬件本身的购买和维护费用，用户会为应用投入更多的付费，以买断或是订阅的形式，为包括公共大模型在内的附加服务付费，以提升 AI PC 的实用价值。4.3 中国 AI 平板电脑及边缘主机市场预测随着 AI PC 应用场景的不断拓宽，消费和中小企业市场有望迎来 AI 平板电脑和边缘 AI 主机的爆发。端边协同将成为 AI PC 在这些场景下的主要应用方式。AI 平板电脑：平板电脑也将追随 AI PC 进行大模型在本地运行的尝试，进一步提升智能化能力，特别是在教育学习、休闲娱乐和移动办公等领域。教育学习方面，AI 平板电脑可以提供更具个性化的学习体验，帮助学生更好地理解和吸收知识。在休闲娱乐方面，AI 平板电脑可以提供更丰富的娱乐体验，如高质量的游戏和影视体验。在移动办公方面，AI 平板电脑可以帮助用户高效地完成工作。据预测，到 2027 年，AI 平板电脑在平板电脑市场的占比将达到 75%。AI PC 产业（中国）白皮书50家庭 AI 主机：为了充分发挥 AI PC 在生活、教育等场景的作用，会有越来越多的家庭配置高性能的边缘主机作为家庭 AI 主机，为家庭内的 AI 终端提供充足的智能算力，实现家庭内各类 AI 终端和公共大模型的协同配合，支持家庭打造更智能的家居生态。在家庭主机的参与下，用户将能够对个人大模型进行微调，使得个人智能体能够根据家庭习惯和需求提供个性化的交互体验和反馈优化，打造家庭专属的生活管家、工作助手与家庭教师。中小企业边缘 AI 主机：边缘 AI 主机将成为中小企业新的业务 IT 化解决方案，将会有更多中小企业部署。企业边缘 AI 主机能大幅提升中小企业的边侧算力水平，为企业内的智能办公提供充足的算力支持，提升工作的效率和智能化程度。边缘 AI 主机也能够在闲时对企业专属模型进行微调，强化企业专属助手对企业术语、业务场景和特殊需求的理解程度，不断优化反馈效果。对不同行业的中小企业，边缘主机能够发挥差异化的作用。例如在设计行业，边缘主机能够使得企业智能体可以学习过往的作品，设计风格一致的作品。4.4 中国 AI PC 生态参与者发展预测算力厂商和芯片厂商ARM 和 x86 架构产品的算力厂商都将在中国 AI PC 的生态发展中起到重要的作用。主流厂商将进一步优化 CPU NPU GPU 的架构，以提升混合的普惠算力作为行业的发展方向，助力 AI PC 的大规模普及。通用性的 AI 开发框架和终端适配性将是厂商发力的主要方向。国际芯片厂商将继续成为中国 AI PC 生态的主要参与者。而在外部环境因素不确定性的影响下，中国本土的芯片厂商也有望得到进一步发展，在部分更看重安全和可靠性的行业内承担算力产品供给的任务，竞争格局将趋向复杂。家庭主机的普及还有望进一步推动智能家居的发展，如联想等在智能家居方面有布局终端厂商将进一步从中获益。51AI PC 产业（中国）白皮书大模型和应用厂商混合大模型的流行将推动公共大模型服务的发展。大小模型都将在 AI PC 时代进入更快速的发展阶段。传统的应用厂商均面临转型的压力，传统应用将大规模应用 AI 模型进行赋能，并对应用进行插件化适配。在工作，学习，生活场景下提供满足创作类任务需求的应用供应商会进一步升级。众创应用将对行业的格局造成冲击，用户利用 AI 自主开发的应用将在短期内对应用市场形成冲击，并最终成为应用生态的新兴参与者。以 AI 模型为核心的 AI 原生应用将逐渐成为市场的主流，并由此催生出一批新专注于 AI 原生应用的厂商。AI PC 应用还将形成规模庞大的周边市场，围绕 AI 原生应用开发的培训，用户社区维护与运营，AI 应用分发机制等提供全方位支持，为市场带来新的机会点。4.5 中国 AI PC 投资价值预测AI PC 终端厂商将成为新时代的直接受益方。AI PC 的出现将推动一轮 PC 与平板产品的升级与购机潮，并随着时间的推移进一步提升相关终端在中国的渗透率。这一趋势将为近来发展渐缓的终端厂商带来新的机遇与活力。AI PC 时代的行业生态格局也赋予了终端厂商更核心的地位，进一步提升了其潜在的投资价值。AI PC 在未来数年的推广和普及将由行业内龙头终端厂商引领，市占率更高的终端厂商将获得更大的收益。同时，能够围绕 AI PC 提供创新体验服务的工作、学习场景的应用提供商以及混合大模型厂商都也将从中获益。AI PC 的推广将带来大规模的模型和应用的购买与订阅付费。这一趋势在消费与中小企业市场将更为明显。AI PC 产业（中国）白皮书52结语 随着微软等厂商在 AI 应用侧的布局推广，以及 Intel、AMD、高通集成 AI 模块的 CPU 的推出，各大 PC 厂商正在积极探索全新 AI PC 的形态。联想、惠普、戴尔等终端厂商的 AI PC 产品有望相继落地，其中，联想已建立先发优势。2023 年 10 月，联想 Tech World 2023 大会展示了革命性的 AI PC 产品，能够在离线状态下本地化运行大模型，并根据用户个人数据生成定制化解决方案，保障数据隐私安全的同时更贴合用户需求。微软、英伟达、AMD、高通、Intel 等 CEO 参加大会并发表演讲，展示了其最新的 AI 规划及与联想集团在 AI 方面的战略布局。联想 AI PC 预计在 2024 年正式上市，2024 年将成为中国 AI PC产业元年。未来已来，AI PC 不仅将为中国的 PC 产业带来一次产业升级的大变革，还会让 AI 惠及更多用户，为广大用户带来更加高效和智能的美好体验。联想作为终端厂商，倡导整个产业生态的参与者一起拥抱变革，相互配合、加速推进 AI PC 在中国的落地与发展！国际数据公司（IDC）是在信息技术、电信行业和消费科技领域，全球领先的专业的市场调查、咨询服务及会展活动提供商。IDC 帮助 IT 专业人士、业务主管和投资机构制定以事实为基础的技术采购决策和业务发展战略。IDC 在全球拥有超过 1100 名分析师，他们针对 110 多个国家的技术和行业发展机遇和趋势，提供全球化、区域性和本地化的专业意见。在 IDC 超过 50 年的发展历史中，众多企业客户借助 IDC 的战略分析实现了其关键业务目标。IDC 是 IDG 旗下子公司，IDG 是全球领先的媒体出版，会展服务及研究咨询公司。关于联想集团IDC 中国（北京）：中国北京市东城区北三环东路 36 号环球贸易中心 E 座 901 室邮编：100013 idc idc凡是在广告、新闻发布稿或促销材料中使用 IDC 信息或提及 IDC 都需要标注白皮书来源。如需咨询，请致信 。翻译需要 IDC 额外的许可。获取更多信息请访问 ，获取更多有关 IDC GMS 信息，请访问 https:/ 2023 IDC。未经许可，不得复制。保留所有权利联想是一家成立于中国、业务遍及 180 个市场的全球化科技公司。联想聚焦全球化发展，树立了行业领先的多元上海品茶和运营模式典范，服务全球超过 10 亿用户。作为值得信赖的全球科技企业领导者，联想助力客户，把握明日科技，变革今日世界。地址：北京市海淀区西北旺东路 10 号院邮编：100085网址：

0人已浏览 2023-12-09 54页 5星级

前 言1以ChatGPT为代表的大模型技术，正以前所未有的速度深刻改变整个人类社会。比尔盖茨提出：“ChatGPT历史意义不亚于PC或者互联网诞生”。马斯克认为：“ChatGPT将颠覆世界”。马化腾在2023年腾讯股东大会上回应有关ChatGPT和AI相关的提问时说：“我们最开始以为是互联网十年不遇的机会，但是越想越觉得，这是几百年不遇的、类似发明电的工业革命一样的机遇”。2023年7月13日，国家网信办联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局七部门共同制定 生成式人工智能服务管理暂行办法，为国内大模型技术研发及应用提供了政策支持和合规指导。作为中国保险行业的深耕者，阳光保险集团立足全球视野，从大模型技术与保险底层逻辑出发，认为大模型技术将从根本上改变和赋能保险，保险业需要与时俱进，把握战略机遇。事实上，人保、平安、太保、泰康、众安、Zurich Insurance、Paladin Group等国内外保险公司和保险科技公司已经迅速行动，围绕大模型研发及应用进行布局，启动大模型在保险应用的主题创新。阳光保险集团于2023年初即启动“阳光正言GPT大模型战略工程”，积极探索和实践如何应用大模型技术重构保险业务模式。我们认为，联合产学研各方单位，深入研究大模型的技术原理，分析各保险公司和保险科技公司的大模型应用案例，将对大模型技术在保险行业落地提供实用的理论和方法。因此，阳光保险集团联合清华大学五道大模型技术深度赋能保险行业白皮书（2023）大模型技术深度赋能保险行业白皮书（2023）口金融学院、中国保险学会、北京百度网讯科技有限公司、中国科学院计算技术研究所智能信息处理重点实验室共同研究编写了 大模型技术深度赋能保险行业白皮书。白皮书聚焦大模型关键技术与核心能力，结合政策环境，深入剖析大模型在保险行业的多维应用场景与价值，为保险行业如何应用大模型技术、实现价值创造，提供实用参考建议。白皮书系统阐释了大模型技术与保险在底层逻辑上存在的天然契合性。一方面，大模型技术充分利用互联网上的一切数据，从而具备更高的准确性、更强的泛化能力、更低的应用门槛，实现了在传统深度学习基础上的性能飞跃，满足了各行各业在多元场景中的应用需求；另一方面，保险天然就与数据紧密相连，丰富的应用场景使得保险成为大模型技术的绝佳应用领域。这种天然契合性，使得大模型和保险的结合将从“能力涌现”逐步走向“价值涌现”，其价值创造也将向从量变到质变、从改变到变革、从变革到颠覆逐步演进。大模型的深度认知能力，将改变行业对风险认知与管理的能力，推动保险行业的精算模式从“粗放预测”向“精准预知”升级，推动风险管理从相对被动的“等量管理”向相对主动的“减量管理”转变。这一转变将重塑保险行业的商业模式，引领一场颠覆性的变革，开启保险业新的发展篇章。面对当今世界百年未有之大变局，我国在党的二十大精神指引下，以全面建成中国式现代化为主要目标进行了全方位战略布局。2023年10月30日召开的中央金融工作会议指2大模型技术深度赋能保险行业白皮书（2023）3出：“金融是国民经济的血脉，是国家核心竞争力的重要组成部分”、“做好科技金融、绿色金融、普惠金融、养老金融、数字金融五篇大文章”。保险业需要提高认识和站位，系统分析面临的形势、问题和挑战，坚定不移地推动保险改革与创新。我们认为，本次 大模型技术深度赋能保险行业白皮书 的发布恰逢其时，为保险业做好科技金融和数字金融两篇大文章提供了有力支撑。我们将坚定地走在创新前沿，将大模型技术与保险业务深度融合，为保险行业从科技赋能向科技引领的转变探索更多可能性。同时，我们也将与各界合作伙伴携手共进，共同推动科技保险和数字保险的发展，共创保险行业的美好未来！编委会大模型技术深度赋能保险行业白皮书（2023）目录CONTENTS大模型发展迅速 加速AI价值升级 11大模型技术创新，能力显著升级 11生态日益完善，推动大模型落地应用 14政策持续出台，助力大模型产业快速发展 162.11.11.21.32.1.1 投研：分析市场趋势、优化资产组合 212.1.2 产品设计及定价：挖掘客户需求、定价精准化 212.1.3 营销：赋能代理人、优化销售流程 222.1.4 承保：更精准的风险评估 232.1.5 理赔：定损智能化、助力欺诈识别 232.1.6 服务：赋能坐席 优化客户体验 242.2.1 办公：辅助内容生成，降本提效 252.2.2 HR：提升招聘效率、优化员工服务 252.2.3 财务：分析和决策更准确高效 262.2.4 法务：分析历史案例、快速合同审查 272.2.5 经营决策及管理：辅助战略规划及策略优化 272.2.6 风控：识别风险，提升安全性 282.3.1 数字人 292.3.2 数字员工 301大模型开放平台建设 打造可信大模型底座 323应用场景丰富 大模型助保险业增效提质 20保险领域：全业务流程赋能 202通用领域：提升内容生成与分析效率 252.2数字人与数字员工：智能化程度提升 292.354.2.6 Helvetia：利用Clara推进客户服务 63大模型技术深度赋能保险行业白皮书（2023）63.1 大模型开放平台架构 323.2 垂直领域大模型：更懂保险的大模型 353.2.1 训练方法 353.2.2 基座模型选择 373.2.3 数据来源 373.2.4 挑战及应对 383.3 插件集市 实现大模型与外部系统链接 394.2 国外险企积极转型，营销承保服务业务全覆盖 603.43.53.74.14.1.1 阳光保险：正言大模型开放平台赋能保险及办公全业务流程 474.1.2 中国人保：打造并发布人保大模型，多场景应用落地 534.1.3 平安：推出数字人产品、建立精准信用评级体系 554.1.4 太保集团：数字员工助力审计监督提升 564.1.5 泰康：积极构建生态，打造大模型原生应用 584.1.6 众安保险：将AIGC置入科技产品，打造系统应用全新体验 594.2.1 Paladin Group：承保工具UnderwriteGPT 604.2.2 Corvus Insurance：利用Corvus Risk Navigator平台实现核保614.2.3 Simplifai：Insurance GPT助力自动化索赔管理 614.2.4 苏黎世保险：使用ChatGPT辅助理赔及承保 624.2.5 印度Plum：PolicyGPT聊天机器人，进行客户联系服务 63积极探索落地 大模型价值全面初现 464大模型应用安全与合规 42保险业大模型评测体系 44国内险企躬身入局，初步探索AIGC应用落地 47大模型研发工具 提升模型研发效率 40智能路由和审核 实现大模型动态调度和内容安全 413.64.2.7 Tokio Marine&Nichido Fire Insurance：撰写答案草稿 634.3 互联网公司妥善布局，提供一体化解决方案 644.3.14.3.25.15.25.35.45.5强化治理，推动大模型可持续发展 68多方协同，构建大模型发展新生态 69面临的挑战 72应对措施建议 73挑战与机遇并存 积极布局加速赋能 665国内互联网公司布局办公领域及数字人 64大模型能力持续升级，应用前景可期 66微软Office打造办公“全家桶”64Google将生成式AI应用于Workspace 644.3.3大模型技术深度赋能保险行业白皮书（2023）7 大模型技术深度赋能保险行业白皮书（2023）9图目录CONTENTS大模型的内涵与特征 13图1“十四五”期间人工智能相关重要政策 17图2近年保险行业人工智能相关政策 18图3大模型赋能保险全业务流程 20图4正言大模型开放平台系统架构图 34图5垂直领域大模型训练的三类主要方案 36图6车险全线上销售机器人产品架构 48图7FAQ-DocQA-Chat问答链路 49图8预制或自定义各类人设，支撑多类办公文案场景 50图9端午节营销海报生成 51图10基于自然语言，实现报表自动生成 52图11不同模型自助切换，提供更优质的答案 52图12构建集成开发工具常青藤辅助编程插件，实现代码辅助 53图13人保大模型产品规划 54图14商汤AI治理理念 68图15大模型技术深度赋能保险行业白皮书（2023）1.大模型发展迅速 加速AI价值升级1.1 大模型技术创新，能力显著升级在人工智能的发展历程中，大模型技术的崛起无疑标志着一次历史性的突破。随着参数规模和数据规模的显著增长，大模型在各类任务中展现出更高的准确性、更出色的泛化能力以及更低的应用门槛，从而满足了各行各业日益多元化的需求。学术界、研究机构、产业界以及各级政府均对大模型给予了高度的重视，从算法模型、技术生态、落地应用和政策环境等多个层面，推动通用大模型和领域专用大模型的快速发展和应用。大模型，包括广义的人工智能预训练大模型及狭义的大型语言模型（Large Language Model，LLM），是一种具有庞大参数规模和高度复杂性的机器学习模型。通常来说，这种模型的参数量能够达到数十亿，甚至扩展到数万亿的惊人规模。通过在广袤无垠、未加标注的海量数据中进行大规模的预训练，这些大模型能够深入挖掘并掌握众多微妙的模式、规律和知识。它们展现出了惊人的“涌现”现象，即模型性能的准确性、表达能力的强度以及泛化能力的广泛性都展现出了卓越的优势。这种“涌现”现象是大模型最引人注目的特征之一，也是它们在自然语言处理、计算机视觉等领域表现出色的原因之一。大模型可分为通用大模型和专用大模型两类，它们在设计、训练与应用上均有所区别。通用大模型的目标是处理广泛的任务和领域，具备强大的泛化能力。通常，它们基于大量的无标注数据进行预训练，然后在特定任务上实施微调。这种“预训练-微调”的方法使通用大模型能够获取丰富的语义知识，因此在各种任务中表现卓越。例如，ChatGPT就是通用大模型的典型代表，可回答各类问题、生成文本、完成编程任务等。11大模型技术深度赋能保险行业白皮书（2023）12而专用大模型是针对特定任务或领域进行优化，具有很强的专业性。它们通常以领域数据或有限的有标注领域数据为基础，在通用大模型底座的基础上重新预训练或者微调，以更好地适应特定任务的需求。专用大模型在某些任务上的表现要优于通用大模型，因为它们能更准确地捕获到与任务相关的特征和模式。例如，彭博社发布的专门为金融领域打造的大语言模型BloombergGPT能更好地处理金融领域的数据和任务。大模型在传统深度学习基础上实现了性能的飞跃性提升，其主要特点包括：（1）庞大的规模：这些模型通常具有数十亿甚至数万亿个参数，这使得它们能够捕捉到数据中的复杂模式和关系。这种规模的模型在处理自然语言处理、图像识别和语音识别等任务时表现出了优越的性能。（2）高效的通用能力：由于其庞大的规模和强大的学习能力，大模型可以应用于多种不用的任务，展现出强大的性能。这使得大模型在实际应用中具有很高的价值，如在智能问答、语言理解、内容生成等领域。（3）强大的泛化能力：通过使用大量的训练数据，大模型可以学习到数据中的深层次结构和规律，这使得它们能够在面对新的、未见过的任务时，快速地找到合适的解决方案。（4）便捷的实用性：大模型能以合理的时间和资源，快速处理输入数据并做出响应，性能和效率能满足大部分应用场景的需求。大模型技术深度赋能保险行业白皮书（2023）与传统深度学习比较，大模型在处理复杂任务时具有显著的优势，从自然语言处理、搜索引擎到计算机视觉等领域，大模型技术都在不断地突破自身的能力边界，为人类带来了前所未有的便捷和智能体验。首先，在自然语言处理领域，大模型技术取得了重要的突破。目前，无论是智能语音助手还是聊天机器人，都在利用大模型技术实现更加自然、流畅的人机交互。通过对大量文本数据的学习，大模型技术可以理解用户的意图，生成符合语法和语义的自然语言回复。这不仅提高了人机交互的效率，还降低了开发成本，使得越来越多的企业和个人能够享受到智能问答带来的便利。其次，大模型技术在搜索与推荐领域的应用已经深入人心。谷歌、Bing、百度等主流搜索引擎都在利用大模型技术为用户提供更加精准、高效的搜索结果。通过对海量数据的学来源：AI大模型市场研究报告（2023）迈向通用人工智能，大模型拉开新时代序幕，A Frost&Sullivan White Paper.（经整理）13图1 大模型的内涵与特征大模型技术深度赋能保险行业白皮书（2023）14习和分析，大模型技术能够理解用户的需求，快速返回相关的信息，极大地提高了用户的搜索体验。针对推荐系统，大模型技术通过分析用户的兴趣和行为，为用户推荐最符合其需求的内容，从而实现个性化推荐。在计算机视觉领域，大模型技术同样展现出了强大的潜力。通过对大量图像和视频数据的学习，大模型技术可以实现对图像内容的理解和分析，从而实现目标检测、人脸识别、图像分割等功能。这些功能在医疗、无人驾驶、安防等领域都有着广泛的应用前景。例如，在医疗领域，大模型技术可以辅助医生进行疾病诊断，提高诊断的准确性和效率；在无人驾驶领域，大模型技术可以实现对道路环境的感知和分析，为自动驾驶提供安全保障。当然，大模型技术的发展也带来了一些挑战。如何保证数据安全和隐私保护成为了亟待解决的问题。此外，大模型技术可能产生歧视性、偏见性或不道德的输出，还有可能出现大模型“幻觉”，需要制定相应的政策和技术措施来确保模型的公平性、道德性。同时，随着大模型技术的不断升级，硬件设备的投入和维护成本也在不断增加。为了应对这些挑战，我们需要不断探索、研究和创新。同时，我们也需要加强合作和交流，共同推动大模型技术的进步和发展。大模型生态的发展日益完善，从底层基础设施到大模型研发平台、大模型能力扩充、大模型服务平台、基于大模型的AI Agent等不同层次，各项技术及平台均在不断进步和创新。首先，在基础设施支撑上，GPU技术在近年来取得了显著的进步。随着计算能力的提升，GPU已经成为了训练大型模型的重要工具。相比于传统的CPU，GPU能够提供更高效的并行计算能力，大大提高了训练速度。同时，GPU厂商也不断推出新的产品和技术，使得1.2 生态日益完善，推动大模型落地应用大模型技术深度赋能保险行业白皮书（2023）15GPU能够更好地支持大规模模型的训练。例如，NVIDIA的Ampere架构和Google的Tensor Processing Unit(TPU)等新型GPU产品，为大模型训练提供了更强大的计算能力和更低的能耗。其次，大模型研发平台也在不断发展和完善。这些平台提供了一整套的工具和服务，帮助研究人员和开发者更方便地开发和部署大模型。这些平台还提供了可视化界面和编程接口，使得开发者可以更加直观地进行模型的训练和调整。例如，Google的TensorFlow、Facebook的PyTorch及百度的PaddlePaddle等深度学习框架都提供了丰富的预训练模型和API接口，使得用户可以轻松地使用这些模型进行迁移学习和微调。此外，一些开源项目，如Hugging Face Transformers、阿里ModelScope等，也在推动大模型生态的建设，为用户提供了丰富的预训练模型和API接口。百度于今年3月推出的百度智能云千帆大模型平台是全球首个一站式的企业级大模型生产平台，不仅提供基于文心一言或者第三方开源大模型的大模型服务，还提供全套工具链和开发环境，帮助企业开发自己的专属大模型。这些平台的出现，大大降低了大模型研发的门槛，使得更多的研究者和开发者能够参与到这个领域。然后，在大模型能力扩充方面，插件技术的发展为大模型生态的完善提供了重要支持。通过插件技术，用户可以方便地将不同领域的知识和数据集成到大模型中，从而提高模型的泛化能力和性能、丰富大模型应用的功能和场景。例如，一些研究团队已经开发出了针对自然语言处理、计算机视觉等领域的插件，这些插件可以帮助用户快速地构建出具有特定任务能力的大模型。此外，一些公司也在积极探索插件技术的应用，例如通过插件实现与内部业务系统的链接，实现大模型与业务流程的衔接。较具代表性的大模型应用开发框架包括LangChain、LlamaIndex以及Deepset Haystack等。大模型服务平台也争相涌现，为用户提供了众多获取大模型能力的途径。OpenAI API大模型技术深度赋能保险行业白皮书（2023）16作为较早向公众开放的大模型服务平台，通过提供不同的API来满足用户对不同GPT模型的需求。百度文心一言不甘示弱，提供了APP、API接口、网页版等多种形式的开放服务，更集成了插件机制，有效拓展了大模型的能力边界。此外，还有微软Azure OpenAI、Midjour-ney、讯飞星火认知大模型、百川大模型等国内外大模型服务平台，如同群星闪耀，为用户提供了丰富、便捷的大模型能力访问途径。最后，基于大模型的AI Agent技术崭露头角，这个具备自主思考和执行能力的智能体，被视为通往AGI的主要途径，并将为各行各业的数字化转型提供有力的支持。据统计，目前已有近10万名开发人员正在构建自主Agent，有上百项目正致力于将AI Agent商业化。AutoGPT、MetaGPT、谷歌DeepMind的robotic agent、阿里云ModelScopeGPT等国内外AI Agent实例已经展现出了令人瞩目的强大性能，并正在迅速发展。大模型生态的演进日新月异，其发展势头正以前所未有的速度推动着人工智能领域的进步。我们翘首以待，期待这个生态系统持续繁荣，为大模型的广泛应用和价值创造开启更多的崭新篇章。在政策层面，国家和行业都陆续出台相关支持政策及监管政策，助力大模型技术及产业的快速、规范发展。在2021-2025的“十四五”规划期间，国家从宏观政策层面，强调了人工智能作为战略前沿领域的重要性，对人工智能新技术、新产业给予了巨大的支持。地方政府也积极呼应国家战略，出台大模型支持政策，推动大模型产业快速发展。1.3 政策持续出台，助力大模型产业快速发展大模型技术深度赋能保险行业白皮书（2023）同时，我国工信部、央行、银保监会以及中保协等相关部门或协会相继推出了一系列推动保险公司和金融机构数字化转型的措施与政策，以促进保险科技的迅速发展。2023年2月，中共中央和国务院联合发布 数字中国建设整体布局规划，强调在金融等关键领域加快数字技术创新应用的重要性。人工智能作为数字技术的核心之一，在金融机构的应用前景可期。在AIGC大发展背景下，保险行业大模型的场景化应用正享有良好的政策环境。17图2 “十四五”期间人工智能相关重要政策大模型技术深度赋能保险行业白皮书（2023）18在国际上，早在2021年，美国白宫科技政策办公室便专门成立国家人工智能计划办公室，负责监督、实施人工智能战略计划。白宫于2023年5月23日更新发布了 国家人工智能研发战略计划，该计划是对2016、2019年版 国家人工智能研发战略计划 的补充更新，重申了之前的8项战略目标并对各战略的具体优先事项进行了调整和完善，同时增加了新的第9项战略以强调国际合作。欧洲议会和欧盟理事会于今年6月制定了 人工智能法案（AI Act），法案将人工智能系统的风险等级分为四级；对于不同风险等级，法案采取了不同程度的监管措施；并要求在欧盟范围内设计、开发和使用人工智能驱动的产品、服务和系统，需要遵循全流程风险管理措施。各国政策密集出台的背后，实质上反映出各国政府希望将人工智能技术安全深度地图3 近年保险行业人工智能相关政策大模型技术深度赋能保险行业白皮书（2023）融合到国家的主要经济和社会部门中，以激发实质性的经济及社会价值。以大模型技术为代表的新一代智能技术，在各国政府的战略规划和重大投资中占据着举足轻重的地位。我们有理由相信，这一技术的快速、稳健发展将为未来的社会经济发展开辟新的广阔空间。19大模型技术深度赋能保险行业白皮书（2023）大模型可以应用到保险领域的全业务流程，帮助保险企业更好地分析市场趋势、理解客户需求、精准化产品定价、提升营销效率、提高风险管理能力、提升理赔便捷性、改善服务质量，从而降低运营成本、提升营销和服务效能、提升客户体验。2.1 保险领域：全业务流程赋能随着大模型技术的迅速发展，各行各业正在经历前所未有的变革。保险行业作为数据密集型行业，具备数据优势，且应用场景丰富，是大模型的最佳应用领域之一。大模型与保险的底层逻辑不谋而合，它们共同依赖于数据和模型这一基石。大模型的底层架构以数据和模型为核心，而保险业则秉承大数法则，同样以数据和模型为基础。正因如此，保险与大模型之间存在着天然的契合点，使得大模型在保险行业的应用前景愈发广阔。2.应用场景丰富 大模型助保险业增效提质20图4 大模型赋能保险全业务流程大模型技术深度赋能保险行业白皮书（2023）21大模型在投研领域的应用可以包括以下几个方面:通过分析金融市场的风险和波动性，为投资者制定风险管理策略和投资组合提供参考建议。通过分析大量的金融和经济数据，利用大模型预测市场的趋势和价格波动，帮助投资者制定投资策略。通过分析资产间的相关性及风险收益特征，帮助投资者进行资产配置和组合优化，以实现最大化收益和降低风险的目标。通过分析市场数据，结合交易策略，大模型自动生成交易决策，进行高频交易。通过分析大量的新闻和社交媒体数据，大模型可以识别与金融市场相关的事件，并预测其对市场的影响程度，从而为投资者提供更准确的投资建议。大模型可以自动识别和理解财务报表中的关键指标和数据，辅助投资者分析公司的财务状况和盈利能力。大模型在保险产品设计与定价环节有丰富的应用场景。2.1.2 产品设计及定价：挖掘客户需求、定价精准化2.1.1 投研：分析市场趋势、优化资产组合金融风险管理市场趋势和价格波动分析量化交易舆情分析财务报表分析资产配置和组合优化基于大模型对客户的个人信息、消费行为、健康状况等多方面进行分析，以了解客户的需求和风险偏好。这有助于保险公司为客户提供更加个性化的保险产品，提高客户满意度和忠诚度。大模型可以帮助保险公司更好地了解市场需求，从而设计出更具竞争力的产品。例如，通过对市场趋势的分析，大模型可以为保险公司提供关于投资型保险、健康险等险种的创新建议。帮助产品精算人员更精准地识别潜在的风险因素、评估各因素的影响程度，支持千人千面的个性化定价，实现定价精准化。此外，大模型还可以根据市场变化和竞争对手的策略动态调整保费，以保持竞争力。为保险精算人员提供强大的数据处理及分析工具，为保险产品设计和定价提供支持。客户需求分析产品定价数据处理及分析产品设计支持大模型技术深度赋能保险行业白皮书（2023）22在保险营销环节，大模型在售前、售中和售后的方方面面有诸多落地场景：2.1.3 营销：赋能代理人、优化销售流程基于大模型技术，险企可以通过知识挂载或知识注入，打造智能化保险产品咨询机器人，为客户提供便捷的、全天候在线的保险产品咨询服务。保险产品咨询机器人可以回答客户关于保险产品的各种问题，包括保险种类、保险责任、保险期限、投保条件、保险条款、保费等等。基于大模型技术构建智能保险产品推荐机器人，通过分析客户的背景、需求、偏好、风险承受能力等信息，结合保险领域大模型丰富的保险产品知识，通过自然语言交互，为客户提供个性化的保险产品推荐和配置方案建议，提高保险销售效率和客户体验。根据客户自身及家庭的特点，基于大模型具备的各类保险的功能、保障责任、特点等专业知识，针对复杂、多样的客户需求，给出专业、科学的保险配置方案建议。保险产品咨询保险产品个性化推荐保险智能配置基于大模型技术构建的智能保险销售辅助机器人，它具备更深入的客户洞察能力、更专业的领域知识、更精准的客户意图及情绪识别能力、更丰富的营销经验，可在销售过程中为代理人提供个性化的保险销售支持和建议，提高销售效率和客户满意度。代理人销售辅助 综上，大模型技术在保险销售领域各方面的应用，可以提升代理人技能、提高保险销售效率，同时也为客户提供更加便捷的服务，提升客户体验。构建针对代理人的智能陪练机器人，将营销序列话术的训练升级为自动化、智能化、场景化的体验式培训，在模拟的业务场景中循序渐进、持续练习，真正帮助营销人员强化开口能力、规范话术要点、提升沟通技巧，助力销售人员向专业顾问升级。基于大模型技术可快速生成文案，包括营销口号、朋友圈文案、短信、微信公众号文章等等。也可以与Midjourney等文生图工具结合，智能生成宣传海报、宣传视频等视觉内容，大幅提升营销素材的生成效率。在产品咨询、产品个性化推荐等功能基础上，增加智能化风险评估、保费计算及在线核保等功能，打通保险销售线上化全流程，节省人力成本，提升效率。代理人智能陪练营销素材设计全线上销售支持大模型技术深度赋能保险行业白皮书（2023）基于大模型的多模态能力，对车险现场照片的风险点、车损照片细节等进行处理和分析，有效识别车辆损失程度，并判断是否存在蓄意制造交通事故、车辆套牌等欺诈方式，提升定损效率。通过自动化的理赔申请处理、索赔处理、理赔评估、理赔审核、理赔结算，大模型可以帮助保险公司实现更快速、更准确的理赔处理。将大模型技术与地球科学、大数据技术等结合，建立针对常见灾害种类的灾害风险管理及预警体系，为客户提供气象灾害、台风路径等预警信息，提醒客户及时采取防灾减损措施。基于大模型对理赔案件的欺诈风险进行评估，实现对欺诈风险由点及面的识别，为案件稽核人员提供线索，实现理赔风险排查智能化全覆盖。智能定损风险预警风险反欺诈智能理赔23大模型技术能够帮助保险公司更全面、精准地评估风险；同时能够智能辅助人工核保。2.1.4 承保：更精准的风险评估大模型可以在理赔处理的各个节点提供自动化服务，从而提高理赔效率、降低成本、提升客户体验。2.1.5 理赔：定损智能化、助力欺诈识别基于客户提交的保单信息，结合外部数据源的数据，大模型对保单的风险进行全面、准确的评估，帮助核保人员更准确地判断承保条件（承保责任、保额及保费等）。通过学习核保规则、承保及理赔历史数据、外部数据源数据，实现基于大模型的自动核保，基于客户提交的保单数据，自动给出核保决策，提升核保效率和准确率。利用大模型发现保单中的异常信息，包括保单录入信息与客户实际信息不符、重复投保、超额投保等，提醒业务员进行进一步调查及审核，降低公司风险。风险评估自动核保异常识别大模型技术深度赋能保险行业白皮书（2023）基于大模型的上下文分析理解能力，对通话录音进行全量质检，包括语速、语调、抢插话、情绪等方面，提升质检效率。智能质检大模型可以作为培训和教育工具，帮助坐席提高业务能力和专业知识。通过对保险行业知识的学习，大模型可以为员工提供实时的答疑解惑服务，提高员工的工作效率和服务质量。培训与教育利用大模型对坐席与客户的通话录音进行总结，包括客户意图、关键信息等，方便公司了解客户对产品和服务的评价，同时为坐席的服务质量评估提供参考。通话总结与注记利用大模型技术实现智能客服系统，实现与客户的7*24高质高效沟通，提升用户体验。2.1.6 服务：赋能坐席，优化客户体验24基于大模型强大的智能对话能力，和客户进行7*24的高质高效沟通，提升用户体验及留存，缓解客服人力不足问题。通过对大量客户数据的分析，大模型可以帮助保险公司更好地了解客户需求，从而制定更有效的客户关系管理策略。例如，大模型可以分析客户的购买历史、服务使用情况等数据，为客户提供更加精准的服务建议。通过分析客户的个人资料和生活习惯等数据，大模型可以帮助保险公司对客户的健康状况进行更精确的评估；为客户提供个性化的预防保健方案，如疫苗接种提醒等；对于已经患有疾病的客户，大模型可以提供定制化的康复计划和心理咨询服务，以帮助他们尽快恢复健康。自动问答客户关系管理客户健康管理在坐席与客户对话过程中，大模型根据上下文对客户意图及需求进行识别，为坐席推荐最优话术，提升服务质量及客户满意度。话术推荐25大模型技术深度赋能保险行业白皮书（2023）大模型在办公领域也有广泛的应用场景。2.2 通用领域：提升内容生成与分析效率2.2.1 办公：辅助内容生成，降本提效综上，大模型在办公领域的应用可以提高企业的工作效率，降低成本，提升用户体验，为企业带来更多的商业价值。随着技术的不断发展，大模型在办公领域的应用场景还将不断拓展。在人力资源领域，大型AI模型可以应用于多个场景，帮助企业提高招聘效率、优化员工管理和提升员工满意度。以下是一些典型的应用场景：2.2.2 HR：提升招聘效率、优化员工服务基于大模型的向量化能力，对知识库进行文本向量化，存入本地向量库；对用户输入进行向量化，并在向量数据库中检索最为相关的内容，再将检索到的相关信息和预先设计的提示词一起输入给大模型，得到最终返回结果。该方案可有效降低对知识库构建的要求，节省资源及人力。知识库问答基于用户提供的主题、要点或是草稿，大模型根据要求帮助用户生成相关内容。如公文写作、邮件生成、会议摘要、文档审核等。文本生成及摘要基于用户指定的主题及要点，大模型帮助用户生成培训课件；并能根据用户给出的字体偏好、颜色搭配、布局优化等建议，提升课件的专业性和趣味性。培训课件生成大模型可以将语音转换为文字，或将文字转换为语音，方便用户利用语音与系统进行交互。语音识别与合成基于大模型的多模态能力，智能生成宣传海报、宣传视频等视觉内容，大幅提升视觉素材的生成效率。视觉内容生成大模型可以实现多种语言之间的自动翻译，帮助企业跨越语言障碍，更好地与全球客户和合作伙伴沟通。机器翻译在系统开发场景中，基于大模型进行开发代码自动补全、开发代码自动优化、测试用例自动生成等，帮助开发者更高效地编写及调试代码。编程辅助大模型技术深度赋能保险行业白皮书（2023）这些应用场景可能会给人力资源带来许多具体的变革，例如：提高招聘效率和准确性，减少招聘成本和时间；提高员工绩效和发展计划的个性化程度和准确性；提高绩效评估的客观性和准确性，减少主观因素的影响；提高人力资源数据的分析能力，为决策提供更准确的支持。在财务领域,大模型的运用可以为企业提供更准确、更高效的财务决策和预测,帮助企业降低风险、提高效益。2.2.3 财务：分析和决策更准确高效26利用大模型对大量求职者的简历进行自动筛选和分析，企业可以快速找到符合职位要求的候选人。同时，它还可以为候选人提供自动化的面试反馈，提高面试效率。通过分析历史招聘数据和行业趋势，大模型可以帮助企业更准确地预测未来的人才需求。这有助于企业提前做好人才储备和招聘计划。利用大模型对员工的技能和知识进行分析，企业可以为员工提供个性化的培训和发展建议。同时，它还可以协助企业构建智能的学习平台，提高培训效果。简历筛选与自动化面试岗位需求分析与人才预测员工培训与发展通过分析员工的工作数据和行为模式，大模型可以帮助企业更准确地评估员工的绩效，并制定合适的激励方案。这有助于激发员工的工作积极性和提高整体绩效。绩效管理与激励方案设计人力资源数据分析与决策支持利用大模型对员工的反馈数据进行分析，企业可以了解员工的需求和期望，及时调整管理策略和改进工作环境。这有助于提高员工的满意度和忠诚度。通过对人力资源数据的深入挖掘和分析，大模型可以为人力资源部门提供有价值的洞察和决策支持。这有助于企业优化人力资源管理流程，提高管理效率。员工满意度调查与改进财务报表分析利用大模型对大量财务数据进行深度挖掘，发现潜在的财务问题、趋势和机会。这有助于企业更好地制定战略决策和优化财务管理。27大模型技术深度赋能保险行业白皮书（2023）在法务领域，大型AI模型可以应用于多个场景，提高工作效率和准确性。以下是一些典型的应用场景：2.2.4 法务：分析历史案例、快速合同审查2.2.5 经营决策及管理：辅助战略规划及策略优化利用大模型对未来的市场趋势、经济环境和行业动态进行预测分析，为企业的财务规划提供有力支持。财务预测与规划大模型可以自动识别税收法规的变化，为企业提供合规建议。同时，它还可以分析企业的税务结构，帮助企业找到合理的税收优化方案。税务合规与优化通过分析历史市场数据、公司基本面和技术指标，大模型可以为投资者提供个性化的投资建议和资产配置方案。投资组合管理大模型可以自动识别潜在的审计问题，提高审计工作的效率和质量。此外，它还可以协助审计人员进行复杂的数据分析，减轻工作负担。审计自动化大模型可以分析供应链上的各个环节，为企业提供融资建议和风险管理方案。此外，它还可以协助企业优化库存管理，降低运营成本。供应链金融通过分析历史案例、法规和判例，大模型可以为律师提供有关特定法律问题的详细信息和指导意见。此外，它还可以协助律师进行法律研究，节省时间并提高效率。法律研究与案例分析利用大模型为企业提供合规咨询服务，帮助企业了解并遵守相关法律法规。同时，它还可以为企业员工提供在线培训课程，提高员工的合规意识和知识水平。合规咨询与培训利用大模型对案件背景、相关法规和判例进行深入分析，为律师提供有针对性的诉讼策略建议。同时，它还可以预测案件的可能结果，帮助律师制定更有效的诉讼计划。诉讼策略与预测利用大模型自动识别合同中的关键条款、风险提示和潜在的法律问题。这有助于法务团队更快速地完成合同审查工作，并降低错误率。合同审查与分析通过分析专利、商标和著作权数据，大模型可以帮助企业更好地管理和保护其知识产权。此外，它还可以协助企业发现潜在的侵权行为和维权途径。知识产权管理大模型可以理解和处理自然语言，从而简化律师在撰写法律文件、起草合同和其他法律文书时的工作流程。法律语言处理舆情监控与声誉风险管理实时监测网络上的舆论动态，分析客户对企业和产品的态度和看法。通过对舆情的监控，企业可以及时发现潜在的声誉风险，采取措施进行危机公关和品牌维护。操作风险管理通过对企业内部流程和数据的监控，大模型可以识别潜在的操作风险，帮助企业改进内部控制和合规管理。例如，模型可以检测到员工违规操作、内部欺诈等风险事件，并提醒企业采取相应措施。供应链风险管理帮助企业评估供应链中的潜在风险，例如供应商的信用风险、物流延误等。通过对这些风险的预测和管理，企业可以确保供应链的稳定运行，降低潜在的损失。销售与营销策略优化通过分析市场数据和消费者行为，大模型可以帮助保险公司制定更有效的销售和营销策略。同时，它还可以协助企业进行客户细分和个性化推荐，提高客户转化率和市场份额。市场分析与趋势预测利用大模型对大量市场数据进行深度挖掘和分析，发现潜在的市场机会和趋势。这有助于企业制定更有针对性的市场营销策略和产品战略。合规与监管监控利用大模型对企业的业务数据和合规要求进行实时监控，保险公司可以确保业务的合规性并及时发现潜在的合规风险。同时，它还可以协助企业应对监管变化，降低合规风险。大模型技术深度赋能保险行业白皮书（2023）在企业风控领域，大型AI模型可以应用于多个场景，帮助企业提高安全性、降低风险。以下是一些典型的应用场景：在经营决策及管理方面，大模型技术可以应用于以下多个场景，辅助战略规划及策略优化：2.2.6 风控：识别风险，提升安全性28市场风险管理帮助企业预测市场波动，评估投资组合的风险敞口，从而制定合适的投资策略。此外，大模型还可以用于对冲策略的优化，降低市场风险对企业的影响。战略规划通过对内外部环境的分析，大模型可以帮助企业制定长期战略规划，支持企业在不断变化的市场环境中保持竞争力。29大模型技术深度赋能保险行业白皮书（2023）数字人是一种超越物理界限的虚拟人物，通过计算机手段创造和使用，具有人类的外貌特征、表演能力和交互能力等。其核心价值在于提供拟人化的服务和体验，并呈现出超写实、强交互和工具化的发展趋势。随着虚拟数字人理论和技术的迅速发展，其应用范围不断扩大，在电商直播、短视频等传媒类场景，及医护、政务等服务类场景，还有文旅、教育类场景中渗透速度较快。大模型的加持，将从以下方面显著提升数字人的智能化程度，“让数字人更像人”：（1）更强大的语言处理能力：大模型将使数字人能更好地理解和生成自然语言，使其与人类进行更流畅、更真实的对话。这将有助于提高数字人在客户服务、培训、营销等场景的应用价值。（2）更丰富的情感表达：大模型可以使数字人更准确地识别和模拟人类的情感，从而在与人互动时表现出更丰富的情感表达，提高逼真程度。（3）更强的逻辑推理能力：大模型可以帮助数字人更好地理解复杂情境，进行逻辑推2.3 数字人与数字员工：智能化程度提升2.3.1 数字人帮助企业识别潜在的法律和监管风险，例如违反法规的行为、政策变动等。通过对这些风险的预测和管理，企业可以确保合规经营，降低潜在的法律诉讼和处罚成本。法律合规与监管风险管理通过分析传感器数据和历史行为模式，大模型可以帮助企业构建智能的入侵检测和报警系统。这有助于企业及时发现并阻止潜在的入侵行为，保障企业资产和人员安全。入侵检测与报警通过分析员工的安全行为数据和行业最佳实践，大模型可以为员工提供个性化的安全培训和意识提升建议。这有助于提高员工的安全意识和技能水平，降低安全事故发生的概率。安全培训与意识提升利用大模型对视频数据进行实时分析，企业可以识别出异常行为和潜在的安全隐患。这有助于企业及时发现并应对安全问题，提高安防效果。视频监控分析与异常检测大模型技术深度赋能保险行业白皮书（2023）理和决策。这将使数字人在解决问题、提供建议等方面更具优势。（4）更高效的学习能力：大模型可以通过大量数据的学习，使数字人具备更强的知识储备和学习能力。这将有助于数字人在各种领域不断进步，适应不断变化的环境。（5）更好的个性化定制：大模型可以根据用户的需求和喜好，为数字人提供更个性化的定制服务。这将使数字人在不同场景下更具吸引力和实用性。（6）更强的跨领域应用能力：大模型可以帮助数字人在不同的领域实现知识和技能的迁移，从而提高其在多个领域的应用价值。总之，大模型将为数字人带来诸多改变和提升，使其在语言处理、情感表达、逻辑推理、学习能力、个性化定制和跨领域应用等方面更加接近人类，提高其逼真度和应用价值。数字员工，又称为数字化劳动力，是一种利用人工智能技术实现的虚拟员工，专注于执行重复性和流程性的工作。麦肯锡在2022年9月发布的 数字化劳动力白皮书 中，将数字员工定义为“打破人与机器边界，充分激活劳动力潜能的第四种企业用工模式”。通过结合数字员工和传统劳动力，我们可以将人力资源从繁琐的流程性工作中解放出来，专注于更具价值创造性的任务。数字员工的引入可以有效丰富并优化企业的劳动力结构。数字员工可实现企业全景式降本增效：在前台销售端提供卓越的用户体验，提升获客能力；在中后台则能优化运营流程，提高运营协作效率，从而推动业务发展。将大模型技术与数字员工结合，可以实现更加精准、高效的任务处理和决策制定，具体体现在以下几个方面：（1）大模型能够提供更加全面的知识储备和信息分析能力。传统的数字员工往往只能依靠预设的规则和算法进行工作，而大模型则可以通过对海量数据的学习和分析，获取更2.3.2 数字员工3031大模型技术深度赋能保险行业白皮书（2023）加深入的领域知识和经验。这使得数字员工在面对复杂问题时能够更加准确地判断和解决，提高工作效率和质量。（2）大模型能够实现更加灵活的任务执行和协同合作。传统的数字员工往往只能按照固定的流程和规则进行工作，而大模型则可以根据实时的需求和情况，自动调整任务执行流程。同时，大模型还能够与其他数字员工进行协同合作，实现信息的共享和交流，提高团队的整体效能。（3）大模型还能够实现更加智能的决策制定和风险评估。传统的数字员工往往只能依靠预设的规则和算法进行决策，而大模型则可以通过对历史数据和实时数据的分析和挖掘，提供更加全面和准确的决策支持。这使得数字员工在面对复杂的决策问题时能够更加明智地做出选择，降低风险和损失。综上所述，大模型能力与数字员工结合，可以进一步提升数字员工的智能化程度。通过提供全面的知识储备和信息分析能力、实现灵活的任务执行和协同合作，以及提供智能的决策制定和风险评估，数字员工能够更好地适应复杂多变的工作环境和需求，为企业带来更高的效益和竞争力。目前已有保险公司进行基于大模型技术的数字员工能力试点，在包括产品定制化、定价动态化、销售场景化、理赔自动化、客服人性化等场景内深度实践，进一步分担真实员工的日常重复性工作。当前行业大模型开放平台架构多以三层结构呈现。（1）底层是“模型即服务”（MaaS：Model As A Service）封装层，这一层集成了多种模型资源，如ChatGPT、文心一言、开放源代码模型，以及企业专有的垂直领域模型。这些模型通过统一的接口和协议进行封装和集成，为上层应用提供强大的内容生成和分析处理能力。（2）中间层是大模型的“应用框架层”，这一层为大模型的应用和服务提供了一个全面的支撑框架。该框架具备高度的安全性和合规性，提供了一系列的功能，如脱敏处理、审计跟踪、计量计费、模型适配、API鉴权等。这些功能确保了大模型在各种场景下的可靠应用和服务，同时为大模型的推广和应用提供了标准化的规范和指导。（3）最上层是大模型的“应用场景层”，这一层通过底层模型的支撑，实现了多种实际场景中的应用和落地。例如，智能核保、理赔处理、舆情分析、智能客服、智能化质检等多种3.1 大模型开放平台架构32大模型技术深度赋能保险行业白皮书（2023）3.大模型开放平台建设 打造可信大模型底座大模型开放平台负责构建企业的大模型生产力，为企业的各项业务应用提供支持，是企业实现大模型技术全面落地应用的必备基础设施。大模型开放平台支持大模型应用的快速开发，同时通过算法库、模型库、服务库、插件库、数据和模板库等模块不断沉淀、积累和共享可复用的能力，并将能力集成应用到开发运维过程中。大模型开放平台的建设，可以快速响应前端的业务需求，让用户更快、更高效地落地大模型应用，为业务赋能；能避免烟囱式的系统建设模式，降低大模型应用系统建设以及系统间交互成本；能实现数据共享、计算共享、模型共享，更好地降低应用成本；同时实现持续的技术沉淀，形成企业的核心资产，推动企业业务创新。大模型技术深度赋能保险行业白皮书（2023）场景应用。这些应用不仅提高了企业运营效率和服务质量，也为广大用户提供了更高效、精准、便捷的服务体验。大模型开放平台可以允许机构用户，在大模型内嵌入行业专业领域知识库，实现在保险垂直领域应用的快速适配；此外，也支持把企业内部应用工具包装成大模型插件，让大模型更加贴近业务应用场景。无论是定价动态化、销售场景化、理赔自动化，还是客服人性化等场景，大模型技术都能深度实践，并展现出强大的应用潜力。阳光保险集团率先打造的正言大模型开放平台，旨在构筑保险行业大模型的坚实底座，全面拓展科技赋能的边界，以引领保险业务应用的未来发展。该平台以阳光GPT模型为核心，依托专有数据与计算平台，为整个集团提供统一、标准化、高效率的大模型能力支持。通过专业大模型的构建，阳光保险对公司旗下的销售、服务、管理三大机器人产品进行了全面的智能化升级。这一升级将引领阳光保险各业务部门深度挖掘和应用智能科技，帮助业务人员真正理解智能、接纳智能，进而引领业务变革，实现从科技赋能到科技引领的全新跨越。正言大模型开放平台主要由平台工具层、阳光正言GPT层、业务应用层构成，在阳光内部提供企业级的MaaS能力，如下图所示。3334大模型技术深度赋能保险行业白皮书（2023）平台工具层由大模型研发工具、Prompt工厂及插件统一集市构成。其中大模型研发工具，实现大模型的自动训练、自动评测及模型管理；Prompt工厂实现prompt的管理及优化，充分挖掘大模型在特定领域的能力；统一插件集市建设，实现插件的动态开发与管理。阳光正言GPT层通过智能路由，实现外部大模型及自研大模型的动态调度、大模型择优与融合；再利用智能审核模型，对所有调用大模型的数据进行监控和检视，在确保数据和模型的使用安全合规的基础上，提供保险专业能力、通用能力及个性化能力。基于阳光正言GPT层提供的三大能力，支撑业务应用层实现“1 3 N”应用，其中：“1”是指在办公场景赋能全员办公，支撑文本创作、文本摘要、图像生成等；“3”是指突破销售、管理、服务三大机器人；“N”是指拓展更多的业务应用场景，例如实现精准产品设计及定价、数据报表自动化生成等。图5 正言大模型开放平台系统架构图如何将垂直领域的行业专有知识，嫁接到具备强大通用能力的大模型上，同时不损失大模型的通用能力，是训练垂直领域大模型要解决的核心技术问题。训练垂直领域的大模型的方法多种多样，目前主要包括如下三类方案：（1）从预训练开始定制模型：先基于海量通用数据 大量垂直领域数据进行预训练，得到预训练模型；再利用少量高质量垂直领域数据对预训练模型进行指令微调；（2）参数微调：在通用大模型基础上，基于少量高质量垂直领域数据进行参数微调，得到微调后的垂直领域大模型；（3）上下文学习：在通用大模型基础上，基于包含垂直领域知识的提示词prompt进行上下文学习（In-Context Learning），但不对模型参数进行修改更新。3.2.1 训练方法大模型技术深度赋能保险行业白皮书（2023）353.2 垂直领域大模型：更懂保险的大模型通用大模型，如ChatGPT、文心一言、LLaMA、BLOOM、ChatGLM和通义千问等，已展现出强大的通用能力，涵盖了自然语言生成、阅读理解、机器翻译和情感分析等。然而，尽管这些通用模型具备强大的通用能力，但保险行业作为一个高度专业化的领域，通用模型往往无法完全满足其专业需求。因此，针对保险行业专门研发垂直领域的大模型，可以弥补通用大语言模型在保险领域应用中的不足，是大模型落地应用的关键环节。以阳光GPT为例，其模型设计理念专注于解决保险领域的问题，因此相较于通用模型，它在保险领域表现出更高的专业性和实用性，成为了一款更懂保险的大模型。此类专门针对保险行业的大模型的研发和应用，将推动保险行业的创新与发展，提高服务质量和效率，为客户提供更优质的保险产品和服务。36大模型技术深度赋能保险行业白皮书（2023）总的来说，上述三类方案，从(1)到(3)的实现难度、算力需求、语料需求及训练时长依次递减，而得到的模型泛化及推理能力也依次递减。具体采用哪类方案训练自身垂直领域的大模型，企业可根据自己的需求及资源情况进行选择。以阳光GPT为例，其训练主要运用了参数高效微调的方法，这也是许多已开源的垂直领域大模型常用的训练手段。此种方法不仅训练周期短，而且对训练语料的数据量要求相对较低，却在某些特定任务上呈现出优异的性能表现。阳光GPT通过采用P-Tuning和LoRA这两种微调策略，对开源大模型的局部参数进行优化，使得在适配下游任务时只需训练少量参数即可达到良好的效果。其他训练模型的方式，如全参微调、领域自适应预训练以及从预训练开始定制等，虽然有其独特的优势，却也伴随着高昂的训练成本和相对较大的训练语料需求。此外，这些方法还需考虑到模型的迭代优化，是相对耗时的训练方式。综合以上因素考虑，阳光GPT最终选择了参数高效微调的方法进行训练。来源：财通证券：计算机行业深度分析报告-大语言模型的前世、今生与未来图6 垂直领域大模型训练的三类主要方案目前市场上可供选择的开源大模型众多，在选择基座模型时，我们需要综合考虑实际业务需求以及模型特性等多个因素，进行全面考察与比较，进而选择综合性能最优的模型作为通用基座模型。阳光大模型研发团队在选择基座模型时，依据大模型的参数量、是否自主研发、商业化可用性以及发布机构等因素，对比评测了国内外20余款开源大模型，基于目前评测结果选择了三款效果较优且支持商业化的基座模型。在上述三款基座模型的基础上，阳光进行了参数高效微调（PEFT）的优化过程，从中挑选出微调效果最佳的模型作为阳光GPT。通过这种精选与优化，阳光GPT不仅继承了基座模型的优秀特性，同时也充分考虑了实际业务场景的需求，从而实现了更为出色的性能表现和实用性。这为我们在保险领域的业务应用提供了强有力的支持与保障。3.2.2 基座模型选择构建保险垂直领域的大模型，离不开大量高质量的保险领域数据作为训练基础。以阳光GPT为例，为了将保险能力融入通用模型中，其训练过程中采用了以下几类数据：（1）保险领域网站：通过爬取保险领域网站来获取保险百科类知识，保险类的网站有保险查查、招商信诺、慧择、深蓝保、奶爸保等。（2）保险领域书籍：保险领域书籍的资料相对较多，包含 投资理财概论、人身险销售从业人员参考用书调整内容、人身保险新型产品基础知识及实务 等等。虽然书籍的知识形式不适合做有监督的微调（SFT），但可以基于书籍内容生成问答对的方式来生成SFT语料。具体做法是根据经验设计合适的prompt，再结合书籍的内容一起输入大模型中，让大模型来生成问答对，这样就可以通过书籍生成大量的问答对。3.2.3 数据来源大模型技术深度赋能保险行业白皮书（2023）3738大模型技术深度赋能保险行业白皮书（2023）（3）考试数据：保险考试数据的公开数据相对较多，可以从保险考试数据中学习到保险知识，保险考试包括代理人资格考试、保险机构董事监事和高级管理人员任职资格考试、中国寿险管理师考试、中国个人寿险规划师考试、中国寿险核保师考试、中国寿险理赔师考试、互联网保险产品经理考试、银行保险从业人员销售服务考试等。（4）通用语料库：为了缓解通用领域灾难性知识遗忘的问题，还需要准备大量的通用语料，如中文语料库WuDaoCorpora，并与专业语料形成一定的配比，来帮助模型学习通用领域的知识。训练保险领域的垂直大模型主要面临以下挑战：（1）数据收集与处理：数据比模型重要，在业内已经达成共识。保险行业的数据往往比较分散、质量参差不齐，而且涉及到敏感的个人和财务信息，如何有效、安全地收集和处理这些数据是一个难题。（2）灾难性遗忘问题：参数高效微调方法可能导致大模型面临灾难性遗忘的问题，其特征为在适应保险领域时失去了先前获得的通用知识。在训练时需要慎重考虑保险领域和通用领域的训练数据配比，让模型既能适应保险领域的场景，又能减轻通用领域知识的遗忘问题。（3）大模型幻觉：大模型在生成文本时，可能出现与事实不符、与预期不符或与用户意图不符的情况。幻觉的产生主要与大模型的训练数据、模型架构、训练方法和上下文等因素有关。（4）模型的可解释性和可靠性：保险行业的决策往往需要高度的可解释性和可靠性，如何训练出能够提供可解释、可靠的大模型是一个挑战。3.2.4 挑战及应对插件技术可以方便地将不同领域的知识和数据集成到大模型中，从而提高模型的泛化能力和性能、丰富大模型应用的功能和场景。此外，也可以通过插件实现与公司内部业务系统的链接，实现大模型与业务流程的衔接。插件是一种可扩展的代码模块，可以与已有的代码系统进行交互，提供一些额外的功能或服务。插件的运行方式通常是使用同一语言或API进行调用，从而实现特定功能的增强。以阳光正言大模型开放平台为例，业务方可以选择平台提供的公共插件工具，如邮件发送插件、wiki百科咨询插件、地图信息检索插件等；可以向正言平台注册自己业务专属的第三方插件（自己开发，平台注册）从而形成专属于自身业务的聊天代理服务agent。通3.3 插件集市，实现大模型与外部系统链接大模型技术深度赋能保险行业白皮书（2023）39（5）模型的实时性与性能：保险行业的业务往往需要快速的响应和高效的性能，如何训练出能够实时处理、快速响应的大模型是一个需要考虑的问题。（6）数据安全与隐私保护：保险行业的数据往往涉及到个人隐私和财务敏感信息，如何在训练大模型的过程中保障数据的安全和隐私。（7）模型的持续优化与迭代：保险行业的业务在不断发展和变化，如何持续优化和迭代大模型以适应业务的变化也是一个挑战。针对上述挑战，在垂直领域大模型训练过程中，可通过数据标注、数据筛选等方法保证垂直领域数据的质量；根据实际应用场景确定通用数据和领域数据的配比，避免大模型通用能力的损失；选择合适的模型微调技术，确保大模型的应用效果；引入人类反馈机制以减少幻觉的产生；采用本地部署的大模型，并采取相应的安全措施，如数据加密和访问控制等，避免泄露隐私及敏感信息。大模型开放平台通常提供一系列应用工具和接口，为开发人员提供了一个集成环境，可以大大简化大模型的构建和训练过程。大模型研发工具通常支持如下功能：3.4 大模型研发工具，提升模型研发效率40大模型技术深度赋能保险行业白皮书（2023）过代理agent与正言大模型交互，代理agent可根据聊天内容的意图判断是否需要调用插件、调用哪些插件及调用顺序，最终将插件调用的结果返回给用户。（1）定义本地插件通过采用类方法对插件进行封装创建本地插件，填写准确的插件描述与名称，例如：邮件插件-当你需要发送邮件时。可以使用这个工具用来发送邮件。同时在类方法中实现创建的插件的功能。最后将代码存放到插件集市服务中。（2）定义外部自定义插件业务方在自己的业务系统中定义实现自己业务功能的http请求的api接口。向平台提供接口信息、接口功能描述以及接口入参详情等信息。平台将对应信息格式化存入数据库。插件集市运行时，将根据存入的接口信息，并通过rest请求调用业务方提供的api接口，来实现插件的第三方业务功能。（3）外部插件权限验证业务方在自己的QA问答提问入口处提问时，在请求参数内添加插件所需的权限校验信息，当插件集市服务通过rest请求调用插件api接口时，将此参数原封不动回传至业务方服务，业务方通过此信息校验权限等信息。（4）确定调用插件与调用顺序通过前置提示词告诉大语言模型当前业务系统拥有哪些可用插件，以及插件描述、插件名称等信息。大模型通过分析用户的问题，确定需要调用哪些插件以及调用顺序。（1）模型快速开发：提供一系列的深度学习模型库和预训练模型，用户可以快速地构建和训练模型，有效减少模型研发的时间。（2）大模型微调：提供大模型全参微调和参数高效微调（PEFT）技术，其中PEFT技术包括P-Tuning和LoRA方法等。（3）分布式模型训练：提供单机单卡、单机多卡和多机多卡训练方式，实现了大规模的并行计算，从而加速大模型的训练过程，提高训练效率与扩展性。（4）超参数自动调整：提供高效的超参数自动调整技术，可以快速地找到最优的模型超参数配置，提高模型的性能。（5）自动模型选择：可以自动选择最优模型，大大提高了模型选择的效率。（6）模型版本管理：提供模型版本管理的功能，可以对同一模型在不同时间和参数下进行管理，从而提高了模型的可重复性和追溯性。（7）智能调度：通过智能调度技术，可以自动化管理和监控不同的计算资源，如计算节点、分布式任务等，提高计算资源的使用效率。（8）自动化模型部署：提供模型自动化部署功能，可以快速地将模型部署到生产或测试环境中，减少了手动部署所需要的时间和人力成本，提高了工作效率。（9）数据流管道：提供大规模数据预处理和特征提取的流水线，可以将原始数据转化为模型所需的特征，并进行自动化的数据清洗和增强。大模型研发工具旨在帮助用户快速地完成复杂的深度学习任务、大幅提升模型研发效率，从而更好地满足模型应用的需求。大模型开放平台通常可提供多种大模型供按需选择，包括外部商业模型、本地部署的3.5 智能路由和审核，实现大模型动态调度和内容安全大模型技术深度赋能保险行业白皮书（2023）4142大模型技术深度赋能保险行业白皮书（2023）开源模型、基于领域数据训练得到的自研模型等。平台通过灵活的模型选择机制-智能路由，实现不同大模型之间的无缝切换。智能路由能够对模型进行评估，以找到处理当前请求最适合的模型，从而提供更优质的服务。利用智能路由技术，可以实现大模型的统一服务和动态调度，从而提升服务效率和质量。（1）路由分级智能路由分为三个层级：接口级、系统级和全局级，并约定了优先级顺序。接口级具有最高的优先级，系统级次之，全局级最低。接口级允许用户自主选择模型以处理特定的业务需求。系统级主要负责处理多个模型的选择和切换，结合路由规则和业务需求，灵活的切换模型。全局级与系统级的功能类似，在没有设置接口级或系统级规则的情况下，模型的选择将由全局级来完成。分层架构提供了灵活性和扩展性，方便对不同业务场景进行扩展。（2）规则策略分类智能路由提供了多种路由规则来进行模型的选择，主要分为规则类策略和智能策略两大类。规则类策略包括优先策略、随机策略和轮询策略。而智能策略则需要根据第三方系统的特定要求进行定制化开发。（3）数据流审核对用户的输入与大模型的输出数据流进行审核。对用户输入的每一项数据进行核实，确认其来源的合法性，避免虚假或误导性的信息进入模型。对大模型的输出内容进行审查，确保模型预测结果的合理性、公正性、符合法规和道德规范等。随着大模型技术在保险业的广泛应用，数据安全、隐私保护、合规性以及网络安全等3.6 大模型应用安全与合规大模型技术深度赋能保险行业白皮书（2023）43议题逐渐浮现，这些因素已成为保险业数字化进程中的关键挑战。保障大模型应用过程中的安全性需要从以下几个方面来考虑：（1）数据安全：大模型的训练和应用都需要大量的数据支持。为了保障安全性，我们需要采取一些措施，如数据匿名化、隐私保护、数据加密等来防止数据泄露和滥用。针对数据隐私和合规性，应当遵循最小化数据原则，仅收集和处理执行特定任务所必需的数据。此外，设立严格的数据访问和使用政策是必要的，只有经过特定授权的人员才能访问和使用数据。为确保数据处理过程的合规性和透明性，还需定期对数据进行安全审计。另外，还需要关注数据的质量和完整性，避免使用恶意数据或者有毒数据对模型产生误导。（2）模型安全：大模型的训练和推理过程需要谨慎处理，尤其是在涉及到敏感信息和关键业务时。我们应该设计稳健的模型架构和训练策略，提高模型的鲁棒性和容错性；建立有效的监督和反馈机制，定期审查模型的性能，识别并解决潜在的问题，以确保其始终符合道德和社会责任标准；积极收集用户和利益相关方的反馈，根据各方的期望和需求及时调整模型。另外，针对可能存在的模型漏洞，我们需要定期进行模型体检和漏洞扫描，及时修复潜在的安全隐患。（3）应用安全：在大模型的实际应用中，我们需要密切关注其可能带来的风险和影响。例如，大模型可能产生令人信服的虚假内容，对社会产生误导。因此，我们需要在应用端建立相应的审核机制和监管措施，以避免产生不良影响。同时，针对可能出现的模型攻击，我们需要采取防范措施，如设置模型防御策略、限制模型使用范围等。（4）网络安全：需要构建一套全面的网络安全防护体系，这个体系涵盖多种安全防护措施，包括但不限于防火墙、入侵检测系统、数据加密技术等。防火墙可以有效地阻止未经授权的访问；入侵检测系统则可以实时监控网络活动，一旦发现异常行为，就会立即发出模型评测在衡量保险行业大模型质量方面起着至关重要的作用。针对保险行业垂直领域的大模型，我们不仅希望其融入保险领域的专业知识，同时也非常关注其通用能力。阳光保险构建的评测集S-Eval，包含223个测试用例，用于评估通用领域和保险领域的两部分能力。为了评估模型的通用能力，可以采用业内普遍使用的C-Eval、CMMLU、GSM8K、HumanEval、WMT22等评测集，它们在自然语言理解与生成、数学运算解题、代码生成等方面对模型进行全方位评测。同时，我们还可以人工添加通用领域的评测集，包括事实问答、信息抽取、文本分类、情绪识别、数值计算、文化常识等多个维度。在保险领域能力评估方面，我们可以采用保险考试的方式进行评估。例如，代理人资格考试作为一种知识覆盖面较广的考试形式，能够全面考察模型在保险领域的能力。此外，3.7 保险业大模型评测体系44大模型技术深度赋能保险行业白皮书（2023）警报；而数据加密技术则可以保护我们的敏感信息，防止数据在传输过程中被窃取或篡改。（5）法律与合规：在大模型的应用过程中，我们需要关注相关的法律和合规要求。例如，在处理个人隐私信息时需要遵守相关法律法规；在发布和使用大模型时需要遵循知识产权和版权法等。（6）风险评估与管理：我们需要定期进行风险评估，识别出大模型应用过程中可能存在的安全风险，并采取相应的管理措施来降低风险。例如，建立风险管理制度、加强风险监测与预警、制定应急预案等。总之，保障大模型应用过程中的安全性需要我们在各个方面都保持谨慎和关注。通过科学合理的管理和技术手段的运用，可以最大程度地保障大模型的安全性和可靠性。大模型技术深度赋能保险行业白皮书（2023）45选择题无需人工打分，这为评估保险领域模型的高级能力提供了一种简单而又有效的方式。另外，我们也可以手动添加保险百科类主观题，以评估模型的的问答能力。这样不仅能够有效衡量模型在保险领域的表现，同时也能帮助我们更好地了解模型的优缺点并进行相应的优化。生成式AI大模型技术作为年度最大的热点，吸引并推动各大厂商推出大模型产品或是服务，这些产品或服务主要包括四种类型，第一种是大模型平台服务，其中比较有代表性的是百度和阿里。这类公司推出了一系列的云计算服务，使用户可以方便、低成本地创建自己的大模型，部署成大模型云服务。第二种是数字人产品，其中比较有代表性的包括百度、阿里及科大讯飞等。这类公司不仅推出了更逼真，更惟妙惟肖的数字人产品，还把单个数字人的创建门槛降低到只需录制一段几分钟的视频和音频，创建成本也从一年前的几十万元降低到了几千元。第三种是创新大模型产品，推出大模型问答式文库应用，采用独特的“大模型 运营”的方案，为企业建立私有知识库，应用于内部和外部用户的信息检索场景，满足企业用户对内容可信、预期可控、知错能改的高层次要求。第四种是在传统软件上附加大模型技术，提供大模型驱动的Copilot。如微软在Windows 11中加入了名为Copilot的AI助手，Copilot可以接受用户的自然语言指令并自动执行软件功能，提升用户工作和学习的效率。根据信息技术研究分析公司Gartner预测，到2025年，AIGC人工智能的全球市场规模将超过1350亿美元，其中银行、金融服务和保险将占该市场的25%。目前来看，国内保险行业还在处于摸索AIGC落地的初级阶段，海外一些保险公司已经开始探索将AIGC嵌入到承保、理赔、审核等多个保险业务流程中。此外AI RPA的技术融合已经使数字人具备数据决策能力，这意味着虚拟数字人在未来有为保险业重构行业价值链的能力，同时由AI RPA技术融合而成的”数字人“正逐渐被国内外的保险行业所接受。4.积极探索落地 大模型价值全面初现46大模型技术深度赋能保险行业白皮书（2023）阳光保险集团于2023年初启动了“阳光正言GPT大模型战略工程”，积极布局大模型建设、加强内外部交流，并参与行业标准制定。作为“核心编写单位”，阳光保险与百度、华为、腾讯等公司共同参与金融大模型行业标准 面向行业的大规模预训练模型技术和应用评估方法第1部分：金融大模型 的编制。该标准是金融领域的首个大模型标准，并于2023年9月18日在以“大模型高质量发展”为主题的2023年可信AI大会暨人工智能产业发展大会上正式发布。该标准从金融场景适配性、金融领域AI能力支持度以及应用成熟度三个维度进行全面评估，同时考虑了合规安全性、可追溯性以及部署等多个方面。这一标准为科学评价金融大模型技术能力和应用效能提供了有力的参考依据。阳光保险大力建设了以GPT大模型为核心技术能力的阳光正言大模型开放平台，一方面与多家外部大模型技术进行链接；另一方面在开源大模型私有化部署的基础上进行二次开发，注入阳光的知识和数据，构建GPT技术底座，建立保险专业垂直领域能力，实现集团、产寿各条线的全应用覆盖，引领公司智能化升级。通过阳光正言大模型开放平台，阳光保险实现了阳光GPT技术关键能力输出，包括专业能力、通用能力和个性化能力。这一平台为公司的智能化升级提供了强大的支持。利用大模型技术，阳光保险构建了车险全线上销售机器人，通过官网、官微、APP、95510四种渠道触达客户。机器人通过线上渠道与客户之间建立纽带，并实现了更深入的客户洞察。同时，基于交互内容的过程分析，机器人全方位参与售前、售中和售后各个环节，实现“对话即销售”的理念革新。目前，阳光保险利用大模型技术重构了信息抽取、意图识别模块及部分改造智能问答的召回阶段，整理出400 常见问题、17个槽位及26个业务意4.1 国内险企躬身入局，初步探索AIGC应用落地4.1.1 阳光保险：正言大模型开放平台赋能保险及办公全业务流程大模型技术深度赋能保险行业白皮书（2023）4748大模型技术深度赋能保险行业白皮书（2023）大模型技术应用到智能客服机器人项目，大大改变了传统的客户服务模式，为客户提供了更为便捷、高效、智能的服务体验。要实现与客户的真正开放式对话交流，单纯依赖传统算法是远远不够的。阳光设计了基于大模型的人机交互方式，以实现更为准确的问题意图识别和语言交互场景。这种结合上下文的交互方式允许机器人在与客户沟通时，能够理解并回应客户的各种口语化表达和复杂意图，从而显著提高了回答的准确性。结合语音导航、文本机器人、数字虚拟人等触客终端，形成了一套完整的智能化客服系统。在此基础上，结合业务场景，项目组进一步发挥大语言模型能力特点，将现有客服团队历年积累的客服知识和产寿业务资料进行深入整理，结合FAQ、知识图谱和大语言模型的语句、意图提炼能力，形成了针对投保、保全、理赔、核保和条款等不同业务场景的意图识别和知识储备。这图，共计标注2万余条数据。通过阳光GPT对信息抽取、意图识别和语义相似度识别三项语义理解能力进行升级，相较于传统的预训练语言模型Bert，信息抽取任务准确率提升15%，意图识别任务准确率提升5%。基于信息抽取与意图识别方面的改进，智能问答任务解答率提升8.7%。图7 车险全线上销售机器人产品架构种方法显著提高了回答的正确率，无论客户提出何种问题，客服机器人都能迅速地根据语义分析在不同层级的知识中进行分类提取并组织话术，为客户提供最合适的答案。大模型技术在人伤闪赔机器人的应用，提高了人伤案件快速结案率与理赔效率，进而减少因伤者就诊、住院治疗或索赔周期延长导致索赔预期增加带来的赔付成本上升；通过人伤闪赔机器人准确识别人伤伤情诊断，同时遵循赔偿标准，智能化出具标准赔偿建议，减少查勘员因技能不足、伤情误判带来的赔付渗漏。目前行业尚无此类的科技产品，该产品可以让客户享受有温度的保险服务，同时带来行业巨大变革，是所有保险人挤压理赔管理和理赔技术水分的必然选择，也是未来保险数智化的必然趋势。在个性化能力建设上，基于阳光GPT率先打造阳光文化金水杉讲师及“阳光升”金牌销售员两个角色，支持两个具有阳光特色的场景问答能力。其中“阳光升”金牌销售员通过打通常见问题解答、文档知识问答能力链路，形成了一套较成熟的问答解决方案。在文档知识问答方面，采用“大模型 LangChain 向量数据库”三位一体的方式进行落地。首先根据保险条款的数据格式，设计了专门的文本分词方法；然后利用自研大模型提供的文本向量化能力，将分割好的文本段落进行向量化并存储到向量数据库中；最后，对用户的输入进行向量化，并在向量数据库中检索最为相关的内容，再将检索到的相关信息和预先设计的提示词一起输入给大模型，以得到最终返回结果。大模型技术深度赋能保险行业白皮书（2023）49图8 FAQ-DocQA-Chat问答链路50大模型技术深度赋能保险行业白皮书（2023）在通用办公领域，阳光正言大模型开放平台已上线文本对话、AI文生图、图生图、图生文等多模态功能，初步实现了自然语言与应用系统的联动，为公司办公场景化应用提供支撑。（a）预制或自定义各类人设，实现智能交互咨询辅助通用问答能力建设上，利用平台的智能路由，实现自研大模型与外部大模型的动态调度，借助提示词工程建立各类专业领域对话人设，为用户提供问答咨询、文案撰写及润色等多种办公文案类辅助功能。可根据应用场景选择不同的人设，也可以自定义专属人设。例如选定心理咨询师的角色，可帮助员工识别解决情绪问题，分析员工情绪问题的起源和根源，协调员工处理人际关系并使员工间密切合作，如下图所示。图9 预制或自定义各类人设，支撑多类办公文案场景大模型技术深度赋能保险行业白皮书（2023）51（b）多模态图文小能手，促进UI设计类工作提质增效通过整合封装多模态大模型并在此基础上进行二次开发，构建文生图、图生图等能力，提高公司内部的海报、宣传图等UI设计类工作的效率。基于多模态能力，支撑了公司端午节营销海报的自动生成，如下图所示。在节日当天，寿险公司代理人超过1.3万人次点击查看，生成的海报转发和下载超过2500次。（c）智能文本与数据分析，辅助经营管理与决策分析通过将阳光正言大模型开放平台与阳光驾驶舱报表系统融合，在数据分析方面，可将数据分析模型与建表服务进行串联，完成数据自动提取、数据间的关联分析并根据自然语言的报表制作需求，快速生成报表，如下图所示。图10 端午节营销海报生成52大模型技术深度赋能保险行业白皮书（2023）（d）多种模型自助切换，支持答案对比与择优基于外部大模型较强的通用能力，同时考虑到阳光自研大模型在特定场景的个性化语言、语境、领域知识等方面的适应能力，平台为用户提供多种模型的切换功能，方便用户快速找到更优质的答案，如下图所示。图11 基于自然语言，实现报表自动生成图12 不同模型自助切换，提供更优质的答案中国人保高度重视大模型技术带来的机遇和挑战，积极布局大模型建设。通过自建人工智能算法团队、积极推进内外部生态合作，中国人保充分利用人保海量语料、数据及行业知识的优势，打造了自主可控的人保大模型，并在代理人赋能、智能客服等场景试点应用，以MaaS方式为集团各公司提供基于大模型的智能产品和技术服务，并于2023年11月6日在人保集团科技发布会上正式发布。4.1.2 中国人保：打造并发布人保大模型，多场景应用落地（e）通用代码能力生成，赋能企业研发运维在通用代码生成方面，融入阳光编程规范，提高代码质量，同时通过构建VS Code插件，扩大应用范围。此外，基于前期验证和测试多个应用场景，研发基于IDEA的常青藤辅助编程插件，完成了代码生成模型及IDE插件初版建设并在多支开发团队进行试点，在代码补全、代码解释、性能检查等场景助力研发团队生产效率的提升。全公司内部已有近半数开发人员将平台提供的通用代码能力辅助研发。大模型技术深度赋能保险行业白皮书（2023）53图13 构建集成开发工具常青藤辅助编程插件，实现代码辅助中国人保与认知智能国家重点实验室及科大讯飞合作研发了人保首个专属问答大模型，该模型在通用问答能力的基础上，提升了多轮口语化复杂意图理解能力、情感理解与共情能力，新增了敏感问答拒识能力，并针对保险具体应用场景，实现了条款咨询问答能力、业务逻辑推理能力和多文档多知识点融合能力的全面突破。人保专属问答大模型已通过“人保智友”产品在代理人赋能、智能客服等场景试点应用，借助大模型的语义理解、搜索增强等功能，提升知识获取效率，降低企业运营成本。同时，中国人保还通过自研与合作双轨并行，构建了以深度理解保险行业的专属通用大模型为底座、面向垂直业务领域的自研场景大模型为主体、外部大模型能力为辅助的人保大模型生态，配套建设了人保prompt工厂、博文智库、智选路由、信息安全助手等组件，为自研的文曲星平台、AI智能陪练等多款智能化产品提供一站式MaaS服务，已在集团各公司百余个场景中应用落地，全方面支持包括保险、投资、办公等领域的集团内各类工作任务，带来更高效、更智能的业务处理能力，全面提升工作人员效率和客户体验。54大模型技术深度赋能保险行业白皮书（2023）图14 人保大模型产品规划大模型技术深度赋能保险行业白皮书（2023）55（1）智能营销：打造智能代理人助手，借助AI生成图文的能力，支持代理人针对特定节日、特定产品、特定客户等生成个性化营销文案及海报，有效避免版权问题，大大提升制图效率。（2）智能投研：打造智能投研助手，针对投研市场上每天产生的海量研报，借助AI语义理解能力，精准提炼研报，形成一句话观点 论据摘要，极大提升投研人员的工作效率。（3）智能办公：打造智能办公助手，借助AI语义理解能力，一方面可实现日常办公问题解答，避免人工重复问题重复回答，提升知识获取体验；另一方面可以自动生成会议纪要、自动识别发言人、生成关键字及关键结论，同时支持内容搜索及定位，便于快速了解会议内容及会议纪要的整理。（4）智能客服：打造智能问答助手，提供智能问答服务，可以支持用户在投保前进行健康咨询、过程中的保全服务、以及理赔服务等，陪伴用户的保险全生命周期。（5）智能编程：打造智能编程助手，借助AI生成能力，在代码输入过程中预测并提供下一段代码片段；同时能够识别代码中的潜在错误并提出适当的修复建议，从而显著提升编程效率。人保大模型的构建将重塑人工智能技术在中国人保现有的应用模式，进一步提升其智能化水平，促进降本增效，为客户提供更加智能、便捷、可靠的金融服务，助力人保高质量发展。4.1.3 平安：推出数字人产品、建立精准信用评级体系平安人寿推出了基于大模型的数字人产品，主要用途在于协助代理人更有效地与客户沟通。这款产品对于新入行的代理人来说，无疑是一大福音。它不仅能在交流中给予指导，帮助代理人更好地理解客户需求，同时还能收集并整理客户信息，根据客户需求提供56精准的产品推荐。同时，平安银行也已经开始利用AIGC技术对客户的个人信息、历史借款记录以及消费行为等数据进行深度分析。通过这种方式，平安银行成功建立了一套精细的信用评级体系。有了这个体系作为基础，他们可以为不同信用等级、借款需求和偏好的客户，量身定制出个性化的借款产品和服务。这种个性化的服务包括了贷款额度、借款期限、利率等方面的差异化设置，旨在提高客户的满意度和忠诚度。平安健康打造了专门为医生服务的“ChatGPT”AskBob智能医生，基于4000万医学文献、20万药品说明书、2万临床指南等中英文医疗知识图谱以及融合深度学习模型，可为医生提供个体化精准诊疗推荐和辅助决策。截至2023年2月，AskBob服务于140多万名医生，覆盖全国范围4.6万家医疗机构，每天提供的诊疗辅助决策次数达27万次，尤其在医疗资源有限的地方帮助提升医疗服务。平安不仅能够运用科技助力自身金融业务提质增效，并且具备了输出能力。平安旗下金融壹账通作为国内金融科技领域的AI先行探索者，已率先布局大模型和生成式人工智能（AIGC），并在银行、保险、投资等金融垂直领域落地应用。其打造的“加马智慧语音解决方案”，基于平安集团30多年的金融业务经验，专注深耕金融行业，依托支持信创适配的机器人平台，创新地将“产品”与“业务”相结合，针对智能风控、智能营销、智能客服多业务多场景打造了300 语音机器人流程、3000 文本FAQ库、200 质检模型和60 智能辅助模板，提供AI场景构建、AI运营团队建设及培养咨询和AI场景效果提升服务，实现金融壹账通提前布局人工智能赛道的关键一步。大模型技术深度赋能保险行业白皮书（2023）4.1.4 太保集团：数字员工助力审计监督提升太保集团积极推进基于大模型的数字员工建设，希望利用大模型的特点和优势，带来大模型技术深度赋能保险行业白皮书（2023）57太保集团积极推进基于大模型的数字员工建设，希望利用大模型的特点和优势，带来传统用工模式的变革。数字员工提供通用的自然语言交互入口，能根据用户指令，解析得到用户意图，自主进行任务规划并完成任务执行，为用户提供多样化的服务。数字员工实现了对专业工种的建模，赋予了数字员工思维能力、行动能力以及职业能力，并做到与真实业务人员对齐，解决实际场景任务的同时，有效填补人力空缺，提升业务处理效率，优化公司整体营运和决策效率，助力太保集团数字化转型。目前太保数字员工已在集团审计中心进行能力试点，构建了审计检查、公文质检、咨讯问答等多名审计数字员工，为集团审计带来以下价值：一是实现精准化的审计监督，助力防范化解金融风险。“审计数字员工”将突破传统审计局限，精准打击保险违规违法行为，帮助公司挽回经济损失，有效遏制虚假理赔恶意欺诈风险，助力守住企业风险底线，构建诚信社会环境，促进行业健康稳定发展。根据国际保险监管者协会测算，全球每年约有20%-30%的保险赔款涉嫌欺诈，2022年银保监会公布中国保险业总赔付1.5万亿元。近年来，太保审计应用数据分析方法，成功与一二道防线联合查处虚假案件5000余件，实现追回或减损金额近3亿元。数字员工的建成将在此基础上，进一步提升审计质效、减少企业经济损失，为净化保险市场环境发挥重要作用。二是有效填补审计人力不足，满足行业监管要求。根据银保监会 保险公司内部审计指引，审计人员配置应不低于总员工数5。面对企业快速发展、规模不断扩大、审计人手存在不足的情况，“审计数字员工”将有效填补审计人力缺口，改变传统人海战术式的队伍发展模式，构建“人防 技防”、“人力技能 人工智能”相结合的数字化审计监督力量，预计提升审计人力效能约35%。根据国家审计署不完全统计，全国内部审计从业人数约20余万人，项目建成将对行业发展产生重要影响。三是构建智慧审计模式，为行业数字化转型提供示范。“审计数字员工”将充分发挥技术优势，推动审计方式从传统人工排查向机器自动核查、从抽样审计向全量式覆盖、从事后审计向事中事前审计的转变，实现审计模式、流程和形态的革命性改变，大幅度提高审计效能，为内审行业转型发展提供可借鉴的示范模式。四是发挥智能技术引领，实现人工智能在审计领域全面化应用的率先突破。“审计数字员工”的建成，将实现智能化技术在审计全业务流程以及主要风险领域的全面化应用突破，改变以往智能化技术着重应用于业务前端的营销获客，而在审计监督领域应用仍然是盲点的情况。通过数字员工在审计场景的建设与落地，进一步明确了数字员工内涵。同时，通过保险行业风险全面梳理，形成保险行业审计可借鉴的风险图谱；再有，通过对被审计单位提供信息的标准化设计，拓展数字审计覆盖领域，形成行业可复制的数字审计方法体系；最后，通过技能整合，形成数字员工建设的样板，形成审计领域可推广的经验。此外，中国太保产险联合百度打造的“全智能、无人工”车辆定损工具“太AI”，定损、理赔判定依据复杂、专业性高，尤其是人身险在涉及劳动损失给付等方面的程序时，往往涉及与被保险人的交涉沟通。截至2021年11月，已适用2.3万个车型，覆盖97%的乘用车品牌，部件识别准确率超过98%，损伤识别准确率超过90%。未来，太保集团将围绕大模型数字员工，稳定持续地优化金融保险领域数值能力水平，促进保险业务全流程智能优化和效率提升，搭建“保险业务 科技创新”的高质量运行模式，为保险行业数字化转型提供新范式。58大模型技术深度赋能保险行业白皮书（2023）4.1.5 泰康：积极构建生态，打造大模型原生应用近年来，泰康创新保险支付 医养服务商业模式，积极拥抱数字化升级浪潮，探索行业大模型技术深度赋能保险行业白皮书（2023）59数智化转型的经验和范本。在智慧保险领域，泰康搭建了行业内首个支持核保理赔场景下全量数据采集的医疗影像解析平台。目前，该平台服务已覆盖泰康人寿全国36家分公司，赋能理赔、核保相关作业人员千余人，促使“两核”作业效能极大提升。该平台的应用提升了理赔服务的时效性和便利性，优化了客户体验。在智慧养康领域，泰康孵化了一系列业内独创的科技产品，为泰康之家养老社区居民提供丰富的7*24小时安全照护，以及主动干预式健康管理手段。泰康积极探索生成式大模型的引入与应用，与国内外领先的大模型生态企业展开合作，对接微软、百度、讯飞、智谱、阿里等厂商的通用大模型能力，同时展开开源大模型的训练与应用尝试，探索大模型在智慧保险、智慧养康等领域的AI原生应用。泰康将按照模型、平台、应用三个层次构建AI原生应用体系。模型侧依托头部企业的通用大模型以及开源大模型，结合泰康在保险、医养行业的特有知识，利用大模型生态企业在AI算法和大算力上的经验优势，联合建设面向保险行业、医养行业的行业大模型以及细分领域的垂类模型。平台侧采用与头部企业合作和自研相结合的方式，建立大模型应用开发平台，提供大模型能力至应用之间所需的管理控制、模型选择、提示工程、知识管理等工具，为AI原生应用的高效开发与管理提供平台支持。应用侧聚焦核心场景，打造绩优代理人数字助理产品及老年生命链大模型产品，深入代理人智能培训、代理人销售辅助、齿科、康复医院、长寿社区等场景，利用新一代AI能力进一步降本增效，为客户、销售队伍、医养队伍等提供更有温度、更规范、更智能、更实惠的服务。4.1.6 众安保险：将AIGC置入科技产品，打造系统应用全新体验众安科技自成立以来长期致力于自身科技能力的对外输出，形成了一系列极富竞争力的产品：智能营销平台、保险核心业务系统、经代信息化系统、DevCube研发运维一体化4.2 国外险企积极转型，营销承保服务业务全覆盖4.2.1 Paladin Group：承保工具UnderwriteGPT2023年2月1日，保险科技数字经纪公司Paladin Group推出了世界上第一个生成式人工智能承保工具UnderwriteGPT，同时也是目前市场上较为先进和高效的核保解决方案。简单来讲就是基于大语言模型生成的AI，帮助承保和风险管理变得更快、更高效、更准确。UnderwriteGPT最大的优势是不断生成新的数据和见解，从而简化承保流程并改进风60大模型技术深度赋能保险行业白皮书（2023）平台、数据产品等。针对科技产品项目实施过程长期存在内容的生成成本高、产品学习上手困难、业务指导能力弱等问题，众安保险基于AIGC类大模型的能力，结合保险业务经验，自主研发了AIGC中台-灵犀，并支持把企业内部应用工具包装成大模型插件，全面提升了产品易用性，实现了内容运营平台、经营分析平台、智能坐席助手等多项工具的迭代升级。其中众安科技智能营销平台包括营销活动创建、营销人群圈选、营销内容触达、自动化运营策略配置、运营分析等模块，覆盖精细化运营全流程。在toC营销场景中，内容活动往往作为营销触达的核心抓手。通过结合ChatGPT类生成式AI能力后，营销平台不仅仅可以提供创作工具，还可以快速帮助客户完成内容创作，文章撰写、活动创作等，甚至可以在自动化运营中自动地进行策略的理解和配置生成，从而更好、更快速地实现千人千面的营销触达。众安保险核心业务系统的新一代财险核心业务平台，覆盖财产险非车全险种业务流程，并支持跨险种组合业务。过往在核心产品使用过程中，需要大量的专业人员进行各方面的配置，如配置一款保险产品上架、配置多渠道的对接、配置各种风控策略的上线，过往这些配置项，均需要业务运营人员熟悉系统后进行配置工作。生成式AI接入后，业务人员只需要输入需求，系统即可自动化配置实现，提高效率。大模型技术深度赋能保险行业白皮书（2023）614.2.2 Corvus Insurance：利用Corvus Risk Navigator平台 实现核保Corvus Insurance是一家人工智能驱动的网络风险平台。近日，Corvus Insurance推出了人工智能Corvus Risk Navigator平台，以提高保险公司在工作流程中常规手动任务的自动化程度，包括索赔、数据整理、实时核保等，这些功能进一步减少了保险公司的工作量，同时提高了报价效率。具体来看，Corvus Risk Navigator平台使用了大模型和自然语言处理技术，通过自动化加快了保险公司的各项决策。比如自动化行业验证和自动化应用程序接收，由大模型取代保险公司的手动验证，自动接收应用程序中的数据，然后以核保指导原则的相关信息为基础，从而回答核保人的问题。同时Corvus表示，将通过人工智能为经纪人、风险资本合作伙伴、投保人创造价值，并为保险公司配备自动化日常任务的技术，实现更快的业务增长。险评估，最终为保单持有人带来更好的定价和覆盖范围。创造者Dais说到，相信Under-writeGPT这一解决方案将彻底改变经纪公司和保险公司承保保单的方式。4.2.3 Simplifai：Insurance GPT助力自动化索赔管理2023年6月，AI解决方案公司Simplifai推出了专门为保险公司定制的人工智能Insur-ance GPT，具备自动化索赔管理，同时维护了隐私和数据安全，其中的大模型是第一个专门基于与保险行业直接相关的信息进行培训的产品。借助Insurance GPT，保险公司可以增强其端到端的业务流程自动化能力，以更安全、更快速、更简介的方式和客户进行沟通。具体来看，Insurance GPT主要有以下三大特点。（1）适应现有的生态系统：Insurance GPT是基于平台的，可插入Salesforce等第三方服务，以及用于索赔管理的行业平台，从保险公司自身的生态系统中提取信息，以便于实4.2.4 苏黎世保险：使用ChatGPT辅助理赔及承保苏黎世保险集团（Zurich Insurance）测试如何在理赔和承保等领域使用ChatGPT技术，旨在应对初创企业和更大竞争对手带来的挑战。苏黎世保险正在研究该技术的应用，从理赔说明和其他文件中提取数据。目前，该公司提供了最近六年的理赔数据，试图找出整个理赔部分的具体损失原因，从而改善承保。在首席信息和数字官的领导下，这家保险公司还创建了一个新的专利计划来保护其知识产权，重点关注自动风险检查和处理账单的AI系统等领域。苏黎世保险CIO兼CDO陈立明表示，ChatGPT不会取代开发人员，而是承担副驾驶的作用。同样，对于理赔和承保，它不会取代人，但会提高效率。事实上，苏黎世保险的这一举措只是其在利用人工智能提升理赔效率方面的更进一步。此前，该公司于2021年4月与保险科技公司Sprout.AI达成合作，将解决财产险理赔所需的时间缩短至24小时以下。苏黎世与蓝棱镜自动化开发商进行了深度合作，如今55名蓝棱镜数字员工为苏黎世管理着120多个流程。这些虚拟数字员工协助建立了一个快速通知门户，该门户是在疫情会议期间建立的，允许客户快速报告索赔。作为电子支付计划的一部分，虚拟数字员工使苏黎世能够更快、更高效地支付客户索赔、能够快速评估收到的文件，减轻一线员工的压62施和管理。（2）隐私安全保障：insurance GPT涉及到了索赔处理、文档处理、债务催收和客户服务解决方案，因此Simplifai致力于客户的隐私保护，维护对数据的严格控制和监管。（3）无代码维护：insurance GPT的无代码模型允许保险公司无缝集成到平台，无需技术专业知识，提高了使用效率。Simplifai也表明，insurance GPT平台在未来有可能从根本上改变保险公司的数据处理和索赔流程。大模型技术深度赋能保险行业白皮书（2023）力。虚拟数字员工已经为苏黎世处理了300万笔交易，让苏黎世的一线人力资源员工得以专注于提供卓越的客户服务。大模型技术深度赋能保险行业白皮书（2023）4.2.5 印度Plum：PolicyGPT聊天机器人，进行客户联系服务印度的Plum公司采用OpenAI的GPT-3架构创建了一款名为PolicyGPT的聊天机器人，可为用户提供他们从Plum购买的健康保险政策的信息。在PolicyGPT的帮助下，用户无需翻阅保单文件即可找到答案。PolicyGPT将以用户习惯的简单对话形式，让用户更轻松地了解保单涵盖的内容及未涵盖的内容。除了提供有关保单的信息外，PolicyGPT还可提供定位最近的网络医院、获得支持等功能。4.2.6 Helvetia：利用Clara推进客户服务瑞士保险公司Helvetia正在测试利用ChatGPT推进客户服务。该公司声称是世界上第一家推出基于ChatGPT技术直接进行客户联系服务的上市保险公司，该服务使用人工智能来回答客户关于保险和养老金的问题。该保险公司目前正在通过其聊天机器人Clara进行现场实验，用户可以通过它获得有关保险、养老金和房屋所有权的答案。该软件使用来自Helvetia Switzerland的网页内容，例如产品页面和信息指南。当前，新的聊天机器人可供任何人试用。4.2.7 Tokio Marine&Nichido FireInsurance：撰写答案草稿这家日本公司借助ChatGPT平台打造了人工智能系统，以公司内部累积的数据为基础，帮助保单持有人和保险代理人解答关于保险范围和流程的问题。该系统能自动生成答案草稿，但并不直接提供给保单持有人，而是为人类工作人员提供指引，帮助他们更好地回答查询。这一系统的应用预计将能缩短30%至50%的响应时间，同时减少错误发生。634.3 互联网公司妥善布局，提供一体化解决方案4.3.1 微软Office打造办公“全家桶”微软于3月16日推出了AI版Office“全家桶”：Microsoft 365 Copilot，一夜之间刷新打工人对生产力工具的认知。Word中，AI能秒出草稿，并根据用户要求增删文字信息和配图；PowerPoint中，AI能快速将文字转换成专业水准的PPT；Excel中，AI将数据分析变得轻松高效，能快速提炼出关键趋势；Outlook中，AI能给邮件分类加精，并自动撰写回复内容；协同办公时，AI能总结规划成员的工作进展、调取分析数据、做SWOT分析、整理会议核心信息。4.3.2 Google将生成式AI应用于Workspace谷歌将生成式AI功能用于Google Workspace中的各种应用程序，包括谷歌邮箱（Gmail）、谷歌文档（Google Docs）、表格（Sheets）和幻灯片（Slides）。谷歌还宣布允许云平台客户使用谷歌语言模型PaLM将聊天机器人功能编程到自己的应用程序当中。生成式AI工具接入谷歌文档后，不仅可以用来帮用户撰写博客、培训计划、电子邮件或任何其他文本，还能根据用户反馈来修改它的表达语气。用户只需输入要撰写的主题，草稿就可自动生成。4.3.3 国内互联网公司布局办公领域及数字人4月11日，钉钉接入阿里通义千问大模型，用户输入一个“/”就能调动10余种高能AI能力，包括自动生成群聊摘要、辅助内容创作、总结会议纪要、草图变小程序等，为2300万企业提供智能转型抓手；4月17日，百度官微宣布文心一言大模型在百度内部全面应用在智大模型技术深度赋能保险行业白皮书（2023）64大模型技术深度赋能保险行业白皮书（2023）65能工作平台“如流”上，助员工在日常工作中的思路构建、协作沟通、方案策划、代码编写等方面提升效率；同日，金山办公正式推出具备大语言模型能力的生成式AI应用“WPS AI”，包括文本生成、多轮对话、润色改写等功能，计划嵌入金山办公全线产品。在国内，智能数字人已成为众多上市公司和创企扎堆进入的领域。如国内AI股上市天娱数科的虚拟数字人已经接入ChatGPT等模型；虚拟技术提供商世优科技目前已将ChatGPT技术接入数字人产品当中；智能内容生成平台来画也在3月底正式接入ChatGPT，短短几十秒就能生成一篇高质量视频文案，并推出数字IP 直播模式。大模型技术深度赋能保险行业白皮书（2023）5.挑战与机遇并存 积极布局加速赋能5.1 大模型能力持续升级，应用前景可期随着人工智能技术的不断发展，大模型的应用前景越来越受到重视。海外、全球范围内，越来越多的企业和机构开始加速升级和实践大模型技术，以期实现更高效、智能的处理能力。国外谷歌的LaMDA大模型、OpenAI的GPT大模型等全球性大模型在语言理解和生成方面取得了显著进展，推动了聊天机器人、语音助手等应用的普及。国内科技、互联网巨头纷纷布局，百度的文心一言、阿里的通义千问大模型、腾讯的混元大模型、智谱AI的ChatGLM、百川智能的Baichuan、科大讯飞的星火认知大模型、商汤科技的日日新大模型等百花齐放。随着计算能力的提升和数据量的增加，大模型的技术发展和应用前景非常广阔。(1)更大的模型：随着硬件和软件技术的不断进步，我们可以预见到未来会出现更大、更复杂的大模型。这些模型将能够处理更复杂的任务，如多模态学习、跨语言学习等。随着大模型时代的到来，各行各业已经步入了全新的发展空间，商业机会和创新业务模式也得到了极大的拓展。具体来说，这包括业务创新能力的提升、高效运营和智能化决策的实现、产品及服务的升级、跨界合作与业务范围的拓展以及基于数据驱动的管理决策等各个层面。保险领域，作为科技创新的沃土，如何把握住这些发展机遇并充分释放大模型的潜能，已成为保险科技团队面临的重要挑战。为了应对这一挑战，我们必须持续探索和实践，以期在保险科技领域取得更为显著的成果。66大模型技术深度赋能保险行业白皮书（2023）(2)更智能的AI Agent：大模型是AI Agent的核心大脑和智慧源泉。在指令理解、知识学习、规划、推理和泛化等方面，它都表现出了强大的能力，且能与人类进行友好的自然语言交互，是AI Agent“认知飞轮”中进行“认知”和“决策”过程的主体。日益强大的大模型，赋予了AI Agent深度理解各种任务的能力，使得AI Agent更接近于实现通用人工智能（AGI）的目标。有了大模型的加持，AI Agent能够更好地感知和理解环境、更有效地进行学习和决策、更精准地满足人类的需求。(3)模型压缩：大模型的训练和推理需要大量的计算资源，这限制了其在实际应用中的普及。因此，模型压缩技术将成为大模型发展的重要方向。通过模型剪枝、量化、知识蒸馏等方法，我们可以在保持模型性能的同时，大幅降低模型的计算资源需求。(4)模型泛化：大模型在训练数据上的表现可能非常出色，但在实际应用中可能存在过拟合的问题。为了解决这个问题，未来的大模型将更加注重泛化能力，即在新的、未见过的数据上表现良好。这可能需要采用更多的数据增强方法、对抗训练技术等。(5)边缘计算：随着物联网和5G技术的发展，大量的数据将在终端设备上进行处理。为了满足这些设备的计算能力有限的特点，未来的大模型将更加注重边缘计算。这意味着我们需要开发新的模型架构和算法，以便于在边缘设备上高效地运行大模型。在未来，我们有望看到更大规模、更复杂、更具泛化能力的大模型出现，这将为人工智人工智能领域带来更多的突破和创新。在金融保险这一垂直领域中，随着技术的持续进步与应用场景的广泛延伸，大模型在落地应用中的角色也逐步从“辅助”和“赋能”转变为更具主导性和引领性的角色。大模型的深度认知能力，将改变行业对风险认知与管理的能力，推动保险行业的精算模式从“粗放预测”向“精准预知”升级，同时推动风险管理从相对被动的“等量管理”向相对主动的“减量管理”转变。这一转变将重塑保险行业的商业模式，引领一场颠覆性的变革，开启新67大模型技术深度赋能保险行业白皮书（2023）的发展篇章。在这个过程中，大模型的应用将为企业带来更多的商业机会和价值，并对保险行业的未来发展产生深远的影响。以大模型为代表的生成式人工智能迎来爆发式发展的同时，其所衍生的隐私、安全问题以及被滥用、恶意使用的情况也逐步显露。全球主要国家、国际组织、企业及研究机构纷纷呼吁加强人工智能治理举措、强化人工智能风险管理、规范人工智能技术发展，从而实现AI技术的可信、可靠及可持续发展。保险行业大模型的发展同样需要一个清晰的治理体系框架，划定边界，保障保险业大模型是负责任、公平、可持续发展的大模型。建立覆盖全生命周期、具有可操作性的AI治理体系需重点关注以下方面：（1）保证数据质量及隐私：首先是保证数据质量，通过数据清洗、数据标注、数据筛选等方式，确保训练数据的质量、全面和准确，避免数据噪声和数据偏见；在隐私数据保护方面，可通过加密技术、访问控制、大模型部署本地化等方式，保护隐私数据，并建立流程制度确保隐私数据的使用合规。5.2 强化治理，推动大模型可持续发展来源：AI大模型市场研究报告（2023）迈向通用人工智能，大模型拉开新时代序幕，A Frost&Sullivan White Paper.图15 商汤AI治理理念68大模型技术深度赋能保险行业白皮书（2023）5.3 多方协同，构建大模型发展新生态（2）避免有害输出：建立大模型输出内容的质量评估体系及审核、过滤机制，确保其输出符合事实或预期，避免误导公众或造成不良影响。（3）尊重知识产权，加强版权保护：大模型生成类似人类创作的作品成本低廉，这可能让优秀的人类创作者淹没在海量的AI创作之中，因此，人类社会需要制定方法和措施甄别人类创造和机器创造，如利用数字水印等技术，为版权溯源提供支撑；需要确立准则明确AI创作的使用场景和界限，并通过合理的激励机制同时激发人类和大模型的潜力，使其紧密协同开展创作型工作。（4）增强可解释性：通过采用易于解释的算法、可视化的模型结构等方式，使模型的决策过程更易于理解；通过记录模型训练及推理过程中的日志等方式，让模型运行原理及过程更透明、公开。（5）确保公平、公正：通过数据集偏见评估、标注人员管理和培训、数据增强等方式，确保AIGC算法和系统的公平和公正性，避免模型对某些群体的偏见和歧视。（6）增强可问责性：首先是建立问责机制，通过数字水印等溯源技术，对模型生成的文本、图片、代码、音频等数据责任方进行溯源；并对模型及系统设计、开发、测试、部署过程中的责任主体进行管理。然后是建立版本管理体系，完整记录版本迭代信息，并持续进行跟踪和监测。大模型生态的协同发展需要政府、产业、学术界和研究机构等多方的共同参与和开放合作，以推进AI大模型的研发与产业化进程，进而提升我国在人工智能领域的国际竞争力。具体来说，大模型生态可以从以下几个方面进行协同发展：数据、GPU算力、算法模型、研发平台、插件体系、应用落地、资本投入。69（1）数据数据是AI大模型训练和优化的基石，大模型生态的发展离不开数据的丰富和多样化。为了支持更优性能的模型，需要收集和整理更多的高质量数据，包括结构化数据（如表格、数据库等）和非结构化数据（如文本、图像、音频、视频等）。同时，数据隐私和安全问题也需要得到足够的重视和解决。数据合作：鼓励企业、学术机构和政府部门之间的数据共享，打破数据孤岛，实现数据的跨领域、跨平台的应用。数据安全：建立完善的数据安全体系，保护用户隐私，防止数据泄露和滥用。（2）GPU算力GPU在大规模并行计算方面具有显著优势，对于支持大模型的训练和推理至关重要。因此，高性能GPU的研发和部署是大模型生态发展的关键。硬件升级：持续关注GPU技术的发展，及时更新硬件设备，提高计算效率。软件优化：针对GPU进行算法和框架的优化，充分发挥其性能优势。（3）算法模型大模型需要更先进的算法和模型来支持，这包括深度学习、自然语言处理、计算机视觉等多个领域的研究。鼓励各方开放自己的算法库，共享技术成果，提升模型的创新能力和实用性。学术研究：鼓励学术界开展前沿技术研究，不断提出新的算法和模型。产业应用：将研究成果应用于实际问题，推动产业发展，实现技术创新与市场需求的有效对接。大模型技术深度赋能保险行业白皮书（2023）70（4）研发平台为了支持大模型的开发和应用，需要建立一套完善的研发平台。这包括数据处理、模型训练、推理验证、部署管理等各个环节。协同创新：搭建跨部门、跨领域的协同创新平台，促进资源共享和技术交流。开源社区：积极参与和推动开源社区的建设，分享经验和技术成果，共同推动大模型生态的发展。（5）插件体系 为了让开发者更方便地使用大模型，需要构建一个丰富的插件体系，提供额外的功能和灵活性，满足各种应用场景的需求。鼓励各方开发插件库，丰富大模型的应用场景，提升其实际应用价值。易用性：提供简洁易用的API和SDK，降低开发者的使用门槛。灵活性：支持多种场景和需求的定制化开发，满足不同用户的个性化需求。（6）应用落地大模型在众多领域都有广泛的落地场景，如智能语音助手、自动文本生成、计算机视觉识别等。我们需要不断挖掘和拓展大模型的应用场景，实现技术与市场的有机结合。市场调研：深入了解各行业的需求和痛点，发掘大模型的潜在应用场景。产品策划：基于市场需求，策划有针对性的大模型产品和服务。（7）资本投入大模型生态的发展需要充足的资金支持。政府、企业和社会资本应共同努力，为大模型生态提供持续的资金保障。政府支持：政府应加大对大模型生态的支持力度，提供优惠政策、资金扶持等措施。企业投资：企业应积极投资大模型相关的研发和应用，推动技术创新和市场拓展。大模型技术深度赋能保险行业白皮书（2023）71大模型技术深度赋能保险行业白皮书（2023）企业的大模型落地应用也面临着多方面的挑战，这些挑战直接影响到企业是否能够成功应用大模型、应用的效果以及收益。挑战主要来自以下几方面：（1）数据挑战：大模型的训练和优化需要大量的数据支持，数据的质量、数量和多样性都会影响模型的效果和性能。这些数据的获取、处理、清洗和标注等需要大量的时间和人力资源，需要建立起完善的数据采集、处理、管理和安全等体系。如果企业的数据资源和数据处理能力不足，就会限制大模型的应用效果和准确性。（2）技术挑战：大模型的训练和优化、部署和维护均需要先进的技术支持和专业的研发团队，例如深度学习框架、分布式计算、参数高效微调、模型加速等。而这些技术和知识的掌握和应用需要长期的积累和实践，需要对技术发展趋势和市场应用有深刻的了解。如果企业的技术能力和研发团队不足，就会限制大模型的应用效果和创新能力。（3）合规性挑战：应用大模型进行技术场景落地时，应特别注重敏感数据和技术的合规、合法性，确保在法律和政策监管范围内进行技术的研发。防止漏洞攻击和数据被窃取而造成发的经济损失与合规成本，做到系统安全和隐私保护。（4）隐私和安全：大模型的训练和应用过程中可能涉及到用户的隐私信息及企业的敏感数据，需要采取措施保护用户隐私和企业数据安全。（5）商业落地挑战：将大模型应用于商业场景需要考虑多个方面，如市场需求、商业模式、投资回报等。大模型的应用需要长期的投入和实践，需要大量的资金、人力和技术支持。而这些投入是否能够带来足够的商业价值和收益，需要进行深入的分析和评估。企业需要综合考虑市场需求和商业目标来决定大模型的应用方向和实施方案。5.4 面临的挑战风险投资：鼓励风险投资机构投资大模型生态相关项目，为创新创业提供资金支持。72大模型技术深度赋能保险行业白皮书（2023）（6）算力挑战：大模型的训练和推理需要大量的计算资源和算力支持，例如高性能计算机、大规模集群等。而这些设备和资源的成本非常高昂，需要大量的资金投入和技术支持。如果企业的计算资源和算力不足，就会限制大模型的应用效果和范围。企业的大模型落地应用面临着诸多挑战与限制，这需要我们进行全面且系统的分析、评估与实施。唯在我们成功应对这些挑战并充分发挥大模型的潜能之后，企业方能实现AI价值创造和商业目标双达成的理想局面。5.5 应对措施建议面对大模型带来的机遇和挑战，企业可以从以下几方面着手，积极应对挑战，提升自身竞争力；把握机遇，推动保险行业的高价值可持续发展。（1）优化和调整业务策略：企业应根据大模型的发展趋势和市场需求，调整和优化自身的业务策略，以便更好地适应新的市场环境。例如，企业可以基于大模型技术开发新的产品和服务，以满足用户的需求和期望。（2）金融保险行业数据积累：企业需要建立完善的数据采集、处理、管理和安全等体系，确保数据资源的充足和多样性。另外，还需要加强数据的处理和分析能力，对数据进行清洗、标注、预处理等操作，提高数据的质量和可用性。企业需要结合自身的业务场景和需求，对具体应用领域的数据进行大量的积累和分析，为大模型的训练和优化提供有力的支持。（3）积极跟踪技术演进，探索落地场景并按需进行技术选型：企业需要建立专业的技术团队，时刻关注最新的技术趋势和研究成果，包括深度学习、强化学习、自然语言处理、多模态等领域。企业需要积极参加相关的技术会议和研讨会，与行业内的专家和同行进行交流和学习，了解最新的技术动态和应用场景。除此之外，企业需要结合自身的业务需求和场景，不断探索和尝试新的大模型应用，明确大模型应用的具体的目标和指标，避免盲73目跟风或过度设计。企业需要选择适合自身业务需求和场景的大模型技术和工具，综合考虑技术的性能、效果、可扩展性、稳定性等因素，进行具体的模型设计和优化，不断调整和改进模型的参数和结构，提高模型的准确性和效率，将其转化为具体的业务价值和收益。（4）数据和技术的合规性：全球的数据、技术合规性和隐私保护面临严峻的挑战，近两年，中国在数据和生成式人工智能技术的合规性方面不断出台相关的法律法规。企业应严格遵守和持续关注国家相关法律法规和监管政策，以确保企业在数据使用和技术研发方面的合规性和稳健性。比如：AIGC自动生成的文案、图片和视频要对敏感词汇进行合规性审查；企业的核心运营数据需得到客户的授权，并且在合规、安全的前提下进行模型研发和技术落地。（5）培养和引进人才：企业应加大对大模型相关人才的培养和引进力度，提高企业在这一领域的技术水平和创新能力。（6）加强合作与交流：企业可以与其他企业、研究机构和高校等开展合作与交流，共享大模型技术的研发成果和应用经验，共同推动大模型技术的发展和应用。（7）关注政策和法规变化：企业应密切关注政府和行业相关政策、法规的变化，及时调整自身战略和技术发展方向，确保企业的合规性和可持续发展。（8）注重客户体验和满意度：在利用大模型技术改进产品和服务的同时，企业应注重提高客户体验和满意度，以便更好地满足客户需求、提升客户获得感。行稳致远,进而有为。大模型为保险行业深度赋能的潜力已现，我们正站在这个巨大的机遇之前，迎接着一个充满挑战和可能性的未来。作为保险科技领域的深耕者，我们深知只有不断推动创新和技术的应用，才能在这个竞争激烈的市场中保持领先地位。我们将始终保持敏锐的市场洞察力和创新思维，始终站在技术发展的前沿，为客户提供更有竞争力的保险产品，以及更加高效、便捷、可靠的保险服务。我们期待，在全体保险科技从业人员大模型技术深度赋能保险行业白皮书（2023）74致谢的共同努力下，保险行业将迎来更加美好的未来。让我们携手共进，共同为保险行业的高质量、可持续发展贡献力量！编委会衷心感谢众多专家在白皮书编写过程中给予的宝贵指导，以及行业组织和公司提供的支持和协助。我们在此向他们表达最诚挚的感谢。大模型技术深度赋能保险行业白皮书（2023）75编委会：李 科王 和谷 伟魏晨阳徐怀哲冯 洋石运福王 睿顾青山杜新凯刘 彦韩权杰吕 超卢世成张 晗王俊海蔡岩松陈 述石国平郑立君石权利陈 浩高 建杨 波孙雅琳李晓明刘蒸蒸张泽佳陈 旋郑永涛张立鹏杨鹏升张云皓陆 昕井溢启王红豫韩 佳郑志敏赵日新王 军

0人已浏览 2023-12-09 74页 5星级