1、DataFunSummit#2023大语言模型在ICT运维领域的研究及应用陶仕敏-华为-2012文本机器翻译实验室技术专家个人及团队介绍 2016年至今：华为2012文本机器翻译实验室，技术专家。Lab北京团队及创新技术合作负责人。主要研究方向：智能运维、神经机器翻译、基于日志的大模型研究及应用 之前主要经历：百度。历任工程师、技术经理和智能运维负责人，主要工作职责：运维平台建设，智能运维产品开发 孟伟彬：华为数通产品线技术专家，清华博士毕业。刘逸伦：华为2012文本机器翻译实验室，助理研究员。01大语言模型观点02自然语言在ICT领域的发展03大语言模型在ICT的应用04未来畅想目录CONT

2、ENTDataFunSummit#202301大语言模型的发展及观点观点：ChatGPT 通过大语言模型技术引爆AI产业chatGPT下一代快速进化，GPT4在各种人类考试场景测试中大幅超越GPT3.5，部分标准化测试表现超过人类水平微软全面拥抱OpenAI大模型技术，基于GPT4的Copilot在办公产品中全面应用OUTLOOKPPTWordExcelNotebook视频会议Teams 直接根据需求写文稿 提供微调功能，灵活选择文字风格、文本长度 根据需求一键生成PPT 可以微调PPT风格 插入Note、PPT等附件多模态交互生成相关文本 支持多种本文结构，可以将Word文本直接生成PPT

3、通过Copilot获取数据，分析结果、分析图表和数据、做未来预测 自动生成任务流程等功能性文本 Copilot理解会议内容，用户问Copilot(小组成员对某问题看法、某产品在会中的信息)，会后直接生成纪要观点：时代在高速地进行，速度越来越快。它是结构上决定的，势不可挡。-陆奇观点：人类语言是模型理解世界的桥梁，与人类对齐成就更好的模型效果和体验数据语料预训练LLMInstruct GPTRLHFSafetyChat-GPT 认知对齐 智能的工具 指令对齐 推理能力 习惯对齐 更自然的输出 安全对齐 避免道德和法律风险 体验对齐 好的产品物理世界数字世界（大型语言模型）人的认知世界基于语言对世

4、界进行数字化建模基于自身的语言来驱动大模型意图理解的不一致，导致模型输出不符合人类需求试图解决这个不一致，实现人类对齐。各种Prompt技术Prompt learning：预设问题Prompt帮助模型理解人的意图和需要Prompt Application：帮助人更好用提示词生成人想要的内容（文本、图片和语音）注：仅代表一种理解和可能大语言模型+Prompt的架构模型from：https:/lifearchitect.ai/chatgpt/5个对齐成就更好的LLM产品DataFunSummit#202302自然语言在ICT领域的发展万物皆可译（解码）原文密文密码本加密解密 翻译：加密解密的过程沃

5、伦韦弗（Warren Weaver，1894年7月17日至1978年11月24日）是美国科学家，数学家和科学管理人员。1他被公认为机器翻译的先驱者之一，并且是在美国为科学提供支持的重要人物。来源：https:/en.wikipedia.org/wiki/Warren_Weaver Transformer的出现进一步验证了这个理论的正确自然语言文本图片语音 基于人类自然语言的交互注：部分示意图片来自互联网公开数据ICT运维场景及目标：基于数据、算法和场景驱动的智能运维 场景及目标：围绕运维对象，发现其与预期不一致的状态，通过事先定义的Action，驱动运维对象状态的恢复。数据：日志、KPI、告警

6、等。1.KPI是统计数据，对于服务的本身状态是一种成本开销上的折中。2.告警本质是把机器状态数据通过可接受的成本转化成自然语言，方便人理解。3.日志某种程度上可以看做是机器语言，更加全面。在大模型时代更适合作为模型的语料。运维对象StatusAction决策Event DrivenService invocation故障恢复自动化ActionActionActionActionAction设计数据：MO类型关系规划数据：组网、配置运行数据：日志、性能、告警大语言模型为什么可以应用到ICT运维领域表：一些网络基础设施中的日志消息，日志中的详细信息和自然语言有一定的相似性类自然语言半类自然语言半结

7、构化文本结构化文本基于日志的自动化分析任务日志压缩Log Compress日志解析Log Parsing日志挖掘Log Mining异常检测Anomaly Detection故障预测Failure Prediction故障诊断Failure Diagnoses图：基于日志的自动化分析任务总结(https:/ 通过预训练或者指令学习，可以适应多任务场景，从而可能建立处理框架代际输入方法目标研究成果类别第一代离散特征和KPI特征识别及统计算法拟合异常结果Ft-treeLogParseTASK BASE第二代日志文本生成token深度学习拟合异常结果LogAnomalyLogStamp第三代段落日志

8、和跨域日志预训练语言模型日志语言理解BigLogDa-Parser第四代原始日志和自然语言文本大语言模型意图理解的运维Logxxx（审稿中）Instruction Based第五代智慧体LogAIBox：从智能运维到大语言模型驱动的运维智能1LogAnomaly:Unsupervised detection of sequential and quantitative anomalies in unstructured logs(IJCAI 2019)2LogParse:Making Log Parsing Adaptive through Word Classification.(ICCCN

9、 2020)3 LogStamp:Automatic Online Log Parsing Based on Sequence Labelling.(WAIN Performance 2021)4BigLog:Unsupervised Large-scale Pre-training for a Unified Log Representation(IWQoS 2023)5DA-Parser:A Pre-trained Domain-Aware Parsing Framework for Heterogeneous Log Analysis(Compsac 2023)6LogXXX投稿中Big

10、Log：https:/ 借鉴BERT的训练思路，采用无监督的方法，把日志模板解析转化成自然语言序列标注任务，对日志句子的每个词token化。本质是二分类问题，保留Templates标签，然后construction成Templates。整体效果非常不错14第三代技术：Biglog致力于解决目前方法中定制化严重、各自为战的现象各自为战基于日志的异常检测基于日志的故障预测日志分类日志压缩日志摘要目前相关技术的缺点：1、缺少统一的模型:现阶段针对不同任务需要不同的算法，维护成本高，需要统一的大模型涵盖所有的日志分析需求，实现多业务场景融合2、缺少语义：原有方法对日志的语义理解能力不够，导致无法识别日

11、志内的语义异常和日志间语义关联异常，所以需要使用更强的语言模型获取日志的语义表征。3、严重定制化：不同方法预处理、提取日志特征向量依赖于手工特征或者定制模板，泛化能力不够，需要统一的日志特征提取方式。15Biglog技术难点解决方案通用语言模型BERT对日志理解能力不足 对来自新设备、新领域的日志理解能力不足 无法捕捉日志序列间的上下文依赖关系原始日志内容存在大量噪声 大量非自然语言字符串(127.0.0.1、/etc/cron.hourly)不规范词、复合词(SCHEDULE_RECORDREMAINING)信通信领域日志中存在大量术语ospf、ftp、mac、ip预训练日志领域的语言模型

12、引入总共78G、来自16个域的日志作训练集 设计时间窗口式的日志序列拼接方法，让模型关注时间片关联设计新的日志预处理流程设计多种方法过滤不规范文本题利用IP、FILE、CODE等特殊符号替换原始串利用数通术语增强模型预训练(V4)挖掘原始日志语料中出现的高频术语词 利用prompt、术语mask等方式增强预训练第三代技术：Biglog 基于预训练的日志语言理解模型支撑支撑支撑日志解析任务7个公开数据集上取得19项最佳表现细粒度场景下超过当前最佳模型40.74%日志异常检测2个公开数据集上取得12项最佳表现小样本场景下超过当前最佳模型40%以上日志故障预测3个公开数据集上取得6项最佳表现迁移学习

13、场景下超过当前最佳模型32.30%Biglog:通过大规模预训练来理解日志MLM Pre-training Design78G logs from 16 domains Outstanding Log Understanding AbilityBiglog:统一日志框架+Biglog embeddings在日志解析任务上的效果Biglog:异常检测模块+Biglog embeddings在异常检测任务上的效果OfflineOnlineBiglog:故障预测工作流+Biglog embeddings在长序列故障预测任务上的效果Few-shot Learning Ability of Biglog

14、:1.Exceptional performance with extremely limited training data2.Outperforms DeepLog and LogAnomaly with as few as 20 samples3.Surpasses multiple baselines when training samples increase to 1004.Demonstrates remarkable F1-score on Spirit dataset without prior exposure5.Promising results in new domai

15、ns with few labeled historical logsDomain-adaptiveness of Biglog:1.Superior to specialized domain adaptation methods,such as LogTransfer2.Achieves good performance with limited target-domain samples3.Accurately discriminates normal and abnormal logs in the target domain4.Outperforms LogTransfer even

16、 with a small amount of target-domain data5.Generalized log representations from pre-training phase enhance domain-adaptivenessBiglog:预训练提升了领域的泛化能力和few-shot能力Log Templates by DA-ParserBy Existing Methods在没有域信息的限制下，现有方法错误地将共同部分“-”识别为来自不同领域的三个日志的日志模板。(1)现有日志解析算法依赖于基于日志中词级别差异（例如，“-”）提取日志的共同部分作为模板，忽略了日志

17、的语义含义。(2)在单领域日志分析中，这种错误影响很小。然而，当日志来自多个领域时，大量纷繁复杂的日志格式会导致解析错误的概率大大增加。(3)现有的多源日志解析解决方案需要大量的人工标签工作，使其难以在线上环境中使用。处理多源日志输入时，现有的日志解析算法的性能会下降多达30%。DA-Parser:Biglog应用到跨域日志解析任务Compsac 2023阶段 2:单域解析1.为每个领域提取模板集2.合并领域模板集进行在线匹配解析3.可支持16域日志解析，无需人工标注阶段 1:领域日志分类1.预训练领域感知层2.映射日志的语义空间3.预测日志所属领域与7个现有算法相比，DA-Parser的多源

18、日志解析性能取得最佳结果：DA-LogParse在F1分数和RandIndex上的表现超过了基线模型，表现最佳。对所有7个基线模型都有普遍的改进。DA-LogParse：F1-score从0.6443提高到0.7837DA-LKE：RandIndex从0.0266提高到0.7016DA-Parser的效果提升是因为使用模板集的提取考虑了日志语义，并且考虑了各个域的特征。DA-Parser:基于预训练模型的两阶段域感知日志解析框架DataFunSummit#202303大语言模型在ICT领域的应用24第四代技术：LogXXX 日志运维向智慧体演进，增强可解释性，减少数据依赖Self-prompt

19、CoTPromptIn-context Prompt运维人员大模型+prompt策略=智慧体Logxxx现网系统租户角色操作流现网状况用户画像对话流用户意图零样本推理Prompt引擎Biglog 实现了日志理解，基于一定的训练数据可以自动映射故障现象，但依然没有完成智能运维的最后一步：根因分析和故障自恢复。Biglog 的交互设计缺乏反馈与互动，离“智慧体”距离遥远。运维智慧体Logxxx：并非数据驱动，而是Prompt驱动，激发大模型的日志分析和推理能力，充当设备系统与工程师之间交流沟通的桥梁。可交互性运维分析用户日志中出现如下命令该怎么办：net use 10.153.183.115/de

20、l/y智慧体该命令为恶意命令，WMI是通过135端口进行利用，支持用户名明文或hash的方式进行认证，在使用WMIC执行命令过程中，操作系统默认不会将WMIC的操作记录在日志中，因此在利用过程中不会产生日志。用户有什么建议？智慧体处置建议：1、如果该进程属于正常业务，请单击忽略，该告警不会再次触发。2、如果是未知进程或者经确认是恶意软件，请先单击快速处置，终止恶意进程，然后删除该恶意软件，最后使用杀毒软件对被感染主机进行病毒查杀。PanguLLaMaChatGPTChatGLMLogXXX:Prompt策略+大模型=强大的零样本故障推断与可解释性日志分析能力现网设备日志Prompt引擎任意大模

21、型大模型盘古开源大模型Logxxx（零训练数据）在异常检测、日志解析任务相较于现有方法（大量训练数据）取得12项最佳表现，超过现有方法51.9%。Logxxx的根因生成与变量解释能力在业界专家评测中取得了90+以上的高分。CoT-promptIn-contexpromptSelf-promptLogXXX:实验结果Self-prompt策略中不同candidate prompt对日志解析任务的影响CoT prompt策略中不同CoT策略对日志异常检测任务的影响In-Context prompt策略中Context长度对日志分析性能的影响不同底座大模型对模型表现的影响2.你需要给出一个需要调用确

22、定的API3.你需要给出调用API的参数4.只允许通过给定的已知内容生成回答，不允许编造未知的API及参数导入带有API信息的本地知识库知识库：查询哪些ap最繁忙，第一步需要调用的API：/xxx/inter/query/api，第二步调用API的传参：id、startTime、endTime、xxx、xxx、xxx。LogXXX:应用及效果1.你是用户的一个运维助手，你将基于给定的用户查询给出可能的API及其参数选择DataFunSummit#202304未来畅想：从LLM到AGI未来畅想基础大模型(通用NLP，千亿L0基础大模型)领域大模型(行业)专业应用 语言驱动基础模型(NLP)面向多模态统一(NLP+视觉)通用大模型目标AGI1.纯自然语言的交互2.被动式运维3.智能Agent自运维*与公开NCE、NAIE合作1.违背人的意图2.Safety保障人生命3.期望可控感谢观看