《4 王昊奋 增强大语言模型关键技术与应用范式.pdf》由会员分享,可在线阅读,更多相关《4 王昊奋 增强大语言模型关键技术与应用范式.pdf(72页珍藏版)》请在三个皮匠报告上搜索。
1、王昊奋同济大学增强大语言模型关键技术与应用范式1.大语言模型崛起2.增强关键技术3.应用落地范式4.典型案例分享5.未来机遇展望1.大语言模型崛起大语言模型掀起迈向AGI的浪潮ChatGPT是由美国人工智能公司OpenAI在2022年11月推出的生成式对话预训练大语言模型。它以对话的方式进行交互。对话形式使得其能够回答后续问题,承认错误,质疑不正确的前提,并拒绝不适当的请求大语言模型掀起迈向AGI的浪潮NLP任务:文本分类信息抽取文本摘要智能问答阅读理解机器翻译文本生成语法纠正.应用场景:信息分类文本结构化摘要说明对话问答复杂文本理解多种语言翻译内容创作信息纠错.大语言模型掀起迈向AGI的浪潮
2、A Survey of Large Language Models,2023大语言模型掀起迈向AGI的浪潮开源基础模型+微调促进生态繁荣大语言模型作为基础来提供接口基础模型/大模型:指通过在大规模的数据上训练后能适应一系列下游任务的的模型Zero Shot PromptingFew Shot Prompting In Context LearningInstruction来源:Finetuned Language Models Are Zero-Shot Learners来源:Language Models are General-Purpose Interfaces大语言模型的“特征工程”围
3、绕提示展开:提示工程大语言模型的“特征工程”围绕提示展开:提示工程大语言模型的“特征工程”围绕提示展开:提示工程大语言模型的“特征工程”围绕提示展开:提示工程Zero-Shot Chain-of-ThoughtSelf-Consistency大语言模型存在的不足存在“幻觉”,容易一本正经胡说八道提示直接决定回复质量,经常容易“说正确的废话”无法理解与更新个性化知识,如无法针对个性需求提供信息无法处理动态、实时问题,如股票价格、天气变化等知识无法更新,不能提供最新信息不擅长数学计算和逻辑推理等正确答案:555458块实时问题个性化问题需要新知识需要计算大语言模型落地的限制GPT=Giant Pa
4、rrot Talking?(统计学习)增强大语言模型的必要性和可能方向来源:Augmented Language Models:a Survey(Yann Lecun et al.)v针对当前LLM的不足,研究者们提出了一些改进措施,例如使LM利用外部工具,用LM的权重中不包含的重要缺失信息来增强上下文理解,形成更强大的智能体;这些模型统称为增强语言模型(ALMs)。v推理(Reasoning):将复杂任务分解成更简单的子任务,LM可以自己或使用工具更容易地解决。v工具(Tool):收集外部信息,或者对ALM感知的虚拟或物理世界产生影响。v行为(Act):调用一个对虚拟或物理世界有影响的工具并
5、观察其结果,将其纳入ALM的当前上下文。v结合使用:推理和工具可以放在同一个模块里,二者都是通过增强LM的上下文来更好地预测缺失;收集额外信息的工具和对虚拟或物理世界产生影响的工具可以被LM以同样的方式调用。2.增强关键技术增强技术1:高级提示工程增强技术1:高级提示工程增强技术1:高级提示工程单阶段方法Sensitivity of in-context learningComplexity,diversity,explicityComplexity-Based Prompting for Multi-step Reasoning,ICLR 2023在CoT方法上简单直接的改进,现有工作表明i
6、n-context learning对于其中包含的例子的顺序、质量等非常敏感,一个非常小的改变可能会引起模型效果上很大的下降,想要进一步的优化CoT,一个直观的手段是优化其中的例子,现有方法主要是提高例子的复杂度、多样性、明确性等增强技术1:高级提示工程多阶段方法Least-to-Most Prompting Enables Complex Reasoning in Large Language Models 2022人类在推理问题时往往不是一次性的,而是反复思考的多次输入输出,受此启发便产生了相对于单阶段的多阶段类提示方法,该类方法将一个复杂问题拆成多个子问题按多阶段进行推理增强技术1:高级
7、提示工程提示分解法Decomposed Prompting:A Modular Approach for Solving Complex Tasks 2022增强技术1:高级提示工程思维链结构化结构化更好或逻辑性更强的提示性知识起到对复杂推理产生约束作用,产生更好Step-by-step的思维过程Tree of ThoughtsGraph of Thoughts增强技术1:高级提示工程Reframing Human-AI Collaboration for Generating Free-Text Explanations,NAACL 2022Self-optimization单阶段和多阶段代
8、表的prompt工程方法是在模型的输入上进行策略增强的,而过程优化方法还可以在模型输出上进行策略增强。推理过程是CoT prompting的关键,self-optimization方法是引入相应的矫正模块或过滤模块等对推理路径进行优化增强技术1:高级提示工程Self-Consistency Improves Chain of Thought Reasoning in Language Models 2022Ensemble-Optimization条条大路通罗马,推理问题往往不只有一个路径可以到达正确答案,往往一个问题有多种解法,由此便产生了集成优化的方法,该类方法以Google的self-c
9、onsistency为代表,使用在生成式解码过程中常用的采样手段,比如temperature、top-k等,让语言模型产生多条路径,将所有路径的答案汇总生成最终答案增强技术1:提示工程的“设计模式”STANDING ON THE SHOULDERS OF GIANT FROZEN LANGUAGE MODELS 2022textual recursive LMinput-dependent prompt tuningretrievereadre-rank增强技术1:提示工程即知识工程大量实践表明提示设计的好坏和详细程度,以及提示表示的结构化和逻辑性水平对模型输出结果影响巨大,提示工程本质就是知
10、识工程,目的也是从人获取先验知识,来指导模型训练或激活模型推理能力。Tree as PromptsLogic Rule as as PromptsKG as PromptsProgram as PromptsTextual Prompts with CoTTextual Prompts提示知识的结构化水平和逻辑性逐步增加,模型推能力更强,但提示知识获取的难度逐步增加,规模涌现越不容易实现表示 vs 规模表示水平与推理能力的正比关系仍然存在表示复杂度与规模化的矛盾关系仍然存在表示 vs 推理增强技术2:检索/知识增强效率时效性更新溯源理解能力合成表达增强技术2:检索/知识增强效率时效性更新溯源理
11、解能力合成表达增强技术2:检索/知识增强改进语言模型的另一种途径:通过检索包括网页、书籍、新闻和代码在内的文本段落数据库来增强检索,生成了一种新的语言模型RETRORETRO模型利用从大型语料库中检索到的文档块,基于与前面标记的局部相似性来增强自回归语言模型。该模型可以从零开始训练,也可以快速改装带检索的预训练Transformer,仍然取得良好的性能。DeepMinds RETRO(Retrieval-Enhanced TRansfOrmer)增强技术2:检索/知识增强Inter-sample structureIntra-sample structure知识增强与结构增强:Structur
12、e-inducing Pre-trainingStructure-inducing pre-training.Nature Machine Intelligence 2023增强技术2:检索/知识增强知识图谱与指令微调:KG2Instructhttp:/ 大模型的问答方向增强技术2:检索/知识增强输入LLM解析(嵌入/抽取)知识检索相关的知识和内容LLM生成输出模型层-在线模型层-离线多模态领域知识图谱结果融合/生成领域LLM知识抽取时空挖掘规则学习多模映射领域数据复杂推理与决策规划提示构建增强技术3:工具学习增强技术3:工具学习-API链目标:使用LLM与其它工具结合,解决具体领域的问题。在
13、不同类型的数据和各种模型工具之间建立起了桥梁,利用LLM实现了之前需要人工设计的调用顺序和方法。当前问题:自然语言大模型LLM由于其自身的限制,无法访问最新信息、无法使用外部工具,无法进行精确的数学推理。效果:结合GPT-4,在ScienceQA(86.54%)和TabMWP(98.78)任务中,得到了显著的提升。方法:提出chameleon(变色龙),即插即用的组合推理框架,该框架可以组合多种工具,其中可包含LLM模型、现成的视觉模型、网络搜索引擎、Python 函数和根据用户兴趣定制的基于规则的模块,并将LLM 作为自然语言规划器,将问题拆解成多种工具组合的链条(设计工作流程),然后调用工
14、具协同解决问题,最后通过答案生成器生成回答。图-1展示了看图回答问题的三个示例,针对第二个问题,展示了从文本识别,信息检索,生成解决方法,最终生成答案的过程。Chameleon:Plug-and-Play Compositional Reasoning with Large Language Models,2023增强技术3:工具学习-引入ToolBench1.有限的API:很多研究没有使用真实世界的API(如RESTfulAPI),存在API范围有限、多样性不足的问题2.场景受限:先前工作大多集中在单一工具的使用,而实际场景中可能需要多个工具协同工作来完成复杂任务;此外,现有研究通常假设用户
15、提供与指令相关的API,但现实中可供选择的API可能非常多,用户难以从中高效选择3.模型规划和推理能力不足:现有模型推理方法如CoT、ReACT过于简单,无法充分利用LLM的潜力来处理复杂指令,因而难以处理复杂任务Tool Learning with Foundation Models,2023增强技术4:智能中控知识图谱以本体实现领域数据、知识及交互的表示,并完成实时数据接入、知识更新到用户交互链路全流程的自动化数据编排与整合使用编排方式,把以下环节整合形成完整的、端到端的执行流程,实现“超自动化”接入动态数据互联网中动态更新数据、时空动态数据知识实时更新基于 LLM 进行知识抽取,更新到知
16、识图谱中实时计算推理把实时计算推理的结果与 LLM 生成结果进行融合行动 与用户进行交互:聊天、语音、推送 与系统进行交互:接口调用、发送指令自动化流程发现一致性检查组织挖掘仿真模型的自动化构建模型扩展与修复案例预测基于历史数据提供建议增强技术4:智能中控-跨端主动服务与自适应路由数据中心机器人工作台商业引擎个人工作台智能组件控制台DataData DocumentData Process下游任务Application Process语义中心&知识图谱Data ApplicationProcessProcess Data增强技术4:智能中控-任务规划与模型选择HuggingGPT:Solvin
17、g AI Tasks with ChatGPT and its Friends in HuggingFace,2023增强技术4:智能中控TaskMatrix.AI:Completing Tasks by Connecting Foundation Models with Millions of APIs,2023增强技术4:智能中控-大小模型协同目标:利用自然语言大模型(LLM),提升对大规模的有监督数据的预测效果。当前问题:由于上下文长度的限制,只能在对话中给LLM提供有限的上下文提示(In-Context Learning)。效果:在效果评测,稳定性,多语言和可解释性方面均表现出其优越性
18、。方法文中提出了SuperICL,将LLM视为黑盒,与本地经过调优的小模型相结合,以提升有监督任务的能力。之前只是将有监督的示例和待预测的测试数据传递给LLM来获得答案。文中提出的方法,首先针对训练集和测试集数据训练了本地模型,预测标签和置信度。然后将这些结果和测试数据一起传递给LLM,从而使LLM不仅学习了推理结果,还学习了决策过程,从而实现了更好的推理和解释能力。Small Models are Valuable Plug-ins for Large Language Models,2023增强技术4:智能中控-参数化知识增强目标:促进大模型LLM在领域知识密集型任务中的应用当前问题:在解
19、决具体问题时,涉及更多领域相关的知识,最新的知识,以及私有数据。效果:提升了模型在一系列领域知识密集型任务上的性能,包括事实(+7.9%)、表格(+11.9%)、医学(+3.0%)和多模态(+8.1%)知识。方法:提出PKG(Parametric Knowledge Guiding)参数化知识引导框架,结合本地模型和LLM模型,本地模型基于开源的自然语言模型(Llama),它可以存储离线的领域知识,将领域知识转化成参数输出,作为background和问题一起传入大模型。Augmented Large Language Models with Parametric Knowledge Guidi
20、ng,20233.应用落地范式大语言模型产业落地:基本范式以大语言模型为基础的生态雏形以GPT作为基座,融合其他插件内生性升级,以海纳百川的姿态,旨在形成庞大的生态基于大语言模型的应用开发新范式vGrounding(pre-processing):调用 Microsoft Graph提取与任务相关的用户数据,作为prompt一部分。(Prompt自动构建)vModifiedprompt:结 合 用 户prompt和数据,优化prompt使产出结果更加稳定高质量,发送给LLM。vGrounding(post-processing):对LLM返 回 的 结 果 做post-processing,并
21、 从User Data中获取相关数据作为结果的补充。(结果处理(补充))vResponse+App command:把结果变成调用前端应用(Word、Excel、PPT等)的命令。比如,Office支 持VBA,输 出 的command可能是代码。应用开发新范式示例:ChatDocument应用开发新范式示例:ChatTableChatTable应用开发新范式示例:ChatWebChatWeb应用开发新范式示例:ChatRecChatRec应用开发新范式示例:Chat and Analyze Chat and Analyze All DataAll Data开源工具进一步增加了开源工具进一步增
22、加了易用性和集成度易用性和集成度提供中心接口,将LLM与外部数据连接起来提供了一组数据结构,为各种LLM任务索引大量数据,并消除了提示大小限制和数据摄入的问题支持与LangChain等其他工具或库的集成LLM中间件直接与 OpenAI 的 GPT-3 和 GPT-3.5 模型以及 Hugging Face 的开源替代品进行集成允许用户围绕大型语言模型快速构建应用程序和管道4.典型案例分享领域落地的思考:智慧城市数据异质性:城市领域涉及多种类型的数据,如地理数据、传感器数据、图像、文本等。处理和融合这些异质数据是一个关键挑战。时空数据处理:城市领域涉及大量数据的收集、存储和处理。有效管理和分析这
23、些大数据以提高计算效率和准确性是一个核心挑战。时空特性:城市领域问题需要考虑空间和时间维度。理解和建模这些时空关系,如空间自相关性和时间序列分析,是一个重要挑战。模型泛化:城市领域涉及多种应用场景,如交通、能源、环境等,需要开发具有良好泛化能力的模型。多尺度分析:城市领域通常需要在多个尺度上进行分析。处理和理解这些不同尺度之间的关系是一个关键挑战。可解释性:城市计算模型需要具备一定的可解释性,以便为决策者提供有用的洞察。提高模型的可解释性和可信度是一个关键挑战。0用户画像社会感知数据摄像头数据轨迹数据互联网数据地理空间数据路网数据地理数据政务数据遥感数据事物空间时间领域落
24、地的思考:智慧城市领域落地的思考:智慧城市轨迹数据POI数据多源多模态城市数据遥感影像街景图片社交文本矢量地图时空知识管理与服务知识索引与查询优化分布式管理系统研制时空知识立方服务时空服务引擎构建大城市模型应用服务智慧园区智能选址应急防汛防台疫情防控复工复产知识服务支撑社区精细化治理宜居环境时空预训练大模型城市大模型大规模时空知识图谱自监督学习知识抽取大模型集成时空质量评估领域落地的思考:智慧城市时空预训练大模型+时空知识图谱时空预训练大模型大规模时空知识图谱大城市模型层时空数据生成通用城市表示城市语义理解语义搜索跨域推理多跳问答实体、关系、事件挖掘辅助构建、更新图谱知识融合、增强约束模型输出
25、端到端感知,创造性,探索性任务数据可靠、结果确定、计算精准任务大城市模型协同领域落地的思考:智慧城市领域落地的思考:智慧城市领域落地的思考:智慧金融领域落地的思考:智慧金融-彭博社BloombergGPT专为金融行业从头打造的500亿参数大语言模型在金融领域NLP任务上的表现明显优于其他类似规模的开放模型,在一般LLM基准上亦有不俗表现BloombergGPT:A Large Language Model for Finance,2023领域落地的思考:智慧金融-FinGPT开源框架,金融数据和Fin-LLM的民主化以数据为中心,对数据格式和类型进行严格的清理和预处理。四层端到端框架:数据源数
26、据工程大语言模型应用程序FinGPT:Open-Source Financial Large Language Models,2023领域落地的思考:智慧金融一站式投研领域落地的思考:智慧决策 Palantir AI PlatformActivate LLMs and otherAI on your private network,safely and securely.AI-Powered Operations,For Every Decisionhttps:/ SPG 企业级平台5.未来机遇展望Agent时代悄然已至Agent=LLM(大型语言模型)+记忆+规划技能+工具使用信息技术应用和
27、创新生态新范式上手使用工具打造打造生态第一阶段第二阶段第三阶段第四阶段行业应用ChatPDF等集成各种工具完成端到端理解ChatGPT对话、推理、写诗、算术X-GPT等文本分类、情感分析、观点抽取+Prompt工程师+行业积累+专家经验多模态与具身延展将成为新的XpGPT-X尝试解决与现实世界联结问题pChatGPT 解决人与机器的自然语言交互问题;pGPT-4 突破多模态,从认知世界向融入环境的跨越;p近期LLM与人机交互,为机器人生成执行指令p未来GPT-X甚至可能产生情感、意识等特性,并最终通过广义图灵测试能力进化速度越来快大数据智能多模态智能人机混合智能自主智能谢谢谢谢知识图谱与大模型技术算法、实战文章、行业案例分享OpenKG公众号