《大规模语言模型在马上金融的应用实践.pdf》由会员分享，可在线阅读，更多相关《大规模语言模型在马上金融的应用实践.pdf（24页珍藏版）》请在三个皮匠报告上搜索。

1、大规模语言模型在马上金融的应用实践单 位：马上消费金融股份有公司汇报人：肖冰时 间：2023年12月01/公司介绍 02 /马消已落地大模型场景介绍 03/营销外呼大模型应用实践目录04/经验总结和问题01公司介绍主要风险：1.大模型学习坐席对话，坐席的未识别违规对话也会被模型学到。2.大模型自身的幻觉、安全性、逻辑问题带来的新的风险。例如：“您的逾期金额是XXX，你的每月应该还的【利息】是XXX”“您的逾期金额是XXX，你的每月应该还的【金额】是XXX”从一个带有断句错误的从一个带有断句错误的BADCASEBADCASE开始开始马上消费，数智驱动的科技创新金融机构政府认可AI方面的主要成果0

2、2马消已落地大模型场景介绍 应用场景：电话销售 扩展场景：智能客服，智能催收 业务痛点：话术配置流程复杂，固化，不自然对话大模型文档大模型SQL生成大模型 基座模型：Bloom 2.6B 训练框架：单机8卡(A800)+Colossal-chat 训练数据：90万对话 训练时间：32h/epoch(全量微调）推理框架：单卡A800+FasterTF+Triton 推理性能：5.7ms/token（1TP）对齐 ：RLHF 提示词 :In-context learning、COT 线上 ：动态解码参数调整+NLP小模型 预处理 ：滑动窗口文本分段+段落向量 过程中 ：图表解析 后处理 ：生成结果

3、与文档内容对比和定位 预处理 ：基于SQL质量辨别模型的预处理 过程中 ：引入数据schema知识 后处理 ：可执行性校验 基座模型：根据下游场景选择 训练框架：单机8卡+DeepSpeed 训练数据：10万 训练时间：N/A 推理框架：N/A 推理性能：N/A 基座模型：sqlcoder 15B 训练框架：单机8卡+Deepspeed（二次预训练）训练框架：单机4卡+Lora+pytorch accelerate 训练数据：马消海量带注释SQL 推理框架：单卡+FasterTF+Triton 推理性能：N/A 应用场景：给定文档的知识问答 扩展场景：知识管理，员工培训 业务痛点：文档理解和知

4、识更新，耗时低效 应用场景：数据答疑 扩展场景：客服中的信息查询 业务痛点：DB数据的定位和正确应用越来越困难目前阶段：电销大模型6月份上线，目前 数百万外呼/日；催收外呼大模型9月份上线；客服辅助大模型9月份上线，客服提前结清等子场景12月份上线。目前阶段：落地马消知识中台、在线客服的智能辅助等场景。目前阶段：已支持马消内部数据分析师、风控团队研发、工程研发提效；未来支持AI_BI场景。特殊处理应用情况对话文本代码马消已落地大模型应用基本信息1.硬件部署2.训练加速4.模型验证和服务 GPU 选型 机柜（高电,网络）机房（网络 IB/RoCe）数据并行 模型并行 流水线并 checkpoin

5、t技术 offload技术3.推理加速 量化模型 算子融合 模型编译 硬件支持 流式推理 动态batch5.定研专属模型 快速验证开源大模型在场景上的效果 提供测试能力 *开源和GPT的gap *大批量数据试验 支持原生开源大模型（ChatGLM、baichuan、Llama、Bloom等）可直接测试效果 提供远程调用接口，计算资源弹性扩缩容 管理、监控预警 适配定制研发业务需要定制化模型 解决 *开源模型定制化 *场景数据对接 *业务系统对接 *模型自动化迭代马消大模型基础能力建设03外呼大模型应用实践3金融业数字化转型进入新阶段关键在于智能营销体系的建立与突破，大模型大有可为 智能营销发展

6、经历了“产品导向客户导向用户导向全生命周期的线上化服务”的四个阶段，目前已进入营销4.0阶段，强调“以人为本”。在新时代的金融市场，面临着极致自动化和全真互联的新发展挑战，这要求尽快探索有效、精准、智能化的营销体验。大模型应用优势大幅节省人力资源和时间成本通过海量合规话术的训练，确保外呼过程符合相关法律法规和合规要求大大减少了传统人工外呼中的客户意图理解错误和信息错误问题根据客户的特征和历史记录，提供个性化的推荐和服务传统人工电销合规性差，投诉及监管风险较高；致电效率低坐席能力参差不齐坐席招聘、培训、管理成本高，人员流失率高劣势传统智能电销劣势灵活性差：话术配置能应付的场景有限、对客户的异议问

7、题应答能力不足、不够人性化配置工作繁杂：对于每一个细分的外呼业务场景，都需要配置一套庞大的话术剧本，带来大量重复人力劳动金融对客场景中应用大模型的难点难点一大模型对数据质量要求极高，金融营销数据规模巨大，如何筛选高质量训练数据是首要问题。难点二金融营销业务场景复杂，大模型如何针对不同业务场景进行灵活适配，生成多样性话术对客户体验至关重要。难点三难点四难点五金融营销场景对信息的准确性要求极高，用户信息幻觉问题对金融营销大模型整体服务质量影响十分明显。金融营销场景对客户隐私的保护、营销合规性的要求、数据安全性的要求都极高，大模型需要因地制宜。金融营销手段千变万化、营销策略日新月异，大模型如何快速学

8、习、敏捷迭代是一大难题。p 对话大模型训练过程开源基础大模型 选型 筛选优质对话 回溯关键事实数据 安全合规检测过滤提示工程定制对齐 提示模板定义 提示语句加工对话效果评估 客观测试集评估 主观测试集评估 训练数据标注 对齐业务特定要求微调+RLHFp 数据收集（已有超1.8亿客户，营销外呼数量每日数百万，已积累了海量高质量数据）历史业务数据：优秀坐席服务语音对话、文本对话 业务文档数据：涉及贷前、贷中、贷后等超数万篇服务文档 业务规则数据：客服机器人配置规则和决策树及各个节点的话术 技术相关数据：所有SQL代码及注释，数据库定义和描述 用户特征数据：用户的静态特征描述，包括用户基本信息、行为

9、轨迹、用户标签、账务数据、风控因子等数万项特征数据加工基础 大模型马消垂直场景的大模型生产主要分为两块：数据的收集和大模型的训练营销外呼大模型训练主要环节金融合规问题处理线上措施 保守的控制策略：问题白名单，只回答白名单内的问题。开放的控制策略：问题黑名单，只禁止回答黑名单问题。基本的控制策略：输入和输出通过模型和规则过滤。应急机制：产品化的配置措施。01数据处理措施 使用内部合规质检系统过滤数据 通过用户负反馈过滤 通过情绪态度等模型过滤 提示词控制：通过生成提示模板，利用大模型的思维链和少样本学习能力，由用户将规则和例子加入提示词来进行控制。02后置处理 关键词过滤 小模型判断五个环节训练

10、数据 源头控制 数据处理 线上工程控制01生成过程 生成参数 提示信息0203人工反馈 人工审核 人工标注05智能质检 违规话术识别 违规等级判断04大模型数据质量与安全合规质量从源头控制质量多种数据过滤策略对话轮次选择（业务上有意义的对话、长度足够）ASR问题处理（规则+分类+kenlm+大模型）去重（句内去重+对话级别去重-聚类后类内去重）多样性业务源头采样控制结合提示词入参的样本量控制对话多种采样策略（采样+聚类和编辑距离+PPL）什么叫做对话多样性？辅助样本生成策略数据质量提示工程技术n 提示工程（Prompt Engineering）将更多背景细节以文本形式放置于问题内，从而使得模型

11、产生更加符合业务要求的结果。本质是知识工程，通过引导激发大模型自带的AI能力，例如：上文信息客户:您好哪位？坐席：我这边是xx公司的工作人员，您是张先生嘛？客户:是啊什么事？”情景假设“假设你现在是一名资深绩优营销座席，你要对外部客户进行产品推荐，打动客户来使用。”关联事实“客户名字叫张三，性别男，最近7天已打过3次电话，现有可贷款额度3500元，有免息券”010405“深呼吸以平静态度逐步缓和用户的过激情绪”回复要求“每句话生成的长度不超过50字,不准包含情绪级别二类以上敏感词”0203心理提示提示工程生成问题大模型回复的话术您申请的3500元额度审核通过了，还给您下发了免息券，邀请您来xx

12、app进行贷款使用。问题：如何构建更合适的提示词？参考：Making Pre-trained Language Models Better Few-shot Learners（LM-BFF），ACL2021大模型训练与评估p 训练n基座模型对比选型：Bloom 2.6BnA800单机8卡，90万左右对话，32h/epoch。n基于英文基座，扩展词典、拼接词向量表n全量微调：需要让模型遗忘通用知识nRLHF：业务特定要求，在样本较少、模型回答随机性大的重要场景下，对齐业务的要求。https:/ 评估n自动化客观评估：高风险、违规n人工主观评估：技术层面、业务层面n大模型幻觉：LLMs偶尔会产生看

13、似合理但与用户输入、先前生成的上下文或事实知识偏离的输出。将严重损害LLMs在现实世界场景中的可靠性。n输入冲突幻觉：用户想咨询的产品是安逸花，而模型生成了优逸花的利息查询。n事实冲突幻觉：事实上公司并不提供在线理财服务n上下文冲突幻觉：在之前的上下文中没有提到开具结清证明。FI你们安逸花的贷款利息是多少呢？先生，您好！我们优逸花的贷款利息在8.3%左右，它提供在线理财等服务。您可以到APP办理开具结清证明。LLM幻觉检测与自动纠正大模型输出内容后处理对客播报电销系统幻觉检测再次生成/实时纠错n线上解决方案n线下解决方案数据过滤数据集均衡特定训练数据构造推理加速软硬件多种组合技术在延时要求高、

14、并发大场景，如何解决资源和速度问题？解法：芯片升级单卡GPU算力提升、支持FP8混合精度计算特性，显著降低计算量。算子合并优化（可类比多个指令集合并成一个指令集）算子优化库模型量化库通过将FP32/16精度量化为INT8或者FP8，在不显著降低模型精度情况下，提升推理速度和吞吐。对Transformer中的Dense层、Attention层进行Tensor parallel计算模型并行计算库高性能服务框架实现动态batch（在一定时间窗口内多个请求聚合），利用GPU并行计算能力。针对长文本生成，对模型Decoder实现流式输出。流式接口支持异构云原生推理平台模型服务质量稳定与GPU利用率平衡问

15、题？解法：高性能推理引擎高性能IO服务框架+多种backend runtime（FT、TensorRT、vllm、ONNX等）支持多种加速卡设备调度适配（A800/H800/A30/昇腾910B等）。异构计算动态扩缩容-HPA根据GPU利用率自动扩缩容。不同服务时段的模型进行混合部署，GPU虚拟化提供隔离性、安全性保障。GPU虚拟化参考：Dissecting the Runtime Performance of the Training,Fine-tuning,and Inference of Large Language Models(港大、哈工大等联合出品）大模型在营销场景的应用案例案例1

16、：案例2：大模型对于个性化场景应对自如，能够在准确理解“客户在开车，可能不方便接听电话”的前提下合理的展开营销步骤。大模型的安全合规性高，能够准确理解“客户的爸爸不在家，客户是个小孩子”，并主动停止对未成年人进行营销。大模型在马上消费营销场景的应用其他大模型其他大模型其他大模型提升83%提升50%应用场景智能营销客户服务资产管理陪练机器人提升28%智能人工平均大模型人工绩优提升30%平均通话时长交互轮次客户满意度业绩应用成果04经验总结和问题金融合规问题还没很好解决的难题线上对客风险较大特定幻觉问题和长尾意图 我上次联系您时介绍过XX；您的银行卡后四位是【XXXX】吗？用户：我在开车/我在高速

17、上开车逻辑问题及一致性“您的逾期金额是XXX，你的每月应该还的【利息】是XXX”“您的逾期金额是XXX，你的每月应该还的【金额】是XXX”上文你的合同号是xxx吗？下文再次问题到 金融行业和企业自身合规标准。标准随时间变化。用户：能给我做分期/免息吗？010203主要经验和技术问题经验：1、初期可以不用太大的模型，快速验证，也便于推理加速2、如果微调数据量够的话，可以选择直接微调base模型，而不是chat模型3、如果微调数据质量还行的话，可以先不用强化学习，效果也不错4、数据的筛选很重要，要根据业务需求进行仔细筛选5、安全合规除了从数据上筛选外，还可以采用前后处理模块，更高效，更可控还有待处理的技术问题：1、大模型训练参数、推理参数的确定。2、垂直领域大模型在应用过程中的实时知识注入。3、新场景的无样本、小样本启动。4、持续在线学习。5、增强逻辑推理能力。谢 谢！