《基于 LLMOps 的车损互助行业 AI 应用实践-张源源.pdf》由会员分享,可在线阅读,更多相关《基于 LLMOps 的车损互助行业 AI 应用实践-张源源.pdf(40页珍藏版)》请在三个皮匠报告上搜索。
1、基于基于 LLMOps 的车损的车损 互助行业互助行业 AI 应用实践应用实践百姓车联/张源源 2021 DP Technology All Rights ReservedOutline1.LLMOps 背景介绍背景介绍1.MLOps 是什么?是什么?2.LLMOps 是什么?是什么?2.车损互助业务介绍车损互助业务介绍1.车损互助业务介绍车损互助业务介绍3.LLM 落地实践介绍落地实践介绍1.概览概览2.准入报价准入报价3.理赔定损理赔定损4.日常运营日常运营5.内部提效内部提效4.LLMOps 个人思考个人思考1.降低门槛降低门槛2.提高可集成性提高可集成性3.提高可观测性提高可观测性4.
2、提升效果提升效果&效率效率基于 LLMOps 的车损互助行业 AI 应用实践May 16,20243 38张源源MLOps 是什么?是什么?基于 LLMOps 的车损互助行业 AI 应用实践May 16,20244 38张源源MLOps 是什么?是什么?基于 LLMOps 的车损互助行业 AI 应用实践May 16,20245 38张源源LLMOps 是什么?是什么?基于 LLMOps 的车损互助行业 AI 应用实践May 16,20246 38张源源LLMOps 是什么?是什么?基于 LLMOps 的车损互助行业 AI 应用实践May 16,20247 38张源源LLMOps 是什么?是什么
3、?基于 LLMOps 的车损互助行业 AI 应用实践May 16,20248 38张源源MLOps vs LLMOpsMLOpsLLMOps覆盖流程开发模型和模型应用是等价的,模型上线等于模型应用上线。开发 LLM 和模型应用是分离的,且在技术栈上迥异。目标人群算法工作人员开发模型同 MLOps模型应用增加无代码人群和业务开发产品形态SDK/Library/API 等易于已有技术栈集成的方式为主开发模型同 MLOps模型应用增加无代码基于开发 LLM 和后续的模型应用是分离的事实,LLMOps=开发模型 LLMOps+模型应用 LLMOps。开发模型类 LLMOps 往往有另外一个名字 AI
4、infra,更多关注大模型训练过程的效率、效果等问题。模型应用类 LLMOps 更关注有了 LLM 之后,如何开发 LLM 应用。基于 LLMOps 的车损互助行业 AI 应用实践May 16,20249 38张源源Outline1.LLMOps 背景介绍背景介绍1.MLOps 是什么?是什么?2.LLMOps 是什么?是什么?2.车损互助业务介绍车损互助业务介绍1.车损互助业务介绍车损互助业务介绍3.LLM 落地实践介绍落地实践介绍1.概览概览2.准入报价准入报价3.理赔定损理赔定损4.日常运营日常运营5.内部提效内部提效4.LLMOps 个人思考个人思考1.降低门槛降低门槛2.提高可集成性
5、提高可集成性3.提高可观测性提高可观测性4.提升效果提升效果&效率效率基于 LLMOps 的车损互助行业 AI 应用实践May 16,20241038张源源车损互助业务介车损互助业务介绍绍基于 LLMOps 的车损互助行业 AI 应用实践May 16,202410 38张源源车损互助业务介车损互助业务介绍绍基于 LLMOps 的车损互助行业 AI 应用实践May 16,202411 38张源源Outline1.LLMOps 背景介绍背景介绍1.MLOps 是什么?是什么?2.LLMOps 是什么?是什么?2.车损互助业务介绍车损互助业务介绍1.车损互助业务介绍车损互助业务介绍3.LLM 落地实
6、践介绍落地实践介绍1.概览概览2.准入报价准入报价3.理赔定损理赔定损4.日常运营日常运营5.内部提效内部提效4.LLMOps 个人思考个人思考1.降低门槛降低门槛2.提高可集成性提高可集成性3.提高可观测性提高可观测性4.提升效果提升效果&效率效率基于 LLMOps 的车损互助行业 AI 应用实践May 16,202412 38张源源概览概览基于 LLMOps 的车损互助行业 AI 应用实践May 16,202413 38张源源准入报价准入报价背景介绍基于 LLMOps 的车损互助行业 AI 应用实践May 16,202414 38张源源准入报价准入报价精算模型介绍基于 LLMOps 的车损
7、互助行业 AI 应用实践May 16,202415 38张源源准入报价准入报价VIN 匹配问题和难点介绍基于 LLMOps 的车损互助行业 AI 应用实践May 16,202416 38张源源准入报价准入报价VIN 匹配解法和效果介绍1.Exact Match 65%,Range Match 100%。2.在实际业务中,已经不需要业务专家参与 且不会因为时差原因有服务时长限制.基于 LLMOps 的车损互助行业 AI 应用实践May 16,202417 38张源源准入报价准入报价VIN 匹配再思考问题归纳效果归因LLMOps 的优缺点(以 Dify 为例)1.本质是超长 tabular dat
8、a context 的不稳定映射的文本匹配问题。1.业务上有一定宽容度且对响应时间比较宽容。2.利用迭代思维得到比较靠谱的稳定映射,narrow down 大模型决策空间。3.基于 Dify 搭建了高效的 pipeline,让我们能低成本做很多尝试。1.亮点亮点:创建应用即可 API 调用、日志标注、prompt 编排、workflow。2.不足不足:缺乏版本控制,对于 tabular data 的支持也不够,对于一些自动优化 prompt 的技 术支持的也不够,跟其他系统模型的集成目前也只有 API 这一种方式。基于 LLMOps 的车损互助行业 AI 应用实践May 16,202418 3
9、8张源源理赔定损理赔定损背景介绍基于 LLMOps 的车损互助行业 AI 应用实践May 16,202419 38张源源理赔定损理赔定损报案 agent 介绍基于 LLMOps 的车损互助行业 AI 应用实践May 16,202420 38张源源理赔定损理赔定损Triage 思路介绍基于 LLMOps 的车损互助行业 AI 应用实践May 16,202421 38张源源Estimation&Validation 思路介绍思路介绍基于 LLMOps 的车损互助行业 AI 应用实践May 16,202422 38张源源日常运营日常运营ChatBot基于 LLMOps 的车损互助行业 AI 应用实践
10、May 16,202423 38张源源内部提效内部提效Ad hoc query需求背景团队现状1.销售是车损互助的重要一环,尤其是我们还是一个跨国的销售管理团队。2.销售场景有大量的 Ad hoc query 的数据需求,但我们的销售基本都是美国本土人士,数 字不敏感,数据产品使用经验几乎为零。1.数据平台团队目前只有 1 个同学,有大量的开发事宜。2.ad hoc query 之前是通过培训、撰写高质量文档等“发动人民群众”的方式自助解决,但 对于普通业务人员来说,门槛还是比较高。基于 LLMOps 的车损互助行业 AI 应用实践May 16,202424 38张源源内部提效内部提效一种可能
11、的思路text2sql实际效果如何?有没有更好的解法?1.在过去一年,涌现出了 DB-GPT、ChatDB 等明星产品,虽然在常见 benchmark 上能达到 比较好的效果,但在真实环境中连 80%都达不到。2.表现出来多表 join 不佳、多词列的召回不佳、库表 schema 超出 context 长度等诸多问题,而且受困于数据治理,有明显天花板。1.Text2sql 其实可以看成是使用大模型从 query 中获得输入参数、SQL 语法这两部分信息,但是 SQL 语法只是有了输入参数之后获取数据的一种手段,而且因为是大模型生成的,就不可能 100%正确。2.那有没有可以 100%正确的方式
12、呢?有的,比如我们把参数传给一个确定性的 API,指标 平台里就是这种方式。3.另一方面,用高度自动化的方式创建指标平台已经是行业趋势,用这种方式还可以捎带手 解决数据治理的问题。基于 LLMOps 的车损互助行业 AI 应用实践May 16,202425 38张源源内部提效内部提效text2Data基于 LLMOps 的车损互助行业 AI 应用实践May 16,202426 38张源源内部提效内部提效数仓建模视角下的 Metrics1.原子指标=业务过程+度量。2.派生指标=原子指标+时间 修饰词+属性修饰词。基于 LLMOps 的车损互助行业 AI 应用实践May 16,202427 38
13、张源源内部提效内部提效数仓建模视角下的 Metrics基于 LLMOps 的车损互助行业 AI 应用实践May 16,202428 38张源源内部提效内部提效Text2metrics基于 LLMOps 的车损互助行业 AI 应用实践May 16,202429 38张源源内部提效内部提效Metrics2Data基于 LLMOps 的车损互助行业 AI 应用实践May 16,202430 38张源源内部提效内部提效Metrics2Data基于 LLMOps 的车损互助行业 AI 应用实践May 16,202431 38张源源Outline1.LLMOps 背景介绍背景介绍1.MLOps 是什么?是
14、什么?2.LLMOps 是什么?是什么?2.车损互助业务介绍车损互助业务介绍1.车损互助业务介绍车损互助业务介绍3.LLM 落地实践介绍落地实践介绍1.概览概览2.准入报价准入报价3.理赔定损理赔定损4.日常运营日常运营5.内部提效内部提效4.LLMOps 个人思考个人思考1.降低门槛降低门槛2.提高可集成性提高可集成性3.提高可观测性提高可观测性4.提升效果提升效果&效率效率基于 LLMOps 的车损互助行业 AI 应用实践May 16,202432 38张源源降低门槛降低门槛当前以 Dify、Coze 为代表的应用开发类 end2end 的 LLMOps 极大的降低了普通人开发 LLM 应
15、用的门槛,意义重大,甚至因为这一点,LLMOps 现阶段的流量入口价值和分发价值都被低 估了。基于 LLMOps 的车损互助行业 AI 应用实践May 16,202433 38张源源提高可集成性提高可集成性1.通过 API 把 LLM 应用作为整体跟其他系统对接的方式还不够,还需要节点级别的对接方 式,workflow 的 http 节点有一定帮助,但还不够,比如往往没有全局 memory。2.当前主流 LLMOps 更多思考的是新创建的应用,但市面上更主流的应用场景是需要跟已 有系统进行集成,提高可集成性能极大提高 LLMOps 的上限。基于 LLMOps 的车损互助行业 AI 应用实践Ma
16、y 16,202434 38张源源提高可观测性提高可观测性基于 LLMOps 的车损互助行业 AI 应用实践May 16,202435 38张源源提升效果提升效果&效率效率1.效果和效率其实也是在落地过程中,用户最在意的点,但大模型的自身能力缺陷在没有正 确使用大模型经验的普通人那里被放大,导致大模型落地差强人意。2.对于有能力的人,应该提供更多集成优秀解决方案的机会,甚至这本身也是商业机会。3.对于没有选择能力的人,应该提供更好的经过广泛证明的默认选项。基于 LLMOps 的车损互助行业 AI 应用实践May 16,202436 38张源源个人简介个人简介工作经历 百度年度最佳团队成员 华人
17、第一个 Appstore 年度精选应用 行业内首个 AI 运动产品 首个云原生 geospatial data platform,被 Apache Iceberg 主动找到,选为 Spatial Computing 方向的官方方案 车险行业第一个全流程智能 agent(进行中)社会经历 围绕车险业务各环节,发表了超过 10篇顶会顶刊 paper,申请了 8 项专利 保持与学界联系,人大硕士生导师(校外),中国商业统计学会人工智能 分会常务理事,数据科学社区统计之 都常务理事 发掘青年才俊,累计指导超过 30 多 位名校学生参加学术、创业比赛 从创投圈获取一手资讯,帮助多家VC source 项目和做技术 DD基于 LLMOps 的车损互助行业 AI 应用实践May 16,202437 38张源源 2021 DP Technology All Rights Reserved