《2、2023 DOD BizDevOps AI提效探索-覃宇-脱敏版.pdf》由会员分享,可在线阅读,更多相关《2、2023 DOD BizDevOps AI提效探索-覃宇-脱敏版.pdf(16页珍藏版)》请在三个皮匠报告上搜索。
1、BizDevOps AI提效探索覃宇,Thoughtworks 资深咨询师2023 China DevOpsDays-8月12日 北京-个人简介覃宇,Thoughtworks 咨询师拥有近二十年软件开发和咨询经验,深度参与了多家头部通信企业和金融企业的精益/敏捷/数字化转型历程,作为技术教练或架构专家致力于帮助客户提升研发效能。业余时间喜欢翻译写作,译/著作有:代码管理核心技术及实践Kotlin实战Serverless架构:无服务器应用与AWS Lambda云原生安全与DevOps保障领域驱动设计精粹个人公众号:覃宇码字的地方生成式 AI 应用对个人效率的影响大模型参数越来越多,成本越来越低未
2、来模型将无处不在生成式 AI 应用迎来“iPhone”时刻未来生成式 AI 应用将无处不在在生成式 AI 应用的加持下个人效率将拉开上百倍的差距个人开发AI提效探索(基础)以我自己为例,每天主要的工作是 1 个小时编码+2 个小时文档生成式 AI 应用生成式 AI 应用可以增强的工作占比简单使用工作时间占比工作增强带来的收益估算节省的工作时间或增加的产出花费的成本Notion AI每天 10000 字左右的文档类工作(总结、提炼、翻译等等)工作占比:25%同等文字工作量同时缩短30%效率提升7.5%(30%x 25%)每月10美金Github1 Copilot1每天 500 行左右的编码工作(
3、代码生成、测试用例生成)工作占比:12%每天可以多产出50%效率提升6%(50%x 12%)每月10美金ChatGPT大部分时候作为搜索引擎的替代,也有生成代码或是 DSL(如 UML)N/A(没有好的统计方法)每月20美金*小结:每月花费 2040 美金,带来 13.5%效率的提升个人开发AI提效探索(进阶)生成式 AI 应用的局限反复输入的提示语技巧问答字数”(Token)限制冻结的大模型知识在工具之间来回切换小结:编写一个程序只需要数小时,但是每万字要消耗 0.22 美金调用大语言模型的技术栈并不复杂,上手很快(一周足矣)但完成一次万字规模的复杂任务需要 0.22 美金*通过编程解决的思
4、路把常用提示语变成模板用自动化脚本代替手工输入复杂问题进行拆分变成连续多次问答Chaining外挂向量知识库增强生成效果让Agent自己推理并计划行动集成三方工具完成任务不能单靠生成式 AI 应用,还需要编程调用大语言模型$自动化脚本Chain/Agent提示语模板向量知识库第三方工具OpenAI API 典型的生成式 AI 应用个人AI提效如何放大到企业研发中每月花费 2040 美金购买3款应用获得13.5%效率的提升(如文字工作用时缩短30%)(如编码效率提升50%)在 13.5%效率提升的基础上进一步提升(如总结5篇公众号文章)(如写出50个单元测试)2周上手时间+每个程序4小时开发时间
5、每万字工作量还要花费 0.22 美金思考:个人开发 AI 提效的成果能不能放大到企业级研发中?个人开发 AI 提效的挑战在企业级研发中如何解决?企业级研发与个人开发的差异自研BizDevOps工具平台跨职能协作和领域划分产生了分工分工协作则需要大量的知识传递(文档、图、代码.还有隐性的方法)领域知识是企业独有的核心竞争力不同的知识工作需要的工具不同,需要BizDevOps平台拉通来提升效率AI 如何在在 BizDevOps 平台上进一步提升效率?问题1:AI 到底可以给企业级研发中的各个角色带来多少效率提升?产品设计架构设计开发产品设计特性设计开发计划建模架构设计API 设计详细设计编码编码后
6、用户调研测试测试用例设计自动化测试缺陷分析交付运维部署发布Monitor产品创新产品定义原型功能细分UX Design非功能需求验收条件优化级迭代计划发布计划里程碑设计事件风暴领域模式限界上下文时序图设计组件图设计设计模式文档API 定义代码设计代码生成单元测试生成代码检视提交信息根因分析缺陷分析缺陷文档测试代码生成测试用例生成发布文档更新文档部署脚本生成日志分析客户支持客户情绪分析问题2:如何让AI理解企业专有的领域知识?问题3:BizDevOps平台如何快速集成并迭代AI提效成果?探索1:不同角色知识工作的效能提升验证探索过程探索小结第1步:选择一个真实的项目需求:Thoughtworks
7、 OKR工具第2步:使用 ChatGPT 来完成领域术语定义和竞品分析启发,再到MVP特性设计启发第3步:使用 ChatGPT 来完成特性的需求分析,展示可视化的用户旅程、功能需求拆分及格式化编写、验收标准定义第4步:尝试使用 ChatGPT 来把验收标准转化为UML设计图特性分析架构设计代码实现特性设计功能拆分定义AC架构设计 领域模型API接口详细设计 编写代码编码后L2L2L2L1L1L2L1L2L2第5步:使用 ChatGPT 生成 API,在通过Copilot 生成代码第6步:.第x步:使用 ChatGPT 生成发布文档L1L210%10-30%整体提升 20%30%效率,其中重复的
8、规范性工作,如需求格式、代码编写、测试用例、单元测试提升明显将看不见的隐性知识(需求分析、设计方法)展现了出来,有进一步自动化的可能投入:ChatGPT 与 Copilot 费用:每人月 30 美金 Prompt 技巧的学习成本(一周)Prompt 不断优化的调试成本(每段1小时)探索2:微调专有大模型的成本与效果探索探索过程探索小结GLM-6B模型用少量数据可调优出相对可用的专有模型 需求AC场景:3k 数据集可达到初步可用 编码场景:10k-20k 数据集可达到初步可用 API设计场景:3k 数据集可达到初步可用 注:主观经验及结合GPT生成对比推测基于GLM-130B模型,同等效果需要更
9、少量的数据 根据LLaMA微调训练经验,推测达到初步可用的微调数据量更少(50个不同场景的AC数据)构建微调自动化流水线以降低后续微调成本 每次微调数据准备、微调效果评估都需要重复的代码工作和人工过程,这部分自动化后可降低后续微调成本和门槛场景数据数据来源训练投入/时间辅助功能需求(AC编写)1k,3k,6k 个用户故事微调及生成结果对比使用公开搜集到的AC数据,调用OpenAI 进行优化以后作为数据集输入数据准备:3 天微调:14 小时/次微调次数:3 次辅助编码(代码片段生成)10k,20k,40k,80k 个代码片段微调及生成结果对比公开的代码数据集数据准备:1 天微调:4 小时/次微调
10、次数:4 次辅助API设计1k,3k 个 API spec结果对比业界各银行的开放银行API资料数据格式化后作为数据集数据准备:7 天微调:4 小时/次微调次数:6 次(prompt 优化)微调开源模型是ROI最高的方式,但需要高质量的知识作为输入探索3:AI应用开发探索与BizDevOps工具集成设想探索过程探索小结持续运营发布运维研发实现需求分析产品规划 业务术语清单 业务分析结果 专题画布/电梯演讲 用户画像/场景/旅程 低保真原型图 MVP特性清单 发布计划.特性功能流程图 用户故事清单 用户故事编写 验收标准生成 领域模型图 序列图 状态图 API接口定义 测试用例 测试代码 代码
11、部署脚本 发布说明 产品说明文档 FAQ 文案内容 营销图片文案 营销视频脚本 评价分析结果 FAQBizDevOps工具(未进行集成验证)IDE Copilot PluginChatbot/CopilotAI辅助触点平台集成调优出来的专有大语言模型(需求、代码、API)软件工程知识DSL(测试用例、API Spec转换为结构化数据)Chatbot数据及语言AI 应用的开发和运维成本并不高需求场景中的Chatbot实施成本为:开发时间 100小时1产品专家兼提示语工程师+1应用开发单应用基础设施成本每月250美金把LLM调用封装为API,更容易集中管理,控制成本鹤峰县,配合各种形式前端,也让用
12、户的体验更流畅API封装好以后,可以在前端以各种形态提供智能服务:Chatbot、IDE插件、文档插件、WebAPP插件等,用户可以在已有平台中直接使用上AI助手现阶段结合外挂知识库提供语义搜索服务的ROI 最高把组织中已有的显性知识(如Wiki)作为外挂知识库,辅助大模型先学习,再生成内容,效果更好产品经理助手建议1:建立发现提效即实现AI应用的快速迭代设计AI提效实验验证提效可行性新研发工序假设重新梳理研发流程知识建模12345持续反馈的平台工程ShowcaseAI 应用开发MVP 微调试验(可选)知识收集与整理109876AnalyseDesignDevelopDeployTest an
13、d reviewManagerOPM建议2:BizDevOps平台外挂AI应用参考架构知识增强 集成界面X Copilot API数据审计/安全操作编排LLM 检索(Retrieval)向量存储(Vector Store)生成 Embedding 专有领域文档/数据大语言模型(LLM)Prompt ChainLLM Agent文本数据敏感信息存储对话历史敏感数据CopilotAPIsLangChainChromaorPineconeOpenAIorLangChainOpenAI需求架构需求分析Copilot产品设计Copilot架构建模Copilot领域模型Copilot测试测试Copilot各种前端技术敏感信息过滤&屏蔽操作步骤Prompt 生成响应后处理Python三方工具LangChainFastAPIThanks感 谢 聆 听2023 China DevOpsDays-8月12日 北京-