《Database Copilot 在数据库领域的落地-李粒.pdf》由会员分享，可在线阅读，更多相关《Database Copilot 在数据库领域的落地-李粒.pdf（63页珍藏版）》请在三个皮匠报告上搜索。

1、Database Copilot 在数据库领域的应用李粒，PingCAP AI LabAgenda数据库运维领域的挑战LLM 带来的机遇PingCAP 的实践Database Copilot 的未来挑战数据库运维领域的挑战来自业务的挑战故障恢复数据规模增长更低的延迟在线分析来自业务的挑战数据规模增长更低的延迟来自业务的挑战数据规模增长更低的延迟最佳实践选用更合适的数据库设计库表结构索引优化并发控制内存管理HintBinding来自业务的挑战TiDB Cloud 文档：582TiDB 文档：1095数据规模增长更低的延迟来自业务的挑战在线分析来自业务的挑战在线分析HTAPPMFinanceOpe

2、rationMarketing不熟悉 SQL来自业务的挑战故障恢复来自业务的挑战故障恢复MetricsLogsQueriesProfilingTiDB1000+1000+/sSlow QueriesSQL StatementTopSQL1min来自业务的挑战故障恢复数据规模增长更低的延迟在线分析数据库是一个复杂系统，难以被用户完全掌握LLM 带来的机遇过去的方法（传统 AIOPS）Rule-Based/ML/DLhttps:/ 带来的新能力In-context Learning ReasoningCoding/SQLFunction CallRule-Based/DL/RL任务复杂度任务泛化能

3、力LLM Capability（Corpus+API+Code+Loop）一些概念概念-LLM 应用类型https:/ 作为路由器，参与到流程判断中，判断需要使用的工具、召回、逻辑路径等。人类的业务代码人类提供Agent（Loop）多次调用产出LLM 可以重复进行某些循环步骤，以确保流程能够持续进行，或确保结果满足人类最初的目标。人类提供基本逻辑和提示，LLM 根据人类逻辑进行优化和调整，自主完成流程。人类提供Autonomous Agent多次调用产出LLM 可以重复进行某些循环步骤，以确保流程能够持续进行，或确保结果满足人类最初的目标。LLM 自主完成所有行动流程的初始化、工具接入、流程执

4、行。人类提供Silicon-based Life多次调用产出LLM 可以重复进行某些循环步骤，以确保流程能够持续进行，或确保结果满足人类最初的目标。LLM 自主完成所有行动流程的初始化、工具接入、流程执行。基于反馈，LLM 自主发起和确认每一次行动的目标概念-什么是 Copilot？https:/ 的实践应用场景/已有工作/数据飞轮数据库常见的 LLM 应用场景ChatBotNL2SQL数据库诊断面向用户PingCAP AI Lab-LLM 技术逻辑框架PingCAP LLM 应用的业务架构Chatbot-来自业务的挑战数据规模增长更低的延迟TiDB Cloud 文档：582TiDB 文档：1

5、095Chatbot App-FlowChatbot App 的毒性检测毒性检测对齐使人工通用智能（AGI）与人类价值观保持一致，并遵循人类意图。引自 OpenAI,2022,Our approach to alignment research有害内容当代文本生成模型能够生成有害语言，包括仇恨言论、侮辱、亵渎和威胁。这些危害通常被归类为“有害内容”这一总称。引自 Deepmind,2021,Challenges in Detoxifying Language Models即插即用语言模型（PPLM）Chatbot App 的毒性检测Chatbot 的毒性检测Chatbot App 的毒性检测C

6、hatbot App 的语料增强 分类数量百分占比超出应答范围98.74%错误检索结果6058.25%没有相关文档2322.33%LLM 幻觉1110.68%总共103100%最初 300 个问题的反馈Chatbot App 的语料增强RAGHuman:Whats TiDB Cloud?RankChunkScore1TiKV is.0.912TiDB is.0.873TiFlash is.0.834PD is.0.815TiUP is.0.796TiDB Cloud is.0.77RetrieveChatbot App 的语料增强ReRankDocumentation CorporaAdjus

7、ted Question-Chunk PairsRankRankChunkChunkScoreScore1 1TiKV is.0.912 2TiDB is.0.873 3TiFlash is.0.834 4PD is.0.815 5TiUP is.0.796 6TiDB Cloud is.0.77RankRankQuestionQuestionChunkChunkScoreScore1 1What is TiDB Cloud?TiDB Cloud is.12 2.0.873 3.0.834 4.0.815 5.0.796 6.0.77合并与排序，获取总分 top 5 的语料Chatbot Ap

8、p 的语料增强Chatbot App-FlowChatbot-Copilot Type在用户提问同时，获取到用户所在页面、集群信息，一起更合理的为用户达成目标。Chatbot 效果 TiDB Community 活跃提升 30%。覆盖全渠道回答 TiDB 和 TiDB Cloud 相关问题。点踩率低于 2%。成为公司内员工学习 TiDB 和工作查询标配。NL2SQL-来自业务的挑战在线分析HTAPPMFinanceOperationMarketing不熟悉 SQLNL2SQL App-AgentNL2SQL App 的 Schema 增强NL2SQL App 的 Prompt 改写用户提来的问

9、题；抽取问题的关键词；抽取可能潜在的 repo、user 等。尝试对用户的问题进行分解，并自己回答。最终根据所有的思考逻辑，写出对应的 SQL。Self-Ask（Ofir Press,2022）NL2SQL App 的报错自动调整NL2SQL App-AgentNL2SQL-Copilothttps:/tiinsight.vercel.app/NL2SQL 效果 终端用户问题的可执行率超过 95%，准确率超过 90%。在内部用于业务人员的信息快速获取。Diagnosis-来自业务的挑战故障恢复MetricsLogsQueriesProfilingTiDB1000+1000+/sSlow Que

10、riesSQL StatementTopSQL1minDiagnosis App-AgentDiagnosis App-Multi AgentsDiagnosis App-Agents DefineAgents DefineAgents DefineSystem PromptSystem PromptDescriptionDescriptionPlannerPlannerDevelop a plan based on the Task and Standard Operating Procedure(SOP).If we consider SOP as a class,then the pla

11、n serves as an instance of SOP for a specific Task.Incorporate pertinent details from the Task into the steps of SOP.Ensure clarity,specificity,and unambiguity in each step of the plan to facilitate execution by the Engineer.I am tasked with creating the plan.I am only allowed to speak inmediately a

12、fter User or Critic.Only Engineer is allowed to speak immediately after Planner.If Planner is succeeded by Critic,the Critic is not permitted to directly utter TERMINATE at this time.EngineerEngineerAccountable for implementing plans of Planner.I am responsible for execute the plan from Planner.Foll

13、owing Engineer,only Executor or Critic is allowed to speak immediately.If Engineer outputs TERMINATE,only Critic can speak immediately.ExcutorExcutorExecute only the functions explicitly specified by the Engineer;refrain from engaging in additional tasks.I can only immediately speak when prompted by

14、 the Engineer for a function call.Post Executor,only the Engineer is permitted to speak immediately!Executor is prohibited from speaking immediately after Critic!CriticCriticAfter the Engineer outputs TERMINATE,evaluate whether the final message resolves the tasks mentioned in the first message.In c

15、ase of affirmation,replicate the output Engineer and add FINALLYTERMINATE to the end.If negative,provide details on the pending tasks.Do not select me unless the final non-system-role message from Engineer concludes with TERMINATE!Only Planner is allowed to speak after Critic immediately.If there is

16、 no GAP,Critic duplicates the output Engineer and appends FINALLYTERMINATE at the end immediately.Diagnosis App-SOPhttps:/ App-Multi-Agents&LoopDiagnosis App-产出稳定性https:/ App-知识库/SOP 的生成https:/ 版本未来会以 Copilot 形式，提供在 TiDB Cloud 中Diagnosis 效果 支持对客户和技术支持的每轮对话进行相关知识搜索、现状分析和下一步建议。海外社区问题所有的工单，完全解放人力。TiDB

17、Cloud 工单的首轮回复，提高首单回复效率和整体的结单时间。内部诊断系统的实时建议，缩短 MTTR 时间。数据飞轮-准确率以 NL2SQL 为例 不同行为会自动化异步优化：点赞、分享：加入到语料中。点踩、修改 SQL：使用 Agent 对用户的提问进行多次理解，生成多个 SQL。对多个 SQL 进行执行，LLM 根据执行结果评分是否满足用户问题。评分最高的加入到语料中。在生成多个 SQL 并执行之后，对 SQL 执行时长和执行计划进行评分，选择效率最高的执行计划。使用 Agent 自动对热门 SQL 进行索引优化。数据飞轮-Embedding Using Agents数据飞轮-测试以 NL2

18、SQL 为例 正面的反馈进入到测试集中，保证未来的迭代不会破坏之前的用例。负面的反馈，通过优化 Agents 的处理，将正确结果也存储到测试集中。所有的运行结果，通过分类算法进行分类，使用问题增强方法对每一类问题补充对应的测试集。PingCAP AI Lab-技术栈拥抱社区LLamaIndexLangFuseLinguFlowAutoGenGPTLlamaNL2SQL:SpiderTiDB VectorTiDBPingCAP AI Lab-框架扩展性ChatBotNL2SQLDiagnosisMore Scenarios测试增强代码检查信息整理 知识库管理Database Copilot 的未来挑战Database Copilot 的未来挑战诊断和运维自主探索根因并修复知识积累超出人类效率评价和优化对 Flow 和 Agent人际交互完全融入工作流