1、CVP-AIGC时代的冯诺依曼架构目录 大模型的幻觉-Bug还是Feature Retrieval Augmented Generation-停止大模型幻觉的武器 向量数据库Milvus-Retrieval made easy Zilliz Cloud-开箱即用的向量数据库云服务 大模型的幻觉在自然语言处理中，幻觉通常被定义为“生成的内容与提供的源内容无意义或不可信”。Meta 将其定义为“自信的假话”。维基百科：幻觉（人工智能）大模型的幻觉产生-从大模型的训练说起大模型的幻觉产生-ChatGPT的黑魔法RLHF 大模型的幻觉产生的原因1.缺乏领域相关知识-LLM就好像一张高压缩比的图片，压缩

2、了大量通用知识但缺乏细节，导致最终的回答存在偏差。2.训练数据集的质量-大语言模型依赖于包含噪声、错误信息、偏见或不一致信息的大量训练数据3.语言模型在生成输出时会引入一定的随机性和量化误差，这意味着即使在完全相同的输入条件下，模型可能会生成不同的输出。4.过拟合即AI模型对训练数据拟合得过于精确。过拟合导致模型的泛化能力变弱，使得大模型无法将其预测能力推广到新的数据。如何解决幻觉数据实时性无法解决需要为每个任务部署单独模型调整训练目标可解释性，正确性通过微调赋予大模型领域知识提示工程基于召回的知识生成微调模型Chain of thought拆解任务逐步引导大模型给出更详细的例子赋予大模型角色

3、缺乏领域知识的补充问题架构复杂需要数据的存储通过向量数据库召回领域相关知识通过Prompt引导大模型基于知识进行生成幻觉，究竟是Bug还是Feature？1.自动驾驶：自动驾驶模型的训练通常需要大量的标签数据和人工介入。通过大模型的幻觉可以自动生成各种路况，并将这种路况作为真实数据障碍物的补充数据。模型通过学习避免这些障碍物，使其更能识别现实生活中的障碍物。2.Auto-GPT：Auto-GPT 是一个实验性质的开源应用，利用大模型的推理能力，结合一系列辅助工具来实现用户设定的目标。正是由于大模型的幻觉，才使得这一工具能够自我迭代寻找解决方案。3.蛋白质结构研究：对于一些生物医学研究和药物开发

4、领域，自然界并不存在可用作构建新蛋白质的起点，因此需要从头创建新的蛋白质。大模型幻觉极大地简化了蛋白质设计流程。它消除了对模板的需求，让研究人员可以直接根据期望的功能创建蛋白质，然后让神经网络负责确定蛋白质的结构。使用此方法，研究人员成功生成了2000个预测能够折叠成良好定义的结构的新蛋白质序列。大模型的推理能力是通用人工智能的必备能力，充分利用大模型的编造能力，可以帮助人类探索未知的知识，解决人类知识边界之外的挑战正如人类一样，基于贴切的知识按照一定的规律进行合理的推断，被称之为预测。CVP Stack-AIGC时代的冯诺伊曼架构基于CVP 构建的召回增强生成（RAG）召回增强的生成（Ret

5、rieval-Augmented Generation，简称 RAG）是一种结合了检索和生成能力的机器学习模型。在处理问题时，RAG RAG系统的常见模块和流程Agent这是整个 QA 系统的中心，负责协调其他所有模块的工作，构建出完整的 QA 系统。大型语言模型（LLM）该模型或服务负责生成答案。例如，OpenAI 的 GPT-4 或 百度的文心一言。嵌入（Embedding）Encoder将每个文本段路输入转换为一个向量。例如，OpenAI 嵌入或 HuggingFace Hub。存储（Store）数据存储：向量数据库，存储文档片段的嵌入，并通过语义搜索执行文档检索。例如，Milvus/Z

6、illiz Cloud。上下文存储：存储聊天历史记录以支持对话中的上下文。例如，Postgresql。DataLoaderDataParser：该工具从给定源加载数据，然后将文档拆分为处理过的文档片段。QuestionGenerator：该工具为每个文档片段生成一系列潜在的问题。召回增强生成的应用-OSSChatosschat.io面向开源用户和开源社区运维人员的问答机器人召回增强生成的应用-OSSChat什么是向量？Embedding 就是用一个数值向量“表示”一个对象（Object）的方法。Embedding通过深度学习获得，可以表征对象某些特点。被Embedding 的对象可以是文本，图

7、片，用户行为数据，关系链，生物分子式.万物皆可Embedding。向量数据处理流程使用OpenAI，Cohere等大模型API生成通过Bert，CLIP，RESNET 等开源模型生成通过开源向量提取框架Towhee直接生成如何提取向量如何存储向量向量数据库如Milvus找到合适的 Encoder 完成向量提取训练向量写入 Milvus插入对写入的数据构建索引提升查询效率索引生成 Query 向量，查询 Query 向量的近邻找到相似数据查询向量数据库 Milvus-为AIGC应用而生用户向量数据库需求金字塔：支持向量的增删改查-包括流式和批量插入，更新，删除和ANN检索能力 性能成本-ms级别

8、响应速度，高并发，低存储成本 可扩展性和高可用-支持十亿级别向量，无单点故障 功能-标量混合查询，多租户数据，TTL 易用性-多语言SDK，统一的查询语言，动态schema 安全性-数据安全，RBAC,TLS 可观测性-监控，日志，报警支持增删改查操作 向量检索依赖的索引，往往是Immutable的，难以支持更新/删除 用户对实时性要求高，查询响应毫秒级别，数据秒级可见 索引插入速度慢，难以支持实时写入的效率要求向量检索增删改查面临的挑战 基于分布式日志系统的流批一体系统 区分Growing数据和Sealed数据，Growing兼顾实时，Sealed兼顾效率，读时合并 基于Delta log的

9、标记删除 基于Compaction的异步清理合并解决方案性能成本https:/ 相比主要竞品，Milvus的查询性能好2-3倍 Milvus插入和构建索引速度比ES高10倍以上，且对搜索无影响。Milvus可以基于硬件资源线性扩展 更多数据，请参考VectorDBBench repo性能优化-算法，算力，调度算法 开源SOTA模型如HNSW，ScaNN支持 基于数据分布的剪枝策略和参数调整算力 SIMD 支持-AVX512，ARM 异构硬件支持-GPU索引 量化技术加速查询调度 基于代价查询Dynamic Batching 基于数据的负载均衡策略 基于请求延迟的Replica选择策略可扩展性-

10、云原生分布式 分布式云原生，基于K8s进行微服务化设计，基于功能Scale 存储计算100%分离，弹性扩缩容 高可用，故障分钟级恢复 百亿级向量的扩展能力 支持多副本能力，读性能完全线性扩展面向AIGC应用丰富的功能动态 Schema，支持Json数据类型List/Set 等复杂数据类型的支持面向构建 SaaS 用户，通过 Partition Key和Partition能力支持百万级租户标量过滤支持RangeSearch轻量级向量数据库Milvus Lite多向量支持（9.30）与 OpenAI，Langchain，Semantic Kernel，Llama-Index，AutoGPT，Tow

11、hee，Hugging face，Cohere 等大模型生态深度集成Python，Js，Golang，Java，C#，Restful 等丰富的客户端支持面向生产的稳定性实践Milvus Operator可视化管理界面Attu其他:数据迁移数据备份全链路追踪BirdwatcherMilvus GrafanaZilliz cloud-全托管向量检索服务Zilliz Cloud-开箱即用的全托管向量检索服务Zilliz Cloud是Zilliz基于开源向量数据库打造的全托管企业级向量检索服务Zilliz Cloud分为SaaS和PaaS两个版本，面向不同需求和不同部署环境Zilliz Cloud基于

12、Zilliz自研的向量检索引擎Cardinal，性能成本相比于开源提升3XZilliz Cloud提供大量企业级功能，助力用户聚焦业务逻辑Zilliz Cloud目前已经登陆AWS和GCP，7月即将开放阿里云，Azure和金山云助力AI应用快速上线维护成本低low maintenance cost一键创建实例资源动态扩缩容完善的监控报警多云支持使用门槛低Low threshold for use免费实例可视化界面多语言SDK丰富的生态支持数据迁移丰富的企业级特性Enterprise-level features7*24服务支持99.9 SLA保障数据备份，订阅组织架构管理Dedicated C

13、loud安全放心Data SecurityRBAC权限管理TLS，白名单PrivateLink审计日志SOC2合规认证综合成本下降用户成本=用户关注于开发业务本身开发成本调研，选型部署安装功能/性能测试多云适配Development Costs+Zilliz 自研引擎，磁盘索引，池化技术大幅降低用户成本硬件成本索引构建插入/查询性能Hardware Cost为应对业务峰值造成的资源浪费维护成本Maintenance Costs扩缩容性能调优发现，诊断，排查，解决版本升级用户无需关心维护，业务可靠性大幅增强开发成本降低部署一键部署多云，多Region，多AZ提供OpenAPI管理强大的查询能力一

14、套代码，多端复用-开源，云支持动态Schema和复杂数据类型过滤，Range，分组等复杂查询面向开发者的功能数据离线导入表Alias/RenameTTL多语言SDK支持Python，Go，Java，Js等多语言SDK支持Restful API硬件成本优化数据来源-GIST960数据集 https:/ann- 是 Zilliz 自研的向量检索库Cardinal实验室版本，未开源。相比于开源SOTA索引，Glass性能提升3X 动态Quantization技术 智能索引参数调整 建图性能和质量优化 标量过滤优化成本优化-磁盘索引Zilliz 基于磁盘的ANN索引方案在 NeurlPS21 Bill

15、ion-Scale ANN Search 挑战赛上获得世界第一名 基于磁盘和内存的混合存储 相比于纯内存索引节省10X内存 相比于业内其他混合存储方案，性能提升3倍以上 基于磁盘缓存，大幅降低索引构建时需要的内存开销运维使用成本升级扩缩容滚动升级自定义运维窗口弹性扩缩容监控报警支持快速查看监控指标自定义报警配置PaaS版支持对接普罗米修斯组织管理完善的权限管理多租户配额管理Notebook数据服务数据迁移数据备份数据可视化管理 安全可靠，99.9 SLA保证 大量生产验证的部署方式和运行参数，大幅提升性能和故障恢复速度 7*24 支持，重大问题快速响应兜底未来Zilliz cloud 上线阿里

16、云，7月5号不见不散Milvus 2.3-面向生产环境和AI应用场景主键去重，GPU索引，多Replica性能可用性优化，Partition动态加载release，聚合语句支持，Default value/null 了解更多技术实践案例麦思博(msup)有限公司是一家面向技术型企业的培训咨询机构，携手2000余位中外客座导师，服务于技术团队的能力提升、软件工程效能和产品创新迭代，超过3000余家企业续约学习，是科技领域占有率第1的客座导师品牌，msup以整合全球领先经验实践为己任，为中国产业快速发展提供智库。高可用架构主要关注互联网架构及高可用、可扩展及高性能领域的知识传播。订阅用户覆盖主流互联网及软件领域系统架构技术从业人员。高可用架构系列社群是一个社区组织，其精神是“分享+交流”，提倡社区的人人参与，同时从社区获得高质量的内容。