1、Oracle OCI生成式生成式AI解决方解决方案案某科技公司 DBA总监 尹海文尹海文Oracle ACE Associate:Database（Oracle与MySQL）10年数据库行业经验，现主要从事数据库服务工作拥有OCM 11g/12c/19c、MySQL 8.0 OCP、Exadata、CDP等认证墨天轮MVP、认证技术专家，ITPUB认证专家，OCM讲师圈内拥有“总监”、“保安”、“国产数据库最大敌人”等称号，非著名社恐（社交恐怖分子）公众号：胖头鱼的鱼缸；CSDN：胖头鱼的鱼缸（尹海文）；墨天轮：胖头鱼的鱼缸；ITPUB：yhw1809。OCI AI/LLM领域能力概览 OCI

2、 生成式AI服务介绍目录OCI AI/LLM领域能力概览Oracle AI 全景图IntegrationML for data platformsDataScienceMachine Learning/AI Vector Search in Oracle DatabaseData Integration Data CatalogGoldenGate&Oracle Data IntegratorAI servicesLanguage数字助手数字助手SpeechVisionNVIDIA AI EnterpriseNVIDIA AI EnterpriseDGX CloudDGX CloudOpen

3、SourceOpen SourceMySQL HeatWave AutoMLStreamingDocument UnderstandingDataLabelingPartner ecosystemPartner ecosystemOCI Generative OCI Generative AIAI-CohereCohereCloud InfrastructureCloud InfrastructureComputeNetworkingStorageSecurityCloud NativeAI InfrastructureData ManagementDataFlowBig Data Servi

4、ceAutonomous DatabaseObject Storage一切都与 OCI 深度集成构建您自己的机器学习服务预建人工智能服务摄取、转换、策划、创造Business applications,industry applications,Oracle SaaS portfolioAI Apps横跨云服务、应用、数据资产的统一AI/ML平台Oracle&Nvidia 助力大模型训练和机器学习OCI更好地支持大模型训练更好地支持大模型训练提供超级集群(OCI Superclusters)，提供基于融合以太网(RoCE)v2上的RDMA 的超级集群，15微秒延迟，1600Gbps目前支持单集

5、群最大4096节点（32,768 个NVIDIA A100 GPU）NVIDIA H100 GPU：用于LLM培训的最新一代GPU将在Oracle云上提供，并提供NVIDIA AI Enterprise，其中包括AI工作流程每个步骤的基本处理引擎，从数据处理和AI模型训练到模拟和大规模部署。快速训练支持多种框架快速协同/反复迭代支持多种芯片Bare MetalComputeVMOCI（GPU&Supercluster）2023年3月 甲骨文扩展了与 NVIDIA 的合作，包括在OCI Supercluster 上运行战略性 NVIDIA AI 应用程序。NVIDIA 已选择 OCI 作为第一家

6、提供大规模人工智能超级计算服务 NVIDIA DGX Cloud 的超大规模云提供商。此外，NVIDIA 还在 OCI 上运行 NVIDIA AI Foundations，这是其新的生成式 AI 云服务，可通过 DGX Cloud 获得。2022年10月 甲骨文和 NVIDIA 今天宣布建立多年合作伙伴关系，以扩大他们的长期联盟，以帮助客户通过加速计算和 AI 解决业务挑战。此次合作旨在将完整的 NVIDIA 加速计算堆栈从 GPU 到系统再到软件引入Oracle 云基础设施(OCI)。Oracle与微软生成式AI深度合作 Bing(CoPilot)采用OCI AI Infra.甲骨文甲骨文正

7、式正式宣布与微软达成一项多年协议宣布与微软达成一项多年协议，以支持人工智能服务的爆炸式增长以支持人工智能服务的爆炸式增长。微软微软正在使用正在使用OCI人工智能基础设施和微软人工智能基础设施和微软Azure人工智能基础结构来推断人工智能模人工智能基础结构来推断人工智能模型型，这些模型正在优化这些模型正在优化，以支持微软以支持微软Bing每天的对话搜索每天的对话搜索。利用利用Microsoft Azure的的Oracle Interconnect，Microsoft能够使能够使用用Azure Kubernetes Service（AKS）等等托管服务大规模协调托管服务大规模协调OCI Compu

8、te，以支以支持对持对Bing会话搜索日益增长的需求会话搜索日益增长的需求。企业可以利用生成式人工智能的方式利用生成式人工智能（Gen AI）服务或API生成输出。使用企业数据对模型进行微调。生成输出训练您自己的基础模型。生成输出/出售模型/出售服务。AI AI 训练训练AI AI 微调微调AI AI 推理推理企业开发LLM（Large Language Models）来支持他们的客户（例如Cohere、MosaicML、NVIDIA）。这是最高投资的领域之一。企业需要根据自身数据进行优化的模型，以满足自身需求。这需要额外的投资和技能。企业可以使用开箱即用的功能。投资有限，快速上市。微调您的模

9、型。获取基础模型，例如NVIDIA、MosaicML、Cohere。开箱即用制定模型构建模型123Oracle的生成式人工智能（Generative AI）三层策略包括Cohere创建的LLM在内，需要在OCI上建立大规模的人工智能基础设施，以便以成本有效的方式构建、调整和部署。通过Oracle提供的新的AI服务（使用Cohere的LLM），OCI的客户将能够定制训练模型并将生成式人工智能能力添加到他们自己的应用程序中。Oracle将在其云应用、行业应用和数据库产品组合中嵌入LLM。SaaS:Oracle SaaS:Oracle 应用应用程序程序PaaS:OCI PaaS:OCI 生成式生成式

10、AIAI服务服务IaaS:GPU IaaS:GPU 基础设施基础设施OCI 生成式AI服务介绍Generative AI Model能做什么GenerativeAI ModelPrompt内容创作文案编辑（语法、风格）语义搜索聊天/问答实体提取违规检测语义分析总结OCI Generative AI Service(LA)高品质预制模型高品质预制模型我们与 Cohere 合作，为您带来高质量的模型，以最小的努力满足您的业务需求 定制模型以满足您的需求定制模型以满足您的需求使用您自己的数据微调模型，微调模型以专注于您最重要的任务 完全托管在完全托管在 OCI OCI 内部内部所有处理和数据存储都发

11、生在 OCI 内部，无跨区域或跨云通信 尊重客户隐私尊重客户隐私客户提供的训练和推理数据是安全的，其他客户无法看到。没有与 Cohere 共享任何数据。Cohere Models in OCI Generative AI(LA)Command 是 Cohere 的高性能生成模型。当您针对准确性、延迟和成本进行优化时，请使用Command模型。Command获得高质量的摘要，准确捕获文档中最重要的信息。SummarizeCohere 性能最高的英语嵌入模型，可将文本转换为矢量嵌入。该模型有一个“轻型”版本，它更小、更快，但性能稍差。EmbedCommand models使用场景模型特点大小大小5

12、2B 参数(Command-light is 6B)上下文窗口上下文窗口4096 tokens提示风格提示风格Write an email to Susan thanking her for输出风格输出风格Dear Susan,Thanks for与OpenAI对比斯坦福大学 HELM 结果：Cohere 是领先的命令/指令模型，击败了 OpenAI 的davinci指令模型。*Cohere 训练命令模型以擅长执行企业环境中的相关任务 根据命令指令调整的模型每周进行训练*Note:Stanford HELM did not evaluate GPT-4复制生成复制生成起草营销文案、电子邮件、博

13、客文章、产品描述、文档等。聊天聊天创建可以集思广益解决问题并回答问题的聊天机器人。与搜索系统集成以创建扎根的信息检索。风格转换风格转换用不同的风格甚至语言重写内容。Summarize该端点生成原始文本的简洁版本，传递最重要的信息。理想的用例包括：新闻文章博客聊天记录科学文章会议记录以及您希望查看摘要的任何文本！使用场景模型特点大小大小52B 参数(Summarize-xlarge)6B 参数(Summarize-medium)上下文窗口上下文窗口4096 tokens提示风格提示风格输出风格输出风格具体设置可以进行以下设置:长度长度Short(2 sentences)Medium(3-5 se

14、ntences)Long(6 or more)格式格式段落或列表萃取性萃取性ExtractivenessExtractivenessLow/Medium/HighEmbeddings 简介从文本到从文本到“含义含义”的数字表示的映射的数字表示的映射嵌入（Embeddings）是文本的数字表示，是多维空间中的向量。考虑这样一个例子，我们为关于动物的词创建了一个坐标系：横坐标 age 年龄纵坐标 size 体型小牛牛小狗狗问题：1、cat和kitten应该在什么位置？2、puppy和dog的关系，类似于calf和_的关系？计算相似性cow生成嵌入kittencatEmbeddings 简介为什么要

15、使用嵌入？为什么要使用嵌入？考虑这样一个例子：“No,I am good.”“I am no good.”单纯比较文本构成，两个句子是完全相同的，但含义却完全相反！因此，我们需要创建embedding来考虑单词的顺序顺序、语言的语义语言的语义以及句子的实际含义句子的实际含义。对嵌入向量进行可视化，嵌入抓住了句子的本质，并且有 3 个清晰的簇。Embed models语义搜索语义搜索搜索通话记录、内部知识来源等。文本分类文本分类对客户聊天日志、支持票证等中的意图进行分类。文本聚类文本聚类识别客户评论或新数据中的突出主题推荐系统推荐系统例如，将播客描述表示为在推荐模型中使用的数字特征使用场景模型特

16、点提供英语和多语言模型。每次嵌入的最大每次嵌入的最大tokenstokens数数英语 512 512 个tokens，多语言 512512 个tokens每次调用 Embed API 9696 个文本序列嵌入数组大小嵌入数组大小4096-English v2.0 model1024 English&多语言 v3.0 model384 English&多语言 Light v3.0 model 支持的语言helloSalamkaixo zdravoAhojhejsalutontereheibonjourolaNnhalociao slav sveikisalamabongu witamolBuna

17、 ziuahabarihallmerhabasalomxin chohalloholaPrshndetje你好+50 more(over 100)Fine Tuning微调对于企业用例至关重要，允许自定义基础 LLM 并增强其在业务应用程序中的相关性描述描述使用场景使用场景CohereCohere s Modelss Models示例示例-更高效地完成特定任务-合并特定领域或专有数据-匹配品牌声音和写作风格Cohere 更小的模型意味着更高效的微调、更少的 GPU 需求以及节省成本和时间Fine Tuning微调步骤微调步骤微调模型并创建端点创建fine-tuning专有AI集群从注册表选择基

18、础模型从对象存储选择数据源在AI集群中启动fine-tuning创建hosting专有AI集群从hosting专有AI集群和定制 模型创建端点微调完成后定制模型保存在注册表通过端点调用定制模型Oracles generative AI 专注于企业针对业务用例设计的企业最佳企业最佳模型模型，微调、模型维护频繁，满足企业所需的性价比以 OCI 行业领先的数据平台和人工智能基础设施基础设施为后盾。可预测的性能和定价可预测的性能和定价按token付费或使用专用资源控制性能安全和隐私安全和隐私 您的数据仅用于为您提供服务。您的微调模型和数据仅供您使用，Oracle 或 Cohere 不会将其用于任何其他目的。按需按需/专有专有 AI AI 集群集群模型尺寸模型尺寸/微调微调/托管托管专有集群专有集群构建在构建在OCIOCI之上之上