1、Google Cloud 生成式AI助力开发者创新张贝贝 谷歌云客户解决方案架构师Gemini is coming!GeminiGoogle 是 Google 规模最大、最强大的多模态 AI 模型Gemini Ultra 最大、最有能力的高度复杂任务模型Gemini Pro 可扩展各种任务的最佳模型Gemini Nano 设备端最高效的任务模型Gemini Demo Show Time我看到一个人的右手。手张开，手指分开。一个人敲木门。我看到一个人的右手。手张开，手指分开。你在玩石头、剪刀、布。告诉我你看到了什么你觉得我在做什么？提示：这是一个游戏。我在玩石头剪刀布。你注意到我的游戏玩法中有一

2、个模式吗？你在石头和剪刀之间交替。嗯你认为这是一个好的策略吗？不，这不是一个好的策略。你的对手会很快了解你的模式，并且每次都能获胜。你应该尝试更多地随机化你的选择。Gemini Demo:空间推理和逻辑这是正确的顺序吗？考虑与太阳的距离并解释你的推理。Gemini：不，正确的顺序是太阳、地球、土星。太阳距离太阳系中心最近，其次是地球，然后是土星。这些汽车中哪一辆更具空气动力学性能？左边那个还是右边那个？使用具体的视觉细节解释原因。Gemini：右边的车更符合空气动力学。它具有更低的轮廓和更流线型的形状。左边的汽车轮廓更高，形状更四四方方，这使得它的空气动力学性能较差。Gemini Demo:图

3、像序列猜猜我演什么电影Gemini：黑客帝国好的！但具体是哪一部分呢？看我的肢体动作。Gemini：尼奥躲避子弹的部分。Gemini Demo:魔术解释一下我在做什么。Gemini：你右手拿着一枚硬币。你认为硬币在哪里？Gemini：硬币在你的右手。看看这里，发生了什么？Gemini：硬币不见了。从第一张图片开始，逐步总结可能发生的情况。Gemini：1.一开始，你右手拿着一枚硬币。2.然后你用手做了一个动作，硬币就消失了。3.然后你表明硬币不见了。你能解释一下它是如何消失的吗？Gemini：硬币被藏在了手心里Gemini Demo:抢先一睹给我三个关于我可以用这两种颜色制作的钩针作品的想法G

4、emini 颜色，我看到蓝色和黄色纱线。想法 1：一只长着一只黄耳朵的可爱狗怎么样？想法 2：或者有一些黄色触手的水母怎么样？想法 3：或者一只黄鼻子的蓝猫怎么样？Gemini 多模态如何运作Text-Image 模型的原始方法：视觉编码器和LLM的结合Gemini：适用于所有模式的统一嵌入空间Gemini 基准测试:最先进的性能Gemini 在文本和编码等一系列基准测试中超越了最先进的性能。Gemini 在一系列多模式基准测试中超越了最先进的性能。Google Cloud 生成式 AI这场革命始于 Google，我们不断创新Responsible AI at the foundation谷歌

5、发明Transformer 启动LLM 革命谷歌开创性的大型语言模型 BERTText-to-Text Transfer Transformer LLM 10B P 模型开源谷歌 LaMDA 模型经过训练可以进行对话AlphaFold 预测所有已知蛋白质的结构业界领先的大语言模型由 LaMDA 提供支持的对话式人工智能服务。Google Research 推动了一系列模型的发展Google Clouds 生成式 AI 产品组合支持以 GenAI 为中心的企业发展需求SearchAI SolutionsContact Center|Document|Risk AI|Healthcare Insi

6、ghts SolutionsAI PlatformExtension|Connectors|Grounding Prompt|Serve|Tune|Distill|EvalConversationBuild your own generative AI-powered agentsModel GardenGoogle|OSS|Partner ModelsGoogle Cloud Infrastructure(GPU/TPU)|Google Data CloudVertex AIBroad Ecosystem of PartnersResponsible AIEmbeddings API for

7、 Text and Image从非结构化数据中提取语义信息PaLM for Text自定义语言任务Chirp for Speech to Text构建支持语音的应用程序PaLM for Chat具有会话上下文的多轮对话Codey for Code Assistance改进编码和调试Imagen for Text to Image根据简单的提示创建和编辑图像Now in GANow in GA核心基础模型跨越各种模型尺寸来解决用例Now in GANow in GANow in GANow in GAPaml2 Bison002 和 Unicom001 版本也已经发布可用！Google、开源和第

8、三方基础模型的选择和灵活性多种模式可匹配每个用例 多种模型大小可满足成本和功效需求针对专业行业的特定领域模型企业已做好安全、保障和责任准备延长部署时间完全集成平台的价值Vertex AI Model Garden 中有 100 多个企业级基础模型Google Foundation ModelsGoogle Task Specific ModelsGoogle Domain Specific ModelsPartner&Open EcosystemCodeyImagenChirpPaLM 2EmbeddingsSpeech-to-TextText-to-SpeechNatural Languag

9、eTranslationVisionVideo IntelligenceDoc AI OCROccupancy analyticsMed-PaLMLife Science and HealthcareSec-PaLMCybersecurityLlama 2Code LlamaFalconClaude 2Pre-announceVertex AI Model Garden Generative AI Studio 一种简便易用的低代码工具，用于交互、调优和部署基础模型For creators(UI),app developers(API),and AI practitioners(fine-tu

10、ning)在 Vertex 机器学习平台上管理基础模型原型设计 Vertex Generative AI Studio开发 Vertex SDK调优作业 Vertex Training 作业经过调优的模型 Vertex Model RegistryFM 服务 Vertex Predictions(500+GB 模型)提验证、评估、RLHF Vertex 流线组件Task SpecPrompts/OutputsLatency/CostConstraints&TradeoffsTraining vs InferenceFrequencyAdd more labelled/unlabelled da

11、taSelect ModelFine-tuningPromptDesign/tuningDistillation(compressior)ServingResourceConfigurationActionable InsightQualitymeasurementsCostCustomer InputsCustomer Decision SpaceCustomer Value and Cost使用 Vertex AI 快速构建搜索和对话轻松快速构建可行的解决方案Vertex AI Search&Conversation 解决了实施 Gen AI 的挑战拥有安全且值得信赖的品牌代表满足请求，采

12、取行动获得有用且相关的答案生成式定制和控制，以限制不良体验并确保产品和数据质量；掌控平台进行迭代和改进！开箱即用的用例和平台工具可以快速轻松地创建应用程序与企业工作流程和连接器集成以处理和自动化操作以机构数据和企业工作流程知识为基础，收集相关信息挑战为开发者构建的平台Vertex AI 结合了 LLM,Search,and Conversation 的力量TransactionsGenerative fallbacksRich answer cardsConversational answersGenerative resultsSearch/List of resultsUserConsum

13、erOrchestratorExtensionsGroundingConnectorsVertex AI searchVertex AI conversationPowered by foundation modelsVoice action/transactionMulti-turn dialogChit ChatProduct CatalogueNatural language queryInput SourcesInputAnswer FormationOutputVertex AI Search为企业应用和消费者网站提供相关的，个性化的分钟级搜索体验为客户和员工快速建立 Google

14、品质的多模态、多轮搜索体验提供企业数据中的搜索结果或将其与世界知识结合在一起。企业访问控制确保信息仅向有权访问的用户显示。数据 connector 和 extension 连接到后端系统以进行操作或从第三方应用程序（例如 Salesforce 等）读取数据。使用匹配引擎进行向量搜索，用于跨不同类型的数据进行搜索如引文、相关性分数、摘要、灵活的大语言模型风格prompt 等有用的功能有助于知识发现和提升对搜索结果的信心结合生成式AI的确定性工作流，使对话动态和个性化多模态支持 图片，语音，文本基于大量数据训练 来自网站，文档，FAQ,邮件和代理对话历史支持交易连接后台系统或是三方应用，完成交易比如付款预定等。Generators 和 generative fallbacks 将动作和预编程对话注入工作流客户服务的有用功能总结，生成式 FAQ，来源和代理助手Vertex AI Conversation基于生成式 AI 和企业数据对齐构建自定义对话和语音客服完全集成于现有Contact Center AI 产品Thanks!