上海品茶

利用 SLM 结合边缘设备构建 AIoT Agent-卢建晖.pdf

编号:163998 PDF 32页 8.39MB 下载积分:VIP专享
下载报告请您先登录!

利用 SLM 结合边缘设备构建 AIoT Agent-卢建晖.pdf

1、利用 SLM 结合边缘设备构建 AIoT Agent卢建晖 微软高级云技术布道师模型发展模型继续发展文本语音视频图片向量闭源模型 云端 开源模型 本地企业最终选择Cloud LLMLocal SLMs混合模型GPUNPUCPU云+本地的算力架构微调微调RAG行业数据SLM什么是 SLM(Small Language Model)LLMSLM厂商的 SLM 角力模型选择 LLM vs SLM性能1.更少的算力需求2.部署在更小的设备甚至边缘计算场景上无障碍1.更多开发者和组织可以使用2.具备一定的业务能力,便于企业开发人员使用定制化1.针对特定领域和任务进行微调2.所有权不同的开源小模型应用场景

2、Qianwen-chatOpenELMGemma-2bPhi3知识/文本/聊天NanoDBjina-embeddings-v2-base-cn向量模型图片,代码LLaVAAudioCraftNanoVLM数据算法评估部署如何组织数据企业内部多个数据源的整理如何有效组织数据数据安全Qlora vs Lora参数调整计算本地或云端模型性能提示工程有效性效能存储边缘设备的部署模型压缩回应迭代影响构建行业模型的四大要素Azure AIAzure AI Content SafetyAzure OpenAI ServiceAzure AI TranslatorAzure AI DocumentIntell

3、igenceAzure AI VisionAzure AI SearchAzure AI LanguageAzure AI SpeechAzure AI ServicesPre-trained,turnkey solutions for intelligent applicationsCutting-Edge ModelsAccess to the latest foundation and open-source modelsAzure AI StudioOne place for building and deploying AI solutionsResponsible AI Model

4、Fine TuningModel TrainingAzure Machine LearningFull-lifecycle tools for designing and managing responsible AI modelsPrompt FlowOrchestrationModel CatalogSolutionEvaluationModelBenchmarkingContinuous MonitoringCode-First ExperienceAzure AI InfrastructureState-of-the-art silicon and systems for AI wor

5、kloadsAzure Maia SiliconMicrofluidic CoolingHigh-Bandwidth NetworkingMicrosoft FabricUnified data platformLake House can build data based on businessCloud+local data integrationPrompt flowResult EvaluationCompare modelsbusiness flow integrationONNX RuntimeCross-platformResponseInt4,float32,float16 m

6、ulti-format compatibleAzure Machine LearningFull-lifecycle tools for designing and managing responsible AI modelsPrompt FlowOrchestrationDeploymentDatastoreModel CatalogComputeNvidiaSLM+Azure MLSLM OpsSLMSLMF Fineine-tuning-tuningModelModeldatasetEvaluationDeploymentAzure Machine Learning/Azure AI S

7、tudioFull-lifecycle tools for designing and managing responsible AI modelsMicrosoft OliveMicrosoft OliveMicrosoft Olive是一款非常易用的开源模型优化工具,既可以涵盖Generative AI领域的微调,也可以引用。只需简单的配置,结合使用开源SLM和相关运行时环境(AzureML/本地GPU、CPU、DirectML),通过自动优化即可完成模型的微调或参考,让您找到 最佳模型部署到云或边缘设备。Windows AI Studio 上引入了 Microsoft Olivemicr

8、osoft/Olive:Olive is an easy-to-use hardware-aware model optimization tool that composes industry-leading techniques across model compression,optimization,and compilation.()Microsoft Olive makes SLMOps engineering easier for development teamsMicrosoft Olive-Making the SLMOps process easy混合解决方案混合解决方案

9、SLMSLMF Fineine-tuning-tuningModelModeldatasetEvaluationDeploymentSLMOpsComputeEndpointOlive.config as ServiceOlive.config Model Catalog Olive.config-Compute SettingsOlive.config Qlora&Lora Olive.config ConvertONNX Model Convert(Float16,Float32,Int4)Provides a base for the Copilot StackDemoRunning Phi3 in Jetson+Running Phi3 in AIPCRunning Phi3 in Mobile

友情提示

1、下载报告失败解决办法
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。

本文(利用 SLM 结合边缘设备构建 AIoT Agent-卢建晖.pdf)为本站 (张5G) 主动上传,三个皮匠报告文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知三个皮匠报告文库(点击联系客服),我们立即给予删除!

温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。
客服
商务合作
小程序
服务号
会员动态
会员动态 会员动态:

138**73...  升级为高级VIP 138**36... 升级为标准VIP 

 138**56...  升级为标准VIP wei**n_... 升级为至尊VIP 

 wei**n_... 升级为标准VIP 137**86... 升级为高级VIP 

159**79...  升级为高级VIP   wei**n_...  升级为高级VIP

  139**22... 升级为至尊VIP 151**96... 升级为高级VIP 

wei**n_...  升级为至尊VIP  186**49... 升级为高级VIP

187**87... 升级为高级VIP wei**n_... 升级为高级VIP 

wei**n_...  升级为至尊VIP sha**01...  升级为至尊VIP

wei**n_...  升级为高级VIP  139**62... 升级为标准VIP 

wei**n_...  升级为高级VIP   跟**... 升级为标准VIP

182**26... 升级为高级VIP   wei**n_... 升级为高级VIP

136**44... 升级为高级VIP   136**89... 升级为标准VIP

wei**n_...  升级为至尊VIP  wei**n_... 升级为至尊VIP 

 wei**n_... 升级为至尊VIP  wei**n_... 升级为高级VIP

 wei**n_... 升级为高级VIP 177**45... 升级为至尊VIP 

 wei**n_...  升级为至尊VIP  wei**n_... 升级为至尊VIP

微**...  升级为标准VIP wei**n_...  升级为标准VIP

wei**n_... 升级为标准VIP  139**16...  升级为至尊VIP

wei**n_... 升级为标准VIP   wei**n_...  升级为高级VIP

 182**00... 升级为至尊VIP wei**n_...  升级为高级VIP

 wei**n_... 升级为高级VIP wei**n_... 升级为标准VIP 

133**67... 升级为至尊VIP    wei**n_... 升级为至尊VIP

柯平 升级为高级VIP  shi**ey... 升级为高级VIP  

 153**71... 升级为至尊VIP  132**42...  升级为高级VIP

wei**n_...  升级为至尊VIP 178**35...  升级为至尊VIP

wei**n_... 升级为高级VIP  wei**n_... 升级为至尊VIP 

wei**n_... 升级为高级VIP   wei**n_... 升级为高级VIP 

133**95...  升级为高级VIP  188**50... 升级为高级VIP

 138**47... 升级为高级VIP    187**70... 升级为高级VIP

Tom**12... 升级为至尊VIP     微**... 升级为至尊VIP

 wei**n_... 升级为至尊VIP  156**93... 升级为至尊VIP

wei**n_... 升级为高级VIP   wei**n_... 升级为至尊VIP

 wei**n_...  升级为标准VIP 小敏 升级为高级VIP 

hak**a9...  升级为至尊VIP   185**56... 升级为高级VIP

156**93... 升级为标准VIP wei**n_...  升级为至尊VIP

wei**n_...  升级为至尊VIP  Br**e有...  升级为至尊VIP

 wei**n_... 升级为标准VIP   wei**n_...  升级为高级VIP

wei**n_... 升级为至尊VIP   156**20...  升级为至尊VIP

wei**n_...   升级为至尊VIP  微**...  升级为标准VIP

135**45...  升级为标准VIP   wei**n_... 升级为至尊VIP

wei**n_... 升级为高级VIP  157**60...  升级为高级VIP

150**45... 升级为至尊VIP  wei**n_... 升级为标准VIP

 wei**n_... 升级为至尊VIP 151**80...  升级为高级VIP 

135**10...   升级为标准VIP wei**n_... 升级为高级VIP 

 wei**n_... 升级为高级VIP  wei**n_...  升级为至尊VIP

wei**n_... 升级为标准VIP   wei**n_... 升级为高级VIP 

wei**n_... 升级为高级VIP  135**22...  升级为高级VIP

 wei**n_...  升级为至尊VIP  181**62... 升级为至尊VIP 

 黑**... 升级为至尊VIP wei**n_... 升级为至尊VIP 

 178**61... 升级为高级VIP 186**20... 升级为高级VIP