《函数计算让 AIGC 应用开发更简单.pdf》由会员分享,可在线阅读,更多相关《函数计算让 AIGC 应用开发更简单.pdf(23页珍藏版)》请在三个皮匠报告上搜索。
1、函数计算让 AIGC 应用开发更简单洛浩/卢萌凯阿里云云原生高级架构师Contents目录01Serverless 技术能力02Serverless 函数计算与 AI 的结合03Serverless 函数计算 AIGC 应用方案AIGC 应用场景New Future on Cloud文生图图生图文生视频文案创作编写代码海马体照片会议纪要整理会议纪要整理写作文写作文美术设计美术设计宣传海报宣传海报视频剪辑视频剪辑对话聊天知识百科知识百科智能客服.平面广告视频创作视频创作创意生成创意生成服装设计服装设计电商图片加工电商图片加工动画特效动画特效.虚拟人像虚拟人像数字人算力不足落地场景匮乏如何提升开发
2、运维效率如何方便快捷部署使用AI 相关技术积累不足落地效果不如预期GPU 资源成本高昂各种大模型层出不穷.Serverless+AI 如何减少企业试错成本成本效率简单New Future on Cloud企业构建 AIGC 应用的“绊脚石”Serverless 技术能力New Future on Cloud New Future on Cloud New Future on Cloud01Serverless Computing=FaaS+BaaSServerless computing 还应具备按量付费和弹性伸缩等特点Serverless 架构计算平台包括了函数纬度和应用纬度两种形态买私家车
3、汽车租赁打网约车/出租车Serverless物理机虚拟机从从 Server(物理机(物理机/虚拟机)虚拟机)到到 Serverless,就像从买车到打网约车:,就像从买车到打网约车:Serverless 技术理念:Zero Server Ops+No Compute Cost When Idle不需要购置和管理资源(服务器)自动弹性伸缩按需付费,不用为闲置资源买单聚焦业务价值,提升人效一个比喻了解什么是 ServerlessServerless 工具链Serverless 应用中心应用中心Serverless Devs+Serverless Work FlowAll On Serverless
4、 解决方案媒体处理媒体处理音视频转码/直播录制/图片加工微服务架构和容器平台的深度融合,集成微服务治理、应用监控等游戏游戏/汽车等汽车等战斗结算/游戏打包/移动车联等ETLETL 数据加工数据加工Kafka、MQ 等上下游联动计算AIAI 推理推理GPU 虚拟化+AIGC面向单体应用的全托管平台,集成流量网关,支持实例缩 0、闲置计费等极简批量任务运行平台,支持定时、XXL-Job、SchedulerX 等开源调度框架EDAEDA 架构架构云产品深度集成,构建事件驱动RESTREST APIAPIRestful 风格极简编程Serverless 计算函数计算 FC事件驱动型无服务器计算服务,丰
5、富的云产品集成触发Serverless 应用引擎 SAE面向应用的全托管、简化运维、高可用 K8s 平台BAAS 服务联动存储服务存储服务OSS、NAS、OTS、SLS数据库服务数据库服务RDS、PolarDB、MongoDB消息消息/微服务中间件微服务中间件EventBridge、RocketMQ、Kafka、MNS、MSE网络服务网络服务API GW、CLB、ALB互娱互娱/教育教育游戏游戏新零售新零售/电商电商汽车出行汽车出行制造制造/文文旅旅传媒传媒/医疗医疗千行百业百万开发者微服务微服务WEB WEB 应用应用Job/Job/批任务批任务All On Serverless 让应用开发
6、更简单New Future on Cloud函数计算函数计算 FCFC 核心能力核心能力业务拆分到函数粒度,资源利用率可达100%无需容量管理,研发提效 10 倍,运维 0 负担综合成本降低 30%以上运维更高效运维更高效开发、调试、部署、运维全生命周期管理计算资源 CPU/GPU/内存/磁盘/网络按需组合百毫秒冷启动,单客弹性效率可达2000实例/秒架构更先进架构更先进开发更简单开发更简单100+云产品事件集成,降低用云复杂度全托管计算服务,内置日志采集监控告警应用中心50+热门应用模板,开箱即用第四代神龙架构阿里云沙箱容器 2.0洛神网络跨集群容灾互备Web应用大数据 ETLAI 推理Io
7、T/车联网毫秒级弹性调度内置可观测Serverless GPU1毫秒计费Serverless DevsWebIDEVSCode 插件JetBrain 插件应用中心文件处理OSS 触发器SLS 触发器Kafka 触发器DTS 触发器CDN 触发器API 网关触发器100+云产品云产品事件触发公网服务云存储云数据库中间件大数据产品其它云产品函数计算 FC盘古存储阿里云安全防护开发构建调试部署运维开发平台计算层业务场景100100%资源利用率按请求计费,1毫秒计费粒度,只为实耗资源买单0 0opsops免运维分钟级落地一个中型业务系统,快速完成线上POC100100msms极致弹性帮助在线业务应对各
8、种突发流量,资源交付能力强FunctionFunction asas a a ServiceService,事件驱动的全托管计算服务,以更少的代码,更快地实现业务创新,事件驱动的全托管计算服务,以更少的代码,更快地实现业务创新Serverless 与 AI 的结合New Future on Cloud New Future on Cloud New Future on Cloud02AI 应用的痛点与趋势New Future on Cloud从根本上解决这些问题,异构计算生产环境必然要从“单打独斗的小作坊”模式,向“资源池化+工程平台化”模式跨越,把算法工程师、业务开发者从繁杂低效的环境管理、
9、资源分配、任务调度工作中解放出来,由云产品负责端到端的异构计算环境,使业务开发者完全聚焦业务。伴随AI技术的突飞猛进和广泛应用,行业普遍发现要保证“算法+算力+数据”的飞轮高效运转,规模化生产出有商业落地价值的AI能力,三座大山成为横亘在AI用户面前的重重门槛。成本诉求昂贵的算力投入和运维成本缺乏GPU虚拟化,业务属性的波峰波谷,导致 GPU 资源利用率偏低资源调度产生的碎卡,导致昂贵的 GPU 资源浪费弹性诉求离线业务:分钟粒度弹性扩容,需临时拉起一批 GPU 卡准实时业务:需要秒级别 分钟级别的弹性扩容实时业务:需要毫秒级别 秒级别的弹性扩容开发运维诉求异构硬件的软件环境维护复杂Kuber
10、netes 使用门槛高监控与可视化缺失,无法方便获取实时日志存储接入繁琐,缺乏数据集加速能力GPU 虚拟化与 GPU 资源池New Future on Cloud热资源池,实时弹性平台持有,用户零成本业务流量Serverless GPU虚拟化技术GPU显存强隔离GPU算力强隔离GPU100%兼容原生应用GPU故障强隔离Serverless GPU两级资源池热资源池:避免 Node 级别 ScaleOut 引起的分钟级别冷启动。资源供给:FC GPU/IaaS GPU两级资源池共同保证 GPU 资源供给。使用成本:FC GPU资源池平台持有,用户只用对真实使用付费。阿里云 Serverless
11、GPU 资源池阿里云IaaS资源池动态申请GB 级镜像实例秒级启动New Future on Cloud挑战思路结果 镜像中存在大量冗余数据,按需加载远端数据 结合多种存储服务构建层次化的缓存体系 通过负载感知的方式最大化缓存效果 块存储的性能,共享存储的成本 GB 级镜像启动开销 3 秒,业界领先 SD 78GB 模型启动 20 秒 典型负载:一次性提交大量任务,秒启数百实例 共享存储带宽有限,大规模实例启动打满带宽 共享存储延时 10-20 ms,比块存储慢 10倍 以上L1 缓存,云盘,延时几十 us应用启动 tracing 数据驱动块存储预取负载感知的缓存管理策略,目标 L1 命中率
12、90%IO 实时公平流控L2 缓存,跨机器传输,延时 5 ms针对 Serverless 系统高度优化,以应用为粒度进行组网大并发启动性能 7 倍提升实例节点共享存储(对象存储OSS)实例节点共享存储(对象存储 OSS,延时 10-20 ms)Micro VMVMMMicro VMVMMCloud DiskCloud Disk顶会论文Usenix ATC 2020:DADI Block-Level Image Service for Agile and Elastic Application DeploymentUsenix ATC 2021:FaaSNet:Scalable and Fast
13、 Provisioning of Custom Serverless Container Runtimes at Alibaba Cloud Function Compute函数计算 GPU 实例规格&成本New Future on Cloud函数计算 GPU 采用阶梯定价的模式(越用越便宜),按照实际使用时长计费:显存大小*时长(单位 GB*秒)实例规格vGPU 显存范围(GB)vCPU 范围(核)内存范围(MB)费用举例T4116 GB0.05C 显存/2例如:2GB 显存对应 CPU 0.051128MB显存*2GB例如:2GB 显存对应内存 128MB4GB一张 T4 卡配置 16GB
14、 显存,一小时的费用约 6.5元。假如一天有效使用时长假如一天有效使用时长 8 8 小时,月费用小时,月费用 15601560元元A10124 GB0.05C 显存/3例如:3GB 显存对应 CPU 0.051128MB显存*4/3GB例如:3GB 显存对应内存 128MB4GB一张 A10 卡配置 24 GB 显存,一小时的费用约 10元。假如一天有效使用时长假如一天有效使用时长 8 8 小时,月费用小时,月费用 22802280元元函数计算 GPU 选型指南(针对推理)New Future on Cloud您的工作负载是在线还是离线任务?您的工作负载对延迟是否敏感?您的工作负载对 GPU集
15、群的利用率高吗?您的 GPU 工作负载是否有成本高、弹性慢、运维复杂的困扰?选择自建 GPU 集群选择【函数计算+GPU】异步调用模式(支持异步任务状态管理)选择【函数计算+GPU】同步调用+准实时推理(自动弹性伸缩,有秒级冷启)YesNo在线离线NoYesNo秒级延迟毫秒级延迟选择【函数计算+GPU】同步调用+实时推理(GPU 预留+自动弹性伸缩)60%资金充足+技术储备降本提效函数计算 AIGC 应用方案New Future on Cloud New Future on Cloud New Future on Cloud03阿里云 Serverless 函数计算打造最简 AI 应用部署平台
16、New Future on Cloud秒级弹性大规模 GPU 集群按量付费降本提效应用中心一键部署GPU 资源免维护如何快速体验、快速上手如何方便快捷的部署使用如何高效率、低成本落地如何高可用、高性能运行人人都可以拥有自己“专属”的 AIGC 环境化繁为简:加速 AI 应用开发部署New Future on Cloud电商软件开发教育医疗创作文生文文生图图生图图生文文生视频Serverless 应用中心AIAI 场景化应用一键体验Serverless DevsAIAI 应用全生命周期管理Serverless AI Framework AIAI 模型快速托管(高集成)函数计算 FC通义千问Ser
17、verless 计算产品数据库服务RDS/PostgreSQL智能计算灵骏内容安全存储服务OSS/NAS/OTS中间件MNS/RocketMQBaaS 服务联动模型/应用生态ModelScopeHugging Face通义千问 PluginChatGPT PluginGPU 弹性伸缩AI 应用按量付费阿里云 Serverless 函数计算打造最简 AI 应用部署平台应用全生命周期管理海量 AI 应用快速体验AI 模型一键部署AI 应用多环境管理阿里云 Serverless 函数计算 AI 应用能力Serverless 应用中心AI 应用集合New Future on Cloud函数计算 AIG
18、C 解决方案New Future on Cloud开发者函数计算函数计算AI 应用场景数据库存储服务应用案例上传模型上传代码用户API 调用UI 使用代码仓库应用管理环境管理应用流水线模型管理域名管理可观测.Serverless 函数计算 GPU 自动弹性+按量付费方案实时 AI 推理大模型AIGC 画图智能客服人脸识别文字识别内容审核同步调用可选模型容器镜像服务NAS文件存储OSS 文件存储API 网关海量请求消息队列离线 AI 推理图像处理音视频处理三维重建图书转语音图像渲染离线翻译GPU 集群性能:弹性:基于 QPS 自动弹性、Cron 按时伸缩、GPU 固定预留规模:单 Region
19、单用户千卡规模响应延迟:1s(热启)20s(冷启,和模型启动相关,资源秒级供给)稳定:阿里云负责集群维护+函数计算+GPU实例+函数计算+GPU实例+函数计算+GPU实例.镜像加载运行日志SLS 日志查看图片、视频并发请求异步调函数计算平台函数计算 AIGC:构建大语言模型知识库New Future on CloudStable Diffusion WEB UI专属 Stable Diffusion 环境 Serverless 函数计算平台Serverless 应用中心一键部署 SD 应用API 集成定制化 WEB UIStable Diffusion 后台SD 画图-钉钉机器人函数计算 AI
20、GC:构建大语言模型知识库New Future on Cloud让每个人都可以开发 AIGC 应用New Future on Cloud从部署-换模型-出图只用3 小时,操作简单可视化选稿、上色、画线稿效率提升,甲方满意度提升部署文生图,兼职新媒体运营,月新增收入5K13小时完成部署、预备训练出图、训练模型、合成模型企业开展新业务探索,搭建AI模特换装服务平台,预计年创收达百万1 个开发者即可完成模型的部署、维护工作根据实际请求动态弹缩资源,成本支出压缩到千级别某广告设计师 空空:使用函数计算+Stable Diffusion:广州某小型女装电商企业使用函数计算+Stable Diffusion:复旦大学印藏项目使用函数计算+Stable Diffusion:开发者原声:不会编程,尝试多种文生图服务,但操作复杂,且效果不尽如人意企业原声:希望借助 AI 模型实现模特换装,但云上部署方式复杂,本地部署电脑配置受限,同时缺少专业开发人员企业原声:希望借助 AI 模型实现 OCR 文字识别,本地部署电脑配置受限,同时缺少专业开发人员,GPU 环境维护复杂THANKS