《腾讯云MaaS升级引领”效能革命“.pdf》由会员分享,可在线阅读,更多相关《腾讯云MaaS升级引领”效能革命“.pdf(24页珍藏版)》请在三个皮匠报告上搜索。
1、腾讯云MaaS升级引领“效能革命”主讲人:吴运声腾讯云副总裁、腾讯云智能负责人、优图实验室负责人从“量变”到“质变”,AI进入“大模型”时代模型能应用于不同的数据集或任务解决多个任务的能力通用性模型在从未见过的数据上能表现出良好的性能能力对新数据的适应能力泛化性模型能以合理的时间和资源快速处理数据并做出决策应用时的可用性和效率实用性专家系统 1968知识表征 1974XCON 1980支持向量1995语义网络线路图 1998AlexNet 2012ResNet 2015联邦学习2016Transformer 2017GPT3NLP神经网络 2013算力瓶颈1990计算机视觉 1976深度学习2
2、006条件随机场 2001GPT-4图神经网络 2005BERT2018BP算法1986AlphaFold2AI进入“大模型”时代达特茅斯会议1956年8月发起,提出了“人工智能”这一名词,汇集了一批日后AI领域最重要的学者感知机 1957ChatGPT达特茅斯会议1956深蓝击败卡斯帕罗1995AlphaGo战胜李世石 2016AI大模型带来新机遇,加速云智一体,助力业务全链路智能设计/研发生产/制造营销服务企业创新每个环节都可能找到创新空间,实现降本增效员工提效人人都能驱动AI实现创新国内大模型“百花齐放”,产业落地已过“尝鲜期”图片生成聊天对话文案创作视频生成商业客服广告营销购物推荐文档
3、摘要文本翻译文字识别旅行攻略更多场景产业落地实效成大模型价值重要评估维度我国10亿参数规模以上的大模型已发布79个智能调度运行监测模拟预测交通研发设计生产制造管理服务工业客户服务风险管理分析决策金融自动监测报警诊断运维管理能源媒资管理内容生产媒体传播传媒流程管理决策支持社会保障政务大模型催生“效率革命”,为产业提质增效效率更“高”助力生产、经营、管理重塑业务模式场景更“广”百行千模满足更多行业需求应用更“深”大模型+AI原生应用推动业务全链条智能能力更“强”专业知识+推理能力特定领域表现及适应性腾讯云MaaS持续升级,加速大模型产业落地智能创作智能检索(跨模态)智能文档管理智能客服分析营销场景
4、MaaS行业大模型精调解决方案客户专属大模型TI-OCR训练平台TI-AOI训练平台细分领域模型训练平台媒体AI中台智能视频分析平台智能图像创作平台应用平台企点客服企点分析营销AI语音助手智能应用数智人AI绘画TI平台平台&工具TI-DataTruth数据标注平台TI-ONE 训练平台TI-Matrix应用平台Angel机器学习框架技术底座行业大模型行业大模型开放生态金融大模型政务大模型文旅大模型传媒大模型教育大模型模型底座腾讯混元大模型基础设施高性能计算集群HCC高性能网络:自研星脉计算网络架构向量数据库三大升级,腾讯云MaaS引领“效能革命”技术底座升级自研混元大模型,同时支持20+主流开
5、源模型,提供从一亿到千亿不同规模的模型,更丰富的模型能力平台能力升级升级大模型训练、精调工具链,覆盖大模型开发全生命周期,支持一键部署,支持更高的加速比智能应用升级腾讯内部广泛的PaaS、SaaS产品实践,验证模型可用性、易用性,提升用户体验,助力生产提效技术底座升级能力更强,模型选择更多元客户可直接在腾讯云通过前端交互和API调用体验以混元作为基底模型,直接在公有云精调支持SFT和LoRA两种精调模式自研腾讯混元大模型,构筑腾讯云MaaS坚实底座全面接入主流开源模型,提供更丰富模型选择腾讯云TI平台Llama 2VicunaFalconBloomDollyAlpaca一键部署服务调用快速测试
6、模型能力低代码精调模型筛精选模型抓核心功能开源模型一键部署,快速测试,助力选型大模型网页问答 测试开源大模型效果在线体验内置推理模板 一键调用落地模型服务API 接口调用一键问答快速选型调用落地业务API一键精调,业务适配,助力优化大模型1.一键启动默认配置 启动精调任务2.训练监控实时监测训练指标 资源利用率3.任务管理管理任务版本 记录超参快照4.模型发布记录模型中间结果 挑选最佳指标模型部署多机多卡断点续训模型迭代持续优化平台能力升级更完善的工具链TI平台工具链升级,覆盖大模型开发、应用全生命周期大模型开发大模型精调一键调用:20多个主流开源及自研大模型低代码部署体验新调试开发:基于no
7、tebook快速启动模型精调标注训练调试部署调用数据集管理数据标注能力数据中心内置训练加速接入高性能文件存储:训练工坊全新升级Angel训练框架加速能力,性能提升30%百GB每秒带宽大幅提升训练速度大模型指标监控:远程调试:丰富的资源指标监控及告警,覆盖网络及GPU算力实时调试分布式运行任务,大幅提升建模效率内置推理加速:全新升级Angel推理加速能力,加速比可达2倍大模型调用:统一的大模型调用API及体验工具,大幅缩短业务接入大模型能力周期模型部署资产和资源管理模型管理管理模型的存储路径、元信息将模型转换为支持推理加速的优化后模型,支持多种模型格式资源组管理升级高性能计算节点:接入HCC高性
8、能计算节点及星脉高性能计算网络升级升级腾讯云TI平台行业大模型精调解决方案行业大模型企业专属大模型训练加速推理加速预处理完成的数据模型压缩模型测试模型注册模型发布训练任务提交数据载入算法调试模型载入企业数据精调加速能力升级,支持更多模型、实现更高加速比1.异步调度优化CPU&GPU异步调用提高吞吐2.显存优化缓存定长+池化,提升参数支持规模3.计算优化Attention及MLP Block块算子融合优化AddLayernormTensorQ GemmK GemmV GemmFusedAddNormFusedBatchGemm行业方案Bloom7B8.9 example/s19.1 exampl
9、e/s太级Angel加速比:2.14ChatGLM33.3 example/s太级Angel加速比:1.719.8 example/s行业方案Llama 266.8 example/s太级Angel加速比:1.448.6 example/s行业方案训练加速效果对比推理加速效果对比行业方案Bloom7B17.7example/s12.9 example/s太级Angel加速比:1.37ChatGLM12.5 example/s太级Angel加速比:2.430 example/s行业方案Llama 226 example/s太级Angel加速比:1.7746 example/s行业方案智能应用升级
10、更丰富的落地产品腾讯云MaaS内部实践,重塑PaaS/SaaS产品AI大模型智能应用TI-OCR训练平台复杂场景下OCR效果大幅提升支持Zero-shot&Few-shot具备阅读理解和推理能力解决传统识别痛点难点AI绘画智能文生图+图生图单图生成性能优异,接口耗时仅为业内一半支持25+生成风格自研算法模型、中文适配性强、配置灵活车载助手文案创作优质的文案内容、中文适配性强高效稳定的服务、全面的场景覆盖企点分析AI助手对话式分析、辅助更新配置智能结论提取、一键报告生成企点客服数智人“通用口型”版小样本数智人,1小时内获取分身“交互式”小样本数智人,升级支持“倾听等待状态”交互对话更自然“智能驱
11、动”3D数智人,快速批量打造,同时基于语义智能匹配动作,提升运营效率更高效更自然更智能管理端企业知识管理一站式服务复杂文档精准解析、高效校验用户端复杂知识问答全面覆盖,大幅提升解决率更自然对话能力、智能手册能力、行程规划能力、场景化任务编排、通用知识问答能力多轮业务办理灵活应对,聊天式解决问题方案价值落地案例:阅文集团推理和加速性能提供高性能稳定计算节点及推理加速能力,推理性能提升30%文生图/图生图,大模型文生文推理部署降本增效客户诉求算法和工程团队精力有限,模型数量多迭代快自行搭建推理集群和服务平台,模型更新复杂降低维护难度推理成本高昂,推理速度已达瓶颈千百亿级别模型推理部署,推理吞吐和时
12、延存在瓶颈降低推理成本高效大模型部署和服务接入提供动态batch和自动服务调度机制,大幅提高服务吞吐量模型优化和部署模块一键加速和发布模型,支持模型推理加速的过程中动态加载不同的LoRA模型产品示例模型文件上传文件存储,导入模型1.进行模型优化2.部署模型3.方案价值落地案例:某文旅客户任务完成率提升在无多轮画布增加的前提下,突破效果天花板无需配置对话流程,大模型端到端解决业务问题客户诉求运营人力有限,人工配置成本高人工有限,期望知识库运营上手简单,低成本投入极低配置涉及订单等接口场景,对机器人任务要求高复杂业务场景,无配置情况下无法通过机器人闭环解决问题精准解答聚焦场景是酒店业务,包括酒店的
13、查询、预定、修改和取消,后期逐步覆盖机票、旅游等全栈场景对话构建成本降低自动判断意图和识别槽位,生成相应的API并自动调用,基于API的返回,自动生成拟人化的回复话术产品示例接口信息配置酒店的查询、预定、修改和取消1.输出样式配置图文模版、气泡列表2.对话体验3.方案价值落地案例:某科技公司训练性能提供高性能算力集群及训练加速能力,训练性能提升40%在自动驾驶领域,完成2D感知和3D感知类建模任务客户诉求算法团队精力有限,模型迭代节奏快自行搭建大规模建模平台,需关注底层算力、存储提升模型产出效率算力资源有限,训练速度已达瓶颈基于TB级数据进行多机多卡训练,训练速度存在瓶颈提升训练速度轻量化运维
14、和接入平台打通高性能分布式文件存储和高性能计算节点,内置高性能分布式训练框架,算法人员一键提交训练任务提供自动任务调度及资源隔离机制,大幅提升算力资源利用率产品示例数据代码上传文件存储1.新建notebook调试节点2.tikit提交多机多卡任务3.方案价值落地案例:某税务部门税务领域的知识专家从知识采集到知识运营实现智能化升级,大大扩展税务领域的知识边界,领域内的问题答有所依大模型客服,服务于内部税务人员进行业务咨询客户诉求传统智能客服知识受制于知识边界,问题拦截率覆盖率低不在知识库的问题无法回复或答非所问扩展问答边界更新知识依赖人工持续梳理问答对政策法规、办事指南持续迭代,需不断投入人力梳
15、理自动更新知识紧跟法规、指南的税务助手提供动态batch和自动服务调度机制,大幅提高服务吞吐量模型优化和部署模块一键加速和发布模型,支持模型推理加速的过程中动态加载不同的LoRA模型产品示例直接导入法律法规、办事指南文档1.后台自动化训练,自动抽取问答对,自动匹配行业模型校验2.SaaS或API调用3.信通院X腾讯云:行业大模型标准体系及能力架构行业需求分析与资源评估需求评估算力评估算法评估数据评估工程评估明确场景目标模型选择训练环境搭建数据处理模型训练共建模型精调模型评估模型重训优化模型联调部署模型应用运营应用场景模型开发模型能力模型运营模型应用安全可信金融大模型标准电信大模型标准文旅大模型标准教育大模型标准政务大模型标准工业大模型标准传媒大模型标准汽车大模型标准行业数据与模型共建模型精调与优化部署THANKS谢谢观看