《腾讯云存储:打造AI时代下的智能、极速、海量云上存储底座.pdf》由会员分享,可在线阅读,更多相关《腾讯云存储:打造AI时代下的智能、极速、海量云上存储底座.pdf(9页珍藏版)》请在三个皮匠报告上搜索。
1、AI时代下的云存储底座剖析崔剑 腾讯云存储产品总监主讲人:AI时代来临,存储市场的需求演进AI训练数据量在呈指数级增长海量弹性训练业务对性能的要求与日俱增极速降本增效“花小钱办大事”高性价比关注数据创造的业务价值从“为了存而存”到“为了用而存”挖掘数据价值打造更极致的存储重磅发布冷存储产品,提供更高性价比的存储方案标准存储存储费用较高支持实时访问无最小存储周期适用于热点视频、社交图片、移动应用等场景低频存储存储费用较高支持实时访问最小存储周期30天适用于手机相册、政企业务数据、低频档案、安防等场景冷存储存储费用较低支持实时访问最小存储周期90天适用于长期留存的直播点播数据、偏冷的AI训练素材、
2、网盘数据等归档存储存储费用较低异步取回后访问最小存储周期90天适用于档案数据、医疗影像、科学资料等场景深度归档存储存储费用最低异步取回后访问最小存储周期180天适用于长期冷备的医疗影像数据、视图数据、日志数据等场景全新发布打造更极致的存储构建数据湖多级加速体系,为AI训练业务降本增效000000000000001
3、000000000000010010100COS Data LakeCPUGPUGPU MemCPUGPUGPU MemCOS加速器 L3 CacheSSDMEM-Based,10100TB,NLPGPTNVME SSD-Based,100TB1PB,ViT Diffusion|DALL-EAZ-Based,110PB,Auto DriveLife Sci
4、ences000000000101010EB,Raw Data,Training DataCOS面向AIGC等多种业务场景,提供多级缓存加速方案,提升训练作业效率,降低业务资源成本COS加速器标准存储低频存储冷存储归档存储MEMGooseFS L1 CacheMEMGooseFS L2 CacheNVMESSDNVMESSDGPU NodeGPU Node打造更极致的存储重磅发布COS加速器,为AI
5、业务释放海量吞吐,加速业务增长COS加速器超大规模强一致缓存服务提供百Gbps级别带宽能力ms级延时,提升访问体验支持多桶共享加速空间支持数据写入COS实时预热至加速器支持缓存空间精细管理COS BucketCOS加速器集群吞吐单桶15Gbps1.6Gbps/TBQPS单桶3万百万延迟几十ms级ms级COS Gateway InterfaceData CacheFilesPrefix_2https:/加速域名/Prefix_2https:/加速域名/other_prefixsCOS request:https:/加速域名/xxx打造更智能的存储取之AI,赋能于AICOS对象存储底座图片/音视频
6、/文档处理内容智能识别自动化工作流以AI技术为底座,提供近存储侧的一站式数据处理智能平台,为以AIGC为代表的业务提供内容处理、内容审核等服务,帮助用户挖掘数据价值图片处理速度比竞品速度平均快30%服务间调用零外网流量,用户成本更低一套API,开箱即用,降低使用门槛一站式数据处理智能平台数据万象国内首家提供 AVIF 图片压缩的云厂商(相比JPEG,WebP等格式,缩小50%+)目前处理能力最丰富的存储+数据处理平台AI 智能内容安全审核内容生产AIGC内容审核智能搜索图像编辑画质增强以图/文搜图图像修复OCR识别精彩集锦智能创作各维度内容审核,如色情、涉暴审核听歌识曲视频检索元数据检索多模态
7、检索注:同等测试条件下,平均时延比友商低30%流量1 站式快内容标签打造更智能的存储智能存储在AIGC场景的落地应用便捷的接入:提供一体化的存储内容安全方案,增量数据一键开启审核,极低的开发成本精准的模型:针对 AIGC 场景审核策略的专项调优和底层模型的定制开发更高的性能:根据存储数据智能地调度处理集群,近存储侧的处理能力提供更优的数据传输时延和更低的成本AIGC return请画一幅日落的山水画Text-ImageText-VideoText-TextNormal&PassText input审核能力色情低俗/敏感时事/血腥暴力/广告/谩骂/违禁违法/特殊符号/特殊服装/特殊语言/特殊旗帜
8、/解决方案自动化审核服务/场景化运营策略/定制识别服务/历史数据清洗/内容风险评分低分:正常放过高分:敏感拦截审核结果数据万象内容审核Text/Picture/Video/AudioAIGC 模型Generate ContentMedia Output000000000010101001COS Data LakeMedia OutputOutput+Watermark+CompressPrompt打造无处不在的存储匹配AI时代海量算力,释放无限价值存储一体机TStor与腾讯自研星星海服务器完成适配,并在AIGC大模型形成最佳实践发布COS on CDZ、COS on CDC等产品形态,云边端存储多位一体,形态愈发全面提供云、边、端全方位的分布式对象存储能力,匹配AI时代的海量算力RegionRegionRegion存储一体机CDZCDZCDCCDCCDCTHANKS谢谢观看