《视觉智能的平台之路-谢宣松.0.pdf》由会员分享,可在线阅读,更多相关《视觉智能的平台之路-谢宣松.0.pdf(43页珍藏版)》请在三个皮匠报告上搜索。
1、阿里视觉AI的开放平台之路谢宣松(星瞳)达摩院资深算法专家打造好用的视觉AI能力及服务让AI深入行业并产生价值AI平台化及阿里视觉AI开放平台总结及未来探讨AI平台化及阿里视觉AI开放平台01距离距离:需求/供给GAP缩短缩短:开发/效率工具核心能力、典型案例其他用户需求降本提效易用/高效竞争力/讲故事需求方快速试错/创新供给方价值体现阵地/品牌优化迭代影响力/地位Voronoi腔价值价值:1:提供核心AI能力和典型案例;2:缩短供给与需求GAP的工具AI有效供求之间的矛盾如何建设AI“供给”和“需求”最短路径A1:提供满足视觉基本面的多样、标准化的能力,完善的能力供应链体系A2:提供高效的全
2、生命周期能力体验和使用流程,稳定高效的平台基础设施支撑A3:通过单能力极致优化,多能力系统优化,降低平台成本;通过定额免费满足中小AI需求。Q1:如何一站式、最大程度满足用户的主流AI需求Q2:如何快速接入、低门槛、稳定的使用Q3:如何低成本的使用能力,实现较高ROI路径:公共云平台是一个有效最短路径路径:公共云平台是一个有效最短路径 广覆盖 高效率 有竞争力满足需求低成本多快省好数字内容消费实体服务消费服务商品相对确定的在线/离线服务能力商品看得见摸得着实物商品有不确定性可进化AI能力公有AI能力Open function专有AI能力Exclusive functionAI“商品”特性AIA
3、I平台平台供需供需开放开放天生天生普惠普惠多样多样生态生态高性高性价比价比公共云AI平台的特性需求Open、供给Open拿来即用,切换成本低中长尾用户多样化、碎片化的AI市场天然被集成,自然需普惠供给方需求方平台方存量:降本提效高性价比增量:助力创新快速试错真需求:市场驱动放大器:价值体现可进化:数据场景大环境鼓励普惠品牌生态入口阵地助力业务竞争力AI平台给各方带来的价值让更多的人让更多的人用更好的用更好的AILet more peopleuse better AI 普惠立足,通过定额免费满足中小AI需求,以及高性价比的商用能力。出发点:让更多的人用更好的AI阿里集团及阿里云强大用户生态,公共
4、云大流量用户访问,常态化运营,成为开发者、中小用户的机遇之地。提供覆盖视觉基本面的多样化、多粒度、标准化的能力,完善的供应链体系,一站式满足用户主流AI需求提供全生命周期的能力体验和使用流程,稳定高效的平台基础设施支撑,快速接入低门槛使用AI能力,省心省力汇聚达摩院及阿里巴巴其它BU科学家和工程师沉淀的极具竞争力的视觉AI能力,拥有从海量实际场景中,反复锤炼的最佳案例,强调实战价值有的用(全面)有人用好用(专业)易用用的起(普惠)阿里方案:视觉智能开放平台搭平台聚能力造能力建品牌/生态1:提供核心AI能力和典型案例;2:缩短供给与需求GAP的工具。视觉AI能力开放中心视觉AI能力再生产中心场景
5、孵化和应用中心功能:定位:降本提效高性价比能力荟聚拿来即用服务增殖持续进化助力创新快速试错历程:视觉智能开放平台1.0 到 3.02019.4 序曲Mind能力清单梳理视觉小组年度治理扬帆启程项目启动项目启动2019.8视觉技术小组发起集团能力梳理项目目标确定项目团队建立从无到有V1.0V1.0发布上线发布上线2019.12 12个大类,110个API能力 开通用户:数百 调用:百万级上线能力中心上线从有到多官网升级2.0优势能力开始商业化开发者体验中心上海品茶上线数据评测中心上线V2.0V2.0上线上线14个大类,140个API能力开通用户:上万调用:千万级收入:第一笔4002020.10从
6、多到优官网升级3.0能力中心重构OpenSDK上线场景实验室上线行业能力中心上线V3.0V3.0发布发布200个API能力,20个SDK开通用户:5万调用:亿级收入:数万/日2021.10打造好用的视觉AI能力及服务02平台底座算力管理持续集成算法管理成本优化测试调试检索引擎基础平台智能标注在线训练组合编排增量学习自学习少样本学习能力再生产数据案例交付形态公有云API一体化套件离线SDKC端工具智能摄像头AIBox软硬一体端上私有化公有云智能存储数字门店智能修图互娱营销矩阵增强修复智能监考场景化技术解决方案场景应用智能监考视觉智能开放平台构架图分割抠图增强编辑视觉理解内容审核文字识别通用能力中
7、心互联网行业能力中心SDK中心能力中心工业教育医疗直播互娱社交人的理解平台能力中心 (专业、全面、实用、易用专业、全面、实用、易用)人的理解文字识别商品理解内容安全图像识别图像生产分割抠图目标检测视频生产视频理解视觉搜索分析处理3D视觉行业视觉能力视觉SDK1515200+200+API能力亿级亿级日均调用普惠普惠限免+低成本能力大类必须要有的基本面能力有竞争力的特色能力业务需要的场景化能力确保满足主流AI需求自研优势AI能力开箱即用的完整AI能力簇AI能力的分层分类供需GAP缩短:能力再生产在线学习在线学习结构结构/参数参数自调整自调整大模型大模型预训练预训练增量学习增量学习DAGDAG图解
8、析图解析少样本少样本自监督自监督阿里云阿里云PAIPAI平台平台能力组合编排能力再生产能力在线进化能力示例:分割钉钉视频会议虚拟背景精细到发丝级别首创去杂色技术对运动模糊鲁棒无需高端显卡能力示例:老片修复核心技术开源:https:/ 能力簇示例:机器修图原始原始RAWRAW图图转档转档JPGJPG面部面部/身体液化身体液化肤质优化肤质优化全自动、高品质、智能化、低成本解决多个单点的行业AI需求能力组合,汇集为分子能力或行业方案端侧离在线能力,切入更广泛的AI场景原子原子AIAI能力的平台化能力的平台化由云端由云端APIAPI到端云一体到端云一体SDK能力中心上线IPC边云一体方案上线离线SDK
9、能力集上线原子能力上线开发者体验中心数据评测中心上线由原子能力到分子能力由原子能力到分子能力能力中心重构场景实验室上线行业能力中心上线实现阿里多样化原子能力的平台化输出实现阿里多样化原子能力的平台化输出以以实战实战实用实用视角整合并结构化能力视角整合并结构化能力端云结合,普惠端云结合,普惠AIAI到各类终端到各类终端1.1.单单点点起步起步2.2.能力结构化能力结构化3.3.端云一体端云一体由公有云到端云协同如何在延时敏感场景实现AI应用?用例:实时背景分割、AR游戏云端训练 端侧推理如何高效处理海量传感器数据?用例:智慧安防端云多级处理 云端融合如何在隐私场景增强智能体验?端侧迁移学习 联邦
10、学习用例:FaceID、语音助理、推荐更实时的AI更高效的AI更可信的AI个性化协同计算富交互端云协同的意义先进先进分割技术分割技术高效性能高效性能跨平台部署跨平台部署多篇顶会论文及创新专利云API服务大规模调用 1280*720大图实时处理 覆盖低端机支持window x86/64、Macos、Android、IOS四端本地部署;支持云上API远程调用OpenSDK示例:分割OpenSDK示例:增强模型压缩8bit量化芯片适配OpenSDK封装能力仓库通用超分人像修复智能调色顺滑插帧核心特征核心特征30FPS实时处理效率1080p高清视频增强云上大模型增强效果低功耗长续航保障云端一体全场景适
11、配OpenSDK示例:AI体育基础基础:关键点+人体姿态估计应用应用:体育动作自动计数千元级机型20fps精度高,鲁棒性好帧间识别稳定计数平均准确度95%以上,千元级机型20fps覆盖跳绳、开合跳、仰卧起坐、深蹲、俯卧撑等健身动作 落地场景乐动力、健身镜等应用应用:姿态匹配打分左右匹配度:98.1%左右匹配度:59.7%千元级机型20fps精度高,鲁棒性好使用场景可以为姿态打分、动作纠正等让AI深入行业并产生价值03AI能力与行业方案原子能力分子能力上层产品解决方案开放能力其它业务逻辑AI,从行业中来到行业中去无行业,不AI城市大脑AI中台工业视觉AI中台视觉AI开放平台智能工具:AI服务平台
12、(鱼)和AI生产平台(渔)医健AI中台IPC行业示例:智能存储视觉智能开放平台视觉智能开放平台OSS订阅分析主题媒体上传推送分析结果媒体批处理人事物结构化分析多模态检索事件通知支持大规模存储支持大规模存储依靠平台的弹性架构实现TB级数据的准实时处理。低接入成本低接入成本可视化配置事件订阅;面向事件数据编程,无需感知API差异。隐私合规隐私合规兼容BYOK、HTTPS传输等安全措施;支持租户隔离和灵活授权机制。应用厂商应用厂商IPC平台相机&相册Apps80媒资行业示例:图像视频内容理解完善的标签体系定制化能力灵活的部署内容理解引擎类别/属性/场景多维度标签内容检索内容推荐内容分类图像/视频设计
13、行业示例:视觉生产系列产品所想,即所见。鹿班鹿班服装+游戏设计视频植入擦除超写实数字人至至帧帧增强修图增强修图超分辨率人像修复帧率变换智能调色超分辨率损伤修复去划痕人像增强智能插帧色彩修复HDR宽宽容度原子能力原子能力去黑边画幅变换字幕擦除标志擦除噪声抑制宽色域亮暗部还原至帧画质增强技术为专业图像和视频生产提供清晰度、色彩呈现、帧间平滑等全方位的画质增强效果,包括毛孔级人像修复,影棚级自动调色与HDR上下变换,120Hz高质量超分辨率,近无暇帧率变换技术等,帮助华数、优酷等客户通过4K超高清、帧享画质等频道为观众提供更卓越的视觉体验。解决方案:视频画质提升交通行业示例:车辆生命周期管理AI时代
14、下的汽车业数字化变革算法组合灵活,场景覆盖全面低代码接入,快速业务使用在线运维,资源弹性调度解决方案原子能力车辆场景管理方案 基础原子能力交通事件检测证件翻拍识别行驶证识别人脸比对1:1VIN码识别身份证识别车牌识别车辆损伤识别物体检测车辆属性识别拥堵检测违停检测交通事件检测汽车维修服务车主信息管理汽车保险服务车辆停车管理道路违章检测基于胸部CT影像的AI辅助分析系统第一张CT影像被中国科技馆馆藏,第一行代码被国家博物馆馆藏医疗行业示例:新冠肺炎CT影像AI辅助分析医健AI开放平台医学影像医学影像医学翻译医学翻译智能疾病问答智能疾病问答心肺一体心肺一体骨科辅助诊断及分析骨科辅助诊断及分析皮肤病
15、智能分析皮肤病智能分析云云PACSPACS单日的AI调用量已经达到了45000次,并且呈现直线上升的趋势工业视觉:全链路无人化的重要一环光伏冶金化工汽车纺织食品煤矿电子用机器取代人眼、形成智能化视觉能力”见见微微”:工业视觉智能平台:工业视觉智能平台总结及未来探讨04能力聚合供求聚合中介之地搜索推荐效率提升导流之地聚合之地聚合之地匹配之地匹配之地互动之地互动之地机会之地机会之地开发能力UGC/PGC体验之地生态聚拢新价值创造场景孵化之地AI平台的演进逻辑能力广场能力广场场景实验室场景实验室能力再生产能力再生产品牌和生态运营品牌和生态运营做深生态做厚平台AI能力业界SOTA-AI汇聚和使用之地原创AI算法的孵化之地AI案例AI最佳案例的分享和体验之地规模化AI应用实践之地AI生态AI流量入口及开发者阵地中长尾AI用户普惠和机遇之地AI机制市场驱动的AI研发使用模式在线高效的AI能力进化之路AI平台未来畅想钉钉扫码了解本文介绍的能力和解决方案