1、下代端边云协同智能化引擎归鹄 2023.11录1、端云协同背景与挑战2、端边云协同工程体系3、应用与展望智能化的APP端云协同计算的优势云计算数据集中、算强，传输开销端计算数据与算距离现场更近，响应速度快实时性毫秒级络传输边缘计算天然分布式省资源隐私性隐私学习本地消费蚂蚁端智能发展历程简述2017.42018.42019.42020.42021.4端智能诉求2017“扫福”端侧CV能诉求的提出CV场景2018扫五福-千亿规模验证证件夹 物识别保险 扫扫&AR通场景搜索推荐安全控体验优化IoT场景刷脸付扫码付视觉售货柜xNN 2017.8AI引擎上线数据智能 2019.6端智能容器端智能平台认知

2、智能扫扫物识别引擎多媒体引擎平台态Tab3程序动态服务流应场景技术能端云协同计算快速发展端云协同系统架构核系统和模块介绍：AIStudio-AI研发平台：对数据特征进分析、加、训练产出模型，通过xNN插件进剪枝、压缩转化成端侧可执的模型MobileAIX-端智能发布平台：端智能研发管理平台，提供端特征/端模型管理、端决策案研发/调试/评测/发布/监控等功能MobileAIR-端智能计算容器 提供端智能解决案运时撑与保障，包括特征程、模型推理、算法框架、脚本引擎、流计算等xNN-端侧深度学习推理引擎 端侧统的性能、灵活、安全的AI计算引擎，持跨平台、动态化的AI算法部署端云协同计算应以及效果云:

3、召回增强 结合户的历史为和端特征，召回更多候选集端:实时重排 实时感知户为变化，毫秒级重排 重排模型打分+转化规则预算分层 险模型计算前置，减轻服务端压 计算分布式，具备计算弹性险特征挖掘 终端设备、为等个性化数据挖掘 本地计算，隐私安全端云协同新的挑战端内容呈现云计算端数据展示内容云计算端侧负责内容呈现云侧进计算决策端云协同计算云计算端计算端中协同端中协同端云双向协同协同范式实时性：端侧毫秒组响应决策，络传输省资源：天然分布式，户机侧计算隐私性：隐私学习，本地消费1 低端机 设备碎化 （机&IoT）软件vs硬件更新设备覆盖受限2 存储 内存 参数 vs 业务效果模型受限录1、端云协同背景与挑

4、战2、端边云协同工程体系3、应用与展望边缘计算的特点与选型 就近接，相对云中访问时延降低。成本优化，带宽和机器资源相对云中低，在数据量下，资源弹性，打造漏形的流量模型。算客户端强，可以优化算法效果。边缘计算的特点 边-云边缘（edge on cloud）如阿云的各个型站点，节点较少，sla等级最。中边-近场边缘（edge on cdn）如CDN提供的xcdn服务，节点常多，覆盖各城市。边-现场边缘（edge on tiny cluster）企业、店等部署的型集群，辐射范围有特定的范围边缘分类云边端的特性端边云协同系统架构端计算引擎 性能异构的端推理引擎xNN 轻量级PythonVM端边云协同程

5、 分级实时通道 移动端流式计算框架UEP 效数据共享 边缘容器框架端边调度 端边智能调度 端边协同训练关键技术1-端计算引擎轻量级PythonVM运性能 针对端、边设备进跨平台适配，深度优化了模块导技术，持端线程级、边进程级并技术与动态发布能任务级多线程端侧基于内存隔离的多线程实现案，持任务级的并，降低任务等待耗时，并通过使线程ID寄存器，优化内存隔离性能。效果：并发场景性能提升10%-40%。关键技术1-端计算引擎 多模块由打包 统快速加载定制包结构 剪枝必须路径 预设路径加快搜索 减少74%的效磁盘IO模块搜索机制优化 Hook导流程 依赖细化&懒加载 效模块加载例降低85%标准库依赖重构

6、案：模块导优化logging.pycconfig.pycfeature.pycjson.pycmd5.pyckvcache.pycmaipython.pkgHeader：loggingContent：loggingHeader：_packages_Content：packages信息问题：导耗时Import randomImport warningsImport linecacheXX关键技术1-端计算引擎xNN 端侧深度学习框架算利&建模效率 持可伸缩建模，能够灵活根据不同终端设备上的软硬件环境分别研发最匹配的AI模型端边不同模型 千机千模 千千模应：千x千模端边云多种硬件环境 群，机型的不

7、同算法需求 模型设计复杂度线性增解决的问题案：可伸缩建模搜索空间覆盖设备差异，持户灵活设计与表达 搜索算法整体抽象，持实例化成不同的模型结构，兼容不同算法实现关键技术2-端边云协同程流式计算框架UEP 数据&事件 基于终端实时事件的流式计算框架，流批体的计算能解决动态数据采集和复杂触发时机的问题。解决的问题 动态数据采集&复杂触发时机 场景举例 户异常为识别：户点击扫扫后，10秒内没有跟扫扫相关的打开，则认为是加载出问题了，记录点击的信息并作为特征上报给业务 点击汇总：分类统计某个所有告项的点击pv 计算优势 降低存储和传输数据量 降低云端计算成本 基于DSL配置下发，不依赖发版 关键技术2-

8、端边云协同程分级实时通道解决的问题 如何让数据效回流云端 RPC夹带 ms级延时 通过特征注的式，把数据带rpc的baggage协议中，不依赖发版 适场景：点击，滚动等实时交互特征 DataHighway s级延时 持业务实时查询特征 适场景：推荐或控等场景 样本回流 h级延时 统接和存储，定期回流 适场景：批量样本回流训练 关键技术2-端边云协同程端边数据共享机制端边数据链路 轻量计算在端侧，提取数据 推理计算在边缘，执模型 边缘构建数据集，实现端边数据致 数据回端缝持存储，播等端API调边缘容器框架端智能边缘容器 分层结构，屏蔽硬件和系统层差异 通过Hook屏蔽API调差异 脚本执跨平台，

9、算法不感受端还是边 关键技术3-端边调度端边智能调度 基于内存隔离的多线程机制 基于繁忙程度的多线程调度端多线程调度 边缘计算容器 基于繁忙程度的多进程调度边多进程调度基于设备分调度，低性能设备 基于边缘实时算调度 基于运筹优化算法调度，云端下发全局参数，端实时决策，从业务效果，设备性能，边缘算中取得最优解端边调度机制关键技术3-端边调度1.端智能平台下发原始模型2.端侧采集相关特征数据后，进训练，产出gradient3.梯度数据通过差分隐私式上报边缘4.边缘容器训练产出个性化模型5.个性化模型下发端侧，持业务推理核训练流程端边协同训练视频播放个性化推荐应场景关键技术4-端云体的MLOps平台

10、构建从研发态、部署态、运态的端到端研发平台，通过研发具的动化串联和案沉淀，持端模型T+1迭代，端模型迭代4时覆盖数亿终端设备。关键技术总结PythonVM：模块导优化+并提升任务执性能xNN推理引擎：可伸缩建模不同硬件和群模型适配流式计算引擎动态数据采集和复杂触发时机分级实时通道数据效回流端边数据共享，边缘容器和端边调度端边协作，数据协同端云体MLOps平台模型发布，快速迭代引擎数据协作录1、端云协同背景与挑战2、端边云协同工程体系3、应用与展望端边云典型应场景描述：分级数据通道，持业务场景不同时效性诉求优势：低延时络稳定业务效果：络效率提升25%场景三：边缘络加速场景：中算卸载场景：终端算增强描述：搜推场景端边协同训练，端上报梯度，边缘训练后下发端侧优势：低成本，低延时千千业务效果：加速端模型迭代周期，持时级别增量更新描述：控场景低端机覆盖，使复杂模型，提升控位优势：终端体验提升使复杂模型业务效果：识别准确性提升22%未来展望模型部署 云 or 端 or 端边云协同 应场景 智能助理，智能客服，质量巡查 感谢THANK YOU