1、高性能召回引擎在在线零售场景中的最佳实践解洋阿里巴巴高级技术专家Contents目录02TPP个性化开发平台03ABFS特征存储服务04BE智能召回引擎05FeatureGenerator01AI OSAI OSNew Future on CloudOnline Serving淘系搜索与推荐业务云上业务流批一体K8S/Fuxi/HippoHA3搜索引擎BE推荐引擎iGraph图引擎主搜索天猫店铺内首猜购后海神OpenSearchRTP预测服务消息队列Swift索引分发服务监控KMonitor服务定位CM2弹性扩缩Auto Scale二层调度CarbonSuez FrameworkDII算法服务
2、ElasticsearchAIRec云主题中台业务淘系广告业务直通车定向广告超级推荐淘客达摩盘私域直播内容PAI-DLC云原生深度学习引擎DataWorks大数据开发PAI-EAS模型服务Hologress交互式分析管控服务 Moss/Suez OpsTPP端上智能Data HighwayABFS特征服务PAI-Studio/DSWAI建模星云Flink实时计算MC大数据计算EMR开源大数据平台XDL训练引擎(PAI-TF based)TPP个性化开发平台迭代效率低稳定性差高运维成本多业务共享一套代码,串行开发需求算法无法独立开发,依赖工程人员,存在人员瓶颈业务定制需求依赖代码开发、发布且发布
3、周期长做配置实验前需要先全量发布代码,时间长且容易引发故障多业务代码耦合,不支持业务隔离,发生故障影响面大缺少快速迭代试错能力,如业务/运维灰度能力自助搭建工程框架,运维成本高开发需要大量精力关注复杂的部署以及资源管理投入为控制成本,工程框架等持续性能优化投入TPP个性化开发平台serverless热部署代码/配置实验无需关心机器运维,只需要关注业务需求迭代。自动拉起监控、报警、日志分析等用户自助运维体系解耦相互依赖,解决串行开发问题代码实验+业务隔离=算法自助开发支持按实验(代码)隔离的热部署发布速度在分钟级别同一业务下不同代码实验实现隔离稳定性发布可灰度可观测可回滚TPP个性化开发平台AB
4、FS特征服务高性能功能丰富支持多种索引类型支持丰富的算子,本地计算能力强高性能异步架构直连SearcherCache缓存机制稳定性高批次数据导入无抖动多版本历史数据,快速恢复自动降级和运维能力ABFS特征服务首猜云主题详情页featurestyle Afeaturestyle Bfeaturestyle CABFSRTPTTOrderbyWindowFilterGroupbySelectUDxFParse&ValidateDAG EngineTraceMetricsLogTrainingModelBE智能召回引擎New Future on Cloud稳定性&效率差算力支持差召回功能薄弱批次数据
5、更新存在延迟毛刺大量召回逻辑堆砌在方案层,代码开发量大召回逻辑隔离性差,存在实验互相影响的情况不支持本地计算,存在数据搬运召回集合受限,效果提升存在瓶颈缺少高效的索引类型散装召回组合,多套开源组件深度召回不一致的问题维护多套召回引擎,维护成本高BE智能召回引擎迭代效率高算力强全面召回能力召回策略隔离,支持算法同学并行实验丰富召回功能配置,减少方案层代码开发产品化,算法同学自助化操作向量召回(Proxima 2.0)支持多路召回深度召回一致性高性能本地计算十万级别召回,阿里业务效果明显低延迟万级粗排稳定性高批次数据导入无抖动多版本历史数据,快速恢复自动降级和运维能力BE智能召回引擎一站式召回引擎SuezOps管控平台configDataA业务BE集群B业务BE集群ProxySearcherIndexKvKkvInvertIndexVectorRawArraySpatialjoinfilterseekfilterrecallfilterjoinfiltermergecontrolmergesortfilterfeaturei2i召回v2i召回i2iinfovectorinfoscoremodelscoremodelcontrolFeatureGenerator 阿里内外官方特征库 支持丰富的特征类型 无缝融入TF生态 开源:https:/